ЧИСЛЕННОЕ ИССЛЕДОВАНИЕ РАЗЛИЧИЙ МЕЖДУ АСИМПТОТИЧЕСКИМ И ПЕРМУТАЦИОННЫМ ПОДХОДАМИ К ОЦЕНКЕ КАЧЕСТВА МОДЕЛИ ПРИ МАЛОМ ЧИСЛЕ НАБЛЮДЕНИЙ
Южно-Сибирский научный вестник · 12.05.2026 · (2(66)) · 38-44
DOI: 10.25699/sssb.2026.66.2.002 ↗Kurz gefasst
Fachartikel in der Zeitschrift Южно-Сибирский научный вестник, online erschienen am 12.05.2026. Verfasst von А.С. Буторова und 1 weiteren Autor:innen. Die Arbeit nennt 21 Literaturangaben.
Abstract (Originalsprache)
В работе рассматривается задача оценки качества моделей пространственного распределения примесей в условиях ограниченного объема данных наблюдений. Традиционно используемые метрики согласия или расхождения между наблюдаемыми и прогнозируемыми значениями оказываются малоинформативными в ситуации, когда оценивается качество единственной модели, без сравнения ее с другими моделями. В таком случае задача сводится к вычислению p-value как меры уверенности (или неуверенности) в достаточности качества полученной модели. Асимптотические тесты, традиционно применяемые для этих целей, могут приводить к смещенным оценкам p-value и, как следствие, к некорректным выводам о качестве модели, особенно при малом числе наблюдений. В настоящей работе для вычисления p-value предложено использовать пермутационный подход, который не требует предположений о виде распределений и является точным при фиксированном размере набора данных. Цель работы – численное исследование различий между асимптотическими и пермутационными оценками p-value в зависимости от размера набора данных и силы связи между наблюдаемыми и предсказанными значениями. Авторами предложена схема применения пермутационного подхода для трех статистик: разности средних значений, разности медиан и коэффициента корреляции Пирсона. Приводятся схемы перестановок, соответствующие проверяемым нулевым гипотезам, и алгоритмы построения эмпирических распределений выбранных статистик. Для анализа различий между асимптотическим и пермутационным подходами проведен численный эксперимент на синтетических данных, в котором показано, что при малых объемах данных асимптотический p-value может существенно отличаться от пермутационного, причем расхождение уменьшается с увеличением числа наблюдений. Предложенный подход предлагается использовать в качестве дополнения к традиционным метрикам качества моделей. Результаты работы могут быть применены в задачах пространственного анализа и смежных областях. This paper addresses the problem of assessing the quality of spatial distribution models of pollutants under limited observational data. Traditionally used metrics of agreement or discrepancy between observed and predicted values become uninformative when evaluating the quality of a single model without comparison to other models. In such cases, the problem reduces to computing a p-value as a measure of confidence (or uncertainty) in the adequacy of the obtained model quality. Asymptotic tests, traditionally applied for this purpose, may lead to biased p-value estimates and, consequently, to incorrect conclusions about model quality, especially when the number of observations is small. In this study, we propose using a permutation approach to compute p-values, which does not require assumptions about the underlying distributions and is exact for a fixed dataset size. The aim of this work is a numerical study of the differences between asymptotic and permutation-based p-value estimates depending on the dataset size and the strength of the relationship between observed and predicted values. The authors propose a scheme for applying the permutation approach to three statistics: the difference of means, the difference of medians, and the Pearson correlation coefficient. Permutation schemes corresponding to the tested null hypotheses are presented, along with algorithms for constructing empirical distributions of the selected statistics. To analyze the differences between the asymptotic and permutation approaches, a numerical experiment on synthetic data was conducted. It is shown that for small sample sizes, the asymptotic p-value can differ significantly from the permutation p-value, with the discrepancy decreasing as the number of observations increases. The proposed approach is recommended as a complement to traditional model quality metrics. The results of this work may be applied in spatial analysis and related fields.
Zitieren
APA
Буторова, А., & Сергеев, А. (2026). ЧИСЛЕННОЕ ИССЛЕДОВАНИЕ РАЗЛИЧИЙ МЕЖДУ АСИМПТОТИЧЕСКИМ И ПЕРМУТАЦИОННЫМ ПОДХОДАМИ К ОЦЕНКЕ КАЧЕСТВА МОДЕЛИ ПРИ МАЛОМ ЧИСЛЕ НАБЛЮДЕНИЙ. Южно-Сибирский научный вестник, 38-44. https://doi.org/10.25699/sssb.2026.66.2.002
Vancouver
Буторова А, Сергеев А. ЧИСЛЕННОЕ ИССЛЕДОВАНИЕ РАЗЛИЧИЙ МЕЖДУ АСИМПТОТИЧЕСКИМ И ПЕРМУТАЦИОННЫМ ПОДХОДАМИ К ОЦЕНКЕ КАЧЕСТВА МОДЕЛИ ПРИ МАЛОМ ЧИСЛЕ НАБЛЮДЕНИЙ. Южно-Сибирский научный вестник. 2026:38-44. doi:10.25699/sssb.2026.66.2.002
BibTeX
@article{2026,
author = {Буторова, А.С. and Сергеев, А.П.},
title = {ЧИСЛЕННОЕ ИССЛЕДОВАНИЕ РАЗЛИЧИЙ МЕЖДУ АСИМПТОТИЧЕСКИМ И ПЕРМУТАЦИОННЫМ ПОДХОДАМИ К ОЦЕНКЕ КАЧЕСТВА МОДЕЛИ ПРИ МАЛОМ ЧИСЛЕ НАБЛЮДЕНИЙ},
journal = {Южно-Сибирский научный вестник},
year = {2026},
number = {2(66)},
pages = {38--44},
doi = {10.25699/sssb.2026.66.2.002}
}
EUVIMED