Анализ журнальных публикаций и диссертаций по биомедицине обнаруживает, что в ряде случае авторы исследований используют критерий Колмогорова-Смирнова не совсем верно понимая специфику этого критерия. В итоге авторы трактуют полученные ими результаты ошибочно, искренне заблуждаясь в своих выводах. Известность научных организаций, в которых выполнялись эти исследования, ученые степени и звания авторов таких работ способствуют некритическому восприятию таких работ, и, как следствие, ошибочные выводы начинают далее самостоятельную, и подчас продолжительную, жизнь. Эти же причины способствуют и тому, что для неопытных исследователей эти работы становятся примерами для подражания, мемами, порождая тем самым дальнейшую цепь ошибочных выводов. К каким возможным отрицательным последствиям эти заблуждения могут привести в дальнейшем, очевидно проследить невозможно. "Нам не дано предугадать, как наше слово отзовется...". 

Наибольшее распространение среди таких исследователей получило следующее заблуждение, связанное с этим критерием.  В том случае, когда распределение признака не подчиняется нормальному закону, авторы производят проверку гипотезы о равенстве двух генеральных средних с помощью критерия Колмогорова-Смирнова, считая его вполне адекватной заменой t-критерию Стьюдента для независимых выборок. Получив значение достигнутого уровня значимости "р" меньше 5% авторы трактуют этот результат только как неравенство двух генеральных средних. В немалой степени такая ситуация предопределена еще и доминирующей среди отечественных медиков и биологов статистической парадигмой, согласно которой основное различие опытной и контрольной групп заключается лишь в одном изменении такого параметра распределения, как среднее. Именно по этой причине примерно в 60% отечественных биомедицинских статей и диссертаций используют t-критерий Стьюдента для проверки подобной гипотезы, тогда как за рубежами России его используют всего лишь в 11% публикаций. 

Учитывая, что достаточно подробное описание критерия  критерия Колмогорова-Смирнова в отечественной литературе встречается достаточно редко, приведем несколько цитат из ряда изданий,  после чего более подробно опишем специфику данного критерия. 

Стр. 244-245. 
"Колмогорова-Смирнова критерий - (Kolmogorov-Smirnov test) - собирательное название для статистических критериев, статистики которых выражаются через максимальное (минимальное) значение разности между выборочной и теоретической функциями распределениями или их оценками. Различают К.-С. к. для одной, двух и нескольких выборок." (Далее в тексте идет  речь о проверке гипотез однородности  ). 
"Двухвыборочный критерий Смирнова основан на статистике D_m,n = sup |F_m (x)-G_n(x)|." 

Стр. 80-89, 350-352. 
"Критерии однородности двух выборок.  ... Основная гипотеза Н₀, подлежащая проверке, заключается в предположении, что обе выборки извлечены из одной и той же совокупности и, значит, функции распределения случайных величин (далее вместо греческой буквы "дзета" мы используем латинскую букву "d". - В.Л.) d иd¹ одинаковы: , где F_n(x) - функция эмпирического распределения, построенного по выборке d₁, d₂, ..., d_n." (Далее в тексте идет объяснение оценки самой статистики однородности, в котором используется величина D⁺_m,n, где D_m,n= sup|G_m(x)- F_n(x)|.) 

стр. 117-118. 
"Критерий Смирнова для двух выборок также использует понятие эмпирической функции распределения. Но в этом случае нас интересует, являются ли две независимые выборки наблюдений выборками из одного и того же распределения. Точнее говоря, имеется случайная  выборка x₁, x₂, ..., x_n из совокупности с непрерывной функцией распределения F(x) и независимая случайная выборка  y₁, y₂, ..., y_n из совокупности с непрерывной функцией распределения  G(y).  Мы хотим проверить гипотезу 
H₁: F(z)=G(z)  для всех  z 
против 
H2: F(z) <> G(z) для некоторых  z. 
Заметим, что мы не уточняем, какова на самом деле общая форма  F(z) и G(z)  в H₁ . 
По двум выборкам можно определить две эмпирические функции распределения F_n1(x) и G_n2(y). В двухвыборочном критерии Смирнова используется статистика D_n1,n2 = sup|F_n1(z)- G_n2(z)|,  которая является наибольшим отклонением между двумя эмпирическими функциями распределения."

Прежде чем привести описание интересующего нас критерия Колмогорова-Смирнова, обратим внимание на структуру данной монографии, которая считается одной из лучших по методам непараметрической статистики. Итак, приведем названия отдельных глав этой монографии: "Глава 3. Одновыборочная задача о положении (сдвиге)", "Глава 4. Двухвыборочная задача о положении (сдвиге)", "Глава 5. Двухвыборочная задача о рассеяниии (масштабе)", "Глава 10. Критерии, сконструированные для обнаружения произвольных альтернатив". Именно в этой, последней главе, и рассмотрен данный критерий. Обратите внимание на то, что в отличие от предыдущих глав, где речь идет о задачах проверки гипотез касающихся конкретных параметров распределений, таких, как мер положения (главы 3 и 4) и мер рассеяния (глава 5),  в названии главы 10 говорится о произвольных альтернативах, т.е. не уточняется о каких конкретных параметрах будут рассмотрены статистические гипотезы. Кстати, аналогичная классификация использована и в книге "КОМПЬЮТЕРНАЯ БИОМЕТРИКА"/ Под ред. В.Н.Носова. - М.:Изд-во МГУ, 1990. - 232с. А теперь приведем несколько цитат из этой монографии, касающихся сути данного заблуждения. 

Стр. 232. "Эта глава посвящена свободным от распределения критериям, предназначенным для обнаружения широких классов альтернатив. В 10.1 приведено описание двухвыборочного свободного от распределения критерия для гипотезы об идентичности двух совокупностей П₁ и П₂. Критерий предназначен для обнаружений всех возможных отклонений от этой гипотезы." 
Стр. 241. "10.6. Двусторонний критерий Колмогорова-Смирнова, основанный на J₃, предназначен для обнаружения (см. свойство 1) всех альтернатив к H₀(1). Для получения такой дополнительной защиты, мы жертвуем мощностью против частных подклассов (вроде сдвига параметра положения)." 

стр. 268.
 "Если необходимо сравнить две независимые выборки измерений (или значений частот) и ответить на вопрос, относятся ли они к одной и той же генеральной совокупности, то наиболее строгим критерием однородности является критерий Колмогорова (1933) и Смирнова (1939). Он включает в себя проверку всех видов различия распределений, в особенности различия средних положений (среднее значение, медиана), рассеяния, асимметрии и эксцесса, т.е. различия функции распределения (см. также [Darling, 1957] [Kim, 1969])."  Это перечисление параметров распределений означает ЛЮБЫЕ различия, ЛЮБЫХ параметров, без конкретизации каких именно.

Стр. 328. 
"Особым преимуществом критерия Смирнова является то, что этот критерий со сколь угодно большой вероятностью позволяет обнаружить любое отклонение между функциями распределения X и Y, если только  n достаточно велико. Таким образом, критерий Смирнова следует применять тогда, когда нужно проверить полное согласие функций распределения F(t) и G(t) случайных величин X и Y   во всем интервале изменения t и когда для этой проверки в нашем распоряжении имеется достаточно обширный материал наблюдений.Но если речь идет лишь о том, чтобы установить, не будет ли  X в среднем больше, чем  Y, то следует применять более мощные критерии, которые даже при небольших n  могут привести к решению поставленного вопроса.Такого рода критериями являются критерий Вилкоксона и критерий X, к изложению которых мы теперь и переходим." (Ниже, на стр. 357 автор сообщает о том, что мощность критерия X такая же, как у критерия Стьюдента, а на стр. 357 говорит о предпочтительности критерия Х перед t-критерием Стьюдента).

Стр. 497.
"... двухвыборочнй критерий Колмогорова-Смирнова чувствителен не только к различию в положении двух распределений, но также и к формераспределения.Фактически он чувствителен к любому отклонению от гипотезы однородности, но не указывает, с каким именно отклонением мы имеем дело".

Стр. 16. 
"Глава 2. Критерии различий двух выборок. 
... Пятый и шестой критерии позволяют выявить как различия в средних тенденциях, так и иные различия между выборками. Бывают случаи, когда в опыте наблюдаются два противоположных типа реакций, например в части опытов повышение, а в другой части - понижение артериального давления. Средние значения в опыте и контроле в этом случае могут оказаться близкими, но распределения все же будут различаться. ... Если ... имеются просто две несгруппированные выборки, то для выявления любых различий в распределениях целесообразно применять серийный критерий r (Вальда-Вольфовица). Он позволяет статистически оценить достоверность вывода о существенных различиях между двумя группами наблюдений, но в чем именно эти различия состоят, остается неизвестным. Решение этого вопроса требует отдельного анализа." 

Итак, при использовании двухвыборочного критерия Колмогорова-Смирнова отклонение нулевой гипотезы об идентичности двух распределений и принятие гипотезы различия двух распределений не позволяет  утверждать, что это различие наблюдается именно для средних. С таким же успехом данное различие может наблюдаться и для других параметров распределения, тогда как средние в этом случае могут быть равными. Сама статистика Смирнова построена таким образом, что в ней игнорируются конкретные параметры распределений (средние, дисперсии и т.д.) Рассматриваются только функции распределения без конкретных параметров. 

 Проиллюстрируем сказанное выше графически. Для этого сгенерируем в пакете EXCEL две выборки данных, подчиняющиеся нормальному закону распределения. Объем каждой из выборок зададим равным 100. При этом генеральные средние (математические ожидания) зададим в обеих выборках равными 4, а значения генеральных стандартных отклонений (стандартов) отличающимися в три раза: в одном массиве равном 1, а в другом - 3. Выборочные значения средних и стандартов, естественно, будут несколько отличаться, в силу ограниченности выборок, от заданных теоретических величин. Так выборочные средние будут равны 3,959600 и  3,828200, а выборочные стандарты, соответственно, 1,085417 и  3,001538. Далее эти две выборки объединим в один массив DATA1.STA объемом 200 наблюдений, с группирующим признаком имеющим две градации: 1-я и 2-я группа.  Используем этот тестовый набор данных DATA1.STA  и построим совмещенные гистограммы распределения накопленной частоты. Данные гистограммы представлены ниже. 

Поскольку наши выборки изначально были сгенерированы с использованием нормального закона распределения, то видно, что эмпирические (фактические) функции распределения весьма близки к теоретическим. Далее мы покажем крупным планом один участок  этого графика, в том интервале значений переменной Х, для которого разница между двумя эмпирическими функциями распределения максимальна. Вертикальные отрезки со стрелками представляют собой те разности двух эмпирических функций, которые претендуют на максимальное значение, и одна из них, самая большая, будет использована в качестве статистики Смирнова  D_n1,n2 = sup|F_n1(z)- G_n2(z)|. 

На следующем графике представлено распределение разностей сравниваемых эмпирических функций распределения F1 и F2, в зависимости от значения Х. Стрелками обозначены максимальные положительная и отрицательная разность. График построен с использованием программы разработанной профессором кафедры прикладной информатики ТГУ д.ф.-м.н. В.В.Поддубным.

Рассмотренные выше особенности статистических критериев проиллюстрируем также с помощью аналогичным образом синтезированного массива данных DATA2.STA . В данном массиве имеются две группы наблюдений, в каждой из которых по 100 наблюдений. Количественный признак представлен переменной VAR1, группирующий признак - VAR2. Вторая группа была сконструирована из первой группы наблюдений специальным образом. В частности, после сортировки признака VAR1 в первой выборке по возрастанию, к первым 50 наблюдениям прибавили одно и то же число, тогда как от следующих 50 наблюдений это же самое число вычли. Полученные при этом новые значения признака VAR1 и составили вторую группу. В результате этой операции обе группы имеют идентичные средние (9,965234) и равные суммы значений (996,5234) переменной VAR1 в каждой из этих групп. Отличие же заключается в том, что первая группа имеет нормальное распределение с унимодальной гистограммой, тогда как вторая группа имеет ярко выраженное антимодальное распределение (провал в центре и по одной моде слева и справа) .  Гистограммы распределения этих групп приведены ниже. 

Проведем сравнение этих групп используя непараметрические статистики. Тест Вальда-Вольфовица указывает на статистически значимое различие двух распределений (см. ниже). 
STATISTICA.     Wald-Wolfowitz Runs Test (DATA2.STA) 
NONPAR    By variable VAR2 
STATS     Group 1: 1 Group 2: 2 

Valid N Group 1	Valid N Group 2	Mean Group 1	Mean Group 2	Z	p-level	Z adjstd
100	100	9,965234	9,965234	-3,68623	0,000228	3,615340

О таком же различии говорят и результаты применения теста Колмогорова-Смирнова в пакете S-PLUS 2000 (см. ниже). 
S-PLUS 2000.  Two-Sample Kolmogorov-Smirnov Test
data:  x: V1 in DATA2.SAV , and y: V2 in DATA2.SAV
D_ks = 0.22, p-value = 0.0156 
alternative hypothesis: 
cdf of x: V1 in DATA2.SAV does not equal the
cdf of y: V2 in DATA2.SAV for at least one sample point. 

 ***  Summary Statistics for data in:  DATA2.SAV ***
 

	Group 1	Group 2
Min (Минимум) 1-st Qu (1-я квартиль) Mean (Среднее) Median (Медиана) 3-rd Qu (3-я квартиль) Max (Максимум) Total N (Общее число наблюдений) Std Dev (Стандартное отклонение)	7.526174 9.358504 9.965234 9.931250 10.550065  12.374363 100 1.006245	7.931365 8.554207 9.965234 10.101192 11.350258 11.931135 100 1.393181

Однако все сравнения средних указывают на их идентичность, т.е. нулевая гипотеза равенства генеральных средних принимается, при отвержении гипотезы идентичности функций распределения!

"Важность грамотного использования статистических методов осознается все шире. И, хотя ошибки не исчезли, все больше журналов прилагают усилия к их искоренению. Во многих из них рецензирование включает отдельный этап проверки статистической правильности предлагаемых работ. Приведу подтверждение, наиболее ощутимое для меня. Я являюсь внештатным редактором Journal of the American College of Cardiology, и моя работа состоит в выявлении статистических ошибок в поступающих работах. Доля статей, содержащих ошибки, составляет около половины, но теперь уже половины предлагаемых к публикации, а не опубликованных работ.." (стр. 16)

"Поиск новых методов диагностики и лечения, выбор наилучшего из уже принятых - везде статистические соображения играют не последнюю роль. Чтобы принять полноправное участие в обсуждении этих вопрососв, врач должен быть знаком с принципами и основными методами статистики. До сих пор медики редко участвовали в обсуждении статистических вопросов, на первый взгляд далеких от врачебной практики и носящих сугуюо технический характер. Однако по мере ужесточения требований к использованию ресурсов медикам следует научиться проверять обоснованность претензий на эффективность и с большим пониманием участвовать в распределении средств. И основой для этого служит статистика." (стр. 20)

"Как мы видим, статистические ошибки встречаются примерно в половине статей. Однако дальнейшие исследования показали, что журналам, в которых взяли за правило обращать внимание не только на медицинскую, но и статистическую сторону дела, удалось существенно снизить долю ошибочных статей. Эта доля нимало не изменилась в тех журналах, которые так и не ввели статистического рецензирования.

  Врачам известно множество методов диагностики и лечения, эффективность которых была "доказана" статистическими методами и которые тем не менее канули в Лету, не выдержав проверки практикой. А сколь часто приходится читать статьи, в которых статистические манипуляции с одними и теми же данными приводят к прямо противоположным выводам. Все это наводит читателя на мысль, что статистические методы либо ненадежны, либо слишком трудны для понимания, либо вообще не более чем инструмент для недобросовестного исследователя. Между тем даже начального знакомства со статистикой в сочетании со здравым смыслом обычно достаточно, чтобы понять, что предлагает нам автор в качестве "доказательств". По иронии судьбы ошибки редко связаны с тонкими статистическими вопросами. Как правило, это простейшие ошибки, такие как отсутствие контрольной группы, использование неслучайных выборок или пренебрежение статистической проверкой гипотез. По неизвестным науке причинам такие ошибки неизменно смещают результаты исследования в пользу предлагаемого автором метода (Выделено нами. В.Л.).

Вред наносимый ошибками такого рода, очевиден. Исследователь заявляет о "статистически достоверном" эффекте лечения, редактор помещает статью в журнал, врач, неспособный критически оценить публикацию, применяет неэффективный метод лечения. В конце этой цепи находится больной, который и расплачивается за все, подвергаясь ненужному риску и не получая действительно эффективного лечения (Выделено нами. В.Л.). Не следует сбрасывать со счетов и ущерб от самого факта проведения бессмысленных исследований. Деньги и подопытные животные приносятся в жертву науке, больные рискуют ради сбора ошибочно интерпретируемых данных. 

Сегодня грамотная проверка эффективности лечения становится первоочередной задачей. Исследования должны тщательно планироваться, а результаты правильно интерпретироваться.

ОШИБКИ ВЕЧНЫ?
Поскольку описанные ошибки совершаются в массовом порядке, ничто не побуждает исследователей корректно использовать статистические методы. Редко кому приходилось слышать критические замечания на сей счет. Наоборот, исследователи часто опасаются, что их коллеги, а особенно рецензенты, сочтут грамотно и полно изложенную статистическую процедуру высокомерной теоретизацией.

Журналы призваны быть оплотом качества научных исследований. В некоторых редакциях действительно осознали, что их рецензенты не слишком сведущи в использовании элементарной статистики, и изменили саму процедуру рецензирования. Теперь, перед тем как направить рукопись на рецензию, ее тщательно проверяют на предмет правильности использования статистических методов. Результатом этого нередко становится пересмотр используемых в статье статистических методов, а иногда и самих выводов.

Но большинство редакторов, похоже, убеждены, что каждый рецензент рассматривает статистическую сторону работы столь же тщательно, сколь и собственно медицинскую. Неясно, однако, как он может это сделать - ведь даже авторы ведущих медицинских журналов, упоминая статистичекую проверку гипотез, редко затрудняют себя указанием, какой именно критерий был использован. Коротко говоря, для грамотного чтения медицинской литературы необходимо научиться понимать и оценивать правильность применения статистических методов, используемых для анализа результатов." (стр. 23-25).

   В 1940 г. академик А.Н.Колмогоров опубликовал в Докладах Академии Наук СССР (1940. Том ХХVII.  № 1.) статью "ОБ  ОДНОМ  НОВОМ  ПОДТВЕРЖДЕНИИ ЗАКОНОВ МЕНДЕЛЯ".  В этой статье, на основе данных Н.И. Ермолаевой (аспирантки академика Т.Д. Лысенко), Андрей Николаевич убедительно опроверг ложные выводы Н.И. Ермолаевой о том, что законы Менделя не верны. Именно эта статья и побудила нас открыть раздел КУНСТКАМЕРА. Однако доказать ложность выводов Н.И. Ермолаевой А.Н.Колмогоров смог только потому, что будучи абсолютно уверена в истинности своих выводов, она привела в своей статье все свои исходные данные. Полагаю, что и в наше время тем исследователям, которые также уверены в истинности своих результатов, имеет смысл предоставлять свободный доступ к  тем данным, на основе которых получены публикуемые результаты. 

© 2001. В.Леонов.