Леонов В.П.

Международный журнал 
медицинской практики,
2007, вып. 2, стр.19-35.

В статье рассмотрено много примеров ошибочного использования статистики в российской биологии и медицине. Дана классификация основных видов ошибок, обсуждаются обзоры по этой теме за предыдущие 50 лет. Дана классификация причин возникновения таких ошибок в биологии и медицине. С позиций меметики рассмотрены более 1500 статей, монографий и диссертаций, содержащих  типичные ошибки использования и описания статистики. Приведены цепочки мемов с ошибочными описаниями методов сравнения средних и статистической значимости результатов и доверительной вероятности.

Показано существование устойчивых мемов ошибочного описания статистики внутри отдельных научных школ, например в Сибирском государственном медицинском университете. Вводится новый тип мема - мем камуфляжного описания, используемый для маскировки неправильного применения статистики в медицинском исследовании. Установлено, что наиболее часто встречаются случаи ошибочного использования t-критерия Стьюдента, без необходимой проверки обязательных для этого условий. Наиболее часто подобные ошибки встречаются в публикациях журнала "Бюллетень экспериментальной биологии и медицины". 

Достаточно часто в российских публикациях приводятся описания некорректного применения многомерных статистических методов, таких как факторный и кластерный анализ. На основе анализа причин живучести таких ошибок в биомедицине, даны конкретные рекомендации по разрешению этой проблемы. Основным средством для этого является создание в медицинских исследовательских организациях лабораторий биостатистики.

Оглавление

Ошибка – это …

Ошибка или обман?

Обзоры ошибок применения статистики в медицине

Причины возникновения ошибок и меры борьбы с ними

Ошибки описания статистических методов

Меметический анализ описаний методов статистики

Локализация ошибочных описаний внутри научных школ

Мемы камуфляжных описаний

Смутно пишут о том, о чём смутно представляют

Коварный t-критерий Стьюдента

«… не зная законов языка ирокезского, можешь ли ты делать такое суждение  по  сему предмету…»

Что же делать, чтобы избежать ошибок?

Суди дружок, не свыше сапога!

А.С. Пушкин.

            Смутное представление о том, что означают те или иные величины, используемые в статистическом анализе, приводит к тому, что авторы публикаций путают их между собой. Вот какое, к примеру, описание приведено в статье {Феномен стабильности роста опухоли в организме хозяина. Новый подход к концентрации роста и лечения опухоли. 1995} «Статистическую обработку полученных данных проводили методом Фишера-Стьюдента. Различия считали достоверными при t < 0,05». Как видим, авторы этой работы перепутали уровень значимости «р» и критерий Стьюдента «t». 

            Нередко авторы путают между собой  и такие величины, как уровень значимости и доверительная вероятность. Вот что, к примеру,  можно прочитать в статье{М.Г. Спиридонова, В.А. Степанов, В.П. Пузырев, Р.С. Карпов. 2000}: «Для всех статистических тестов в качестве критерия статистической достоверности рассматривался уровень значимости более 0,95». 

Обратимся к толкованию этого термина в «Статистический словарь. 1989». На с. 542 читаем: «УРОВЕНЬ ЗНАЧИМОСТИ - одна из характеристик качества критерия статистической проверки гипотез. Пусть выдвинута гипотеза H₀ (основная, или «нулевая»). Всякое стат. решение, принимаемое на основе ограниченного ряда наблюдений, неизбежно сопровождается вероятностью ошибочного заключения.  С вероятностью альфа гипотеза H₀ может оказаться отвергнутой, в то время как на самом деле она является справедливой (ошибка первого рода), или, наоборот, с вероятностью бэта может быть принята гипотеза H₀ в то время, как на самом деле она является ошибочной (ошибка второго рода). ... В частности, при фиксированном объеме выборки обычно задаются величиной альфа вероятности ошибочного отвержения проверяемой  гипотезы H₀ . Эту вероятность ошибочного отклонения «нулевой» гипотезы принято называть УРОВНЕМ ЗНАЧИМОСТИ... На практике часто пользуются след. стандартными значениями альфа: 0,1 , 0,05 , 0,025 , 0,01 , 0,005 , 0,001. Особенно распространенной является величина УРОВНЯ ЗНАЧИМОСТИ  альфа равная 0,05. Она означает, что в среднем в пяти случаях из ста ошибочно отвергают высказанную гипотезу при пользовании данным критерием статистическим». 

Дополним это толкование термина «УРОВЕНЬ ЗНАЧИМОСТИ» обратившись к определению понятия доверительной вероятности, и, применив его, объясним смысл авторского утверждения. Для этого используем популярную среди биологов и медиков книгу Г.Ф. Лакина (Биометрия, 1990) в которой на с.107 читаем: «...С доверительной вероятностью тесно связан уровень значимости альфа, под которым понимают разность альфа=1-Р.»  Следуя авторскому утверждению получается, что при уровне значимости более 0,95 они использовали доверительную вероятность  менее 0,05! Фактически авторы статьи {М.Г. Спиридонова, В.А. Степанов, В.П. Пузырев, Р.С. Карпов. 2000} из журнала «Генетика» утверждают, что они верят собственным результатам менее, чем на 5%!  Таким образом, используя уровень значимости более 0,95 , авторы ошибочно отвергали высказанные гипотезы более чем в 95 случаях из 100. О какой же «достоверности» можно говорить в этом случае? Самое печальное в таких ошибках то, что читателю невозможно установить саму природу ошибки. Или же это ошибка только описания, и тогда мы имеем дело всего лишь с терминологической путаницей, но сами выводы верны, или же данная ошибка присутствовала уже на этапе выполнения анализа, и тогда уже ошибочны сами выводы. Именно поэтому в широко используемых в последние годы критериях качества исследований признается невозможность разделить качество отчета от качества исследования. Единственным выходом оказывается при наличии отчета с видимыми дефектами предполагать, что и само исследование проведено методически ущербно.

Аналогичную путаницу обнаружим и в работах:

Литература

Феномен стабильности роста опухоли в организме хозяина. Новый подход к концентрации роста и лечения опухоли. Вестник РАМН. 1995, с. 14-16.

Статья "Анализ взаимосвязи полиморфизма С677Т гена метилентетрагидрофолатредуктазы с клиническими проявлениями атеросклероза." М.Г. Спиридонова¹, В.А. Степанов¹, В.П. Пузырев¹, Р.С. Карпов².    ¹ Научно-исследовательский институт медицинской генетики Томского научного центра Сибирского отделения РАМН (директор - академик РАМН В.П. Пузырев).     ² Научно-исследовательский институт кардиологии Томского научного центра Сибирского отделения РАМН (директор - академик РАМН Р.С. Карпов). Генетика, вып. 9, 2000, стр. 1269-1273. В. Урбах. Статистический анализ в биологических и медицинских исследованиях.

Статистический словарь. М.: Финансы и статистика. 1989, - 623 с.

Лакин Г.Ф. Биометрия. 1990, М.: Высшая школа, 352 с.

Диссертация на соискание ученой степени доктора биологических наук "Механизмы образования и деградации надэпителиального слизистого слоя пищеварительного тракта." Диссертант - Кривова Н.А., специальность 14.00.17 - нормальная физиология. НИИ биологии и биофизики Томского государственного университета,Томск - 1994г.

Диссертация на соискание ученой степени кандидата медицинских наук "Исходы нестабильной стенокардии на догоспитальном и госпитальном этапах." Диссертант - Харьков Е.И., специальность  14.00.06 - кардиология. Красноярский медицинский университет, Красноярск - 1987г.

Статья "Влияние излучения He-Ne лазера на ферментативную активность и оптические свойства каталазы." Артюхов В.Г., Башарина О.В., Пантак А.А., Свекло Л.С. Воронежский государственный университет. Бюллетень экспериментальной биологии и медицины, вып. 6, 2000, стр. 633-636.

Статья "Депрессия кроветворения при Cl₄ - индуцированном гепатофиброзе: роль системной эндотоксинемии." Шварц Я.Ш., Зубахин А.А., М.И. Душкин М.И. НИИ терапии СО РАМН, Новосибирск. Бюллетень экспериментальной биологии и медицины, вып. 8, 2000, стр. 172-175.