Яндекс.Метрика Ошибки статистического анализа биомедицинских данных
Каждый слышит то, что понимает. Гете

Часть учебно-методических материалов сайта, в том числе электронная библиотека, доступны только заказчикам работ по анализу данных для кандидатских и докторских диссертаций, а также слушателям системы дистанционного обучения и консультаций. Запрос на выполнение анализа данных, обучение и консультации направляйте на мэйл E-Mail редактора БИОМЕТРИКИ

Доказательная или сомнительная? Медицинская наука Кузбасса: статистические аспекты.

Отклики читателей статьи "Доказательная или сомнительная?"

ВАК будет размещать диссертации в интернете до защиты

Почему и как надо учить медиков статистике?
Доклад на Международной конференции по доказательной медицине в Ереване (18 - 20.10.2012)

Дисперсия жизни...
;Регистрационный код (если есть) 
; Открывать в новом окне?  ;Имя нового окна 
; Разрешение (1-8)  ; Скорость смены (1-255)  ; Задержка (миллисекунд)  ; Смена рисунков со спецэффектами ("YES" или "NO")  ;Произвольный рисунок поверх апплета  ;X смещение наложенного рисунка  ;Y смещение наложенного рисунка  ;Задержка освобождения памяти  ;Приоритет задачи (1..10)  ; Мин. время синхр. кадра (мс); Sorry, your browser doesn't support Java ; Сообщение для браузеров без поддержки Java (tm) 

Кликните по фотографии,
и вы сможете ...


Оригинальная статья "Вероятная ошибка среднего" Вильяма Госсета (Стьюдента),
предложившего t-критерий Стьюдента.
Опубликована в журнале BIOMETRIKA в 1908 году.


 Ошибки статистического анализа биомедицинских данных

 Леонов В.П.

Международный журнал  медицинской практики, 2007, вып. 2, стр.19-35.

В статье рассмотрено много примеров ошибочного использования статистики в российской биологии и медицине. Дана классификация основных видов ошибок, обсуждаются обзоры по этой теме за предыдущие 50 лет. Дана классификация причин возникновения таких ошибок в биологии и медицине. С позиций меметики рассмотрены более 1500 статей, монографий и диссертаций, содержащих  типичные ошибки использования и описания статистики. Приведены цепочки мемов с ошибочными описаниями методов сравнения средних и статистической значимости результатов и доверительной вероятности. Показано существование устойчивых мемов ошибочного описания статистики внутри отдельных научных школ, например в Сибирском государственном медицинском университете. Вводится новый тип мема - мем камуфляжного описания, используемый для маскировки неправильного применения статистики в медицинском исследовании.

«… не зная законов языка ирокезского, можешь ли ты делать такое суждение  по  сему предмету…»

Как блестящие идеи, так и научные

нелепости одинаковым образом

можно облечь во впечатляющий

мундир формул и теорем.

В.В.Налимов

 

В ряде случаев встречаются достаточно одиозные ошибки, которые демонстрируют полнейшее непонимание их авторами сути используемых методов. Чаще всего они связаны с использованием сложных статистических методов. Первый пример заимствован нами из диссертации {Климов, 1989} (.с. 33): «Статистическая обработка данных ... проводилась на основе пакета ... анализа биомедицинской информации «BMDP» ... Использованы вариационный, корреляционный, регрессионный, факторный, кластерный анализы на ЭВМ ЕС 1033. .. Проверка достоверности выявленных различий осуществлялась по критерию Стьюдента...». 

 

Стр. 150: «В результате проведенного анализа 224 случаев пневмонии на древовидной схеме выделилось 5 кластеров (см. рис. 5.10), соответствовавших 5 группам больных». 

 

Проанализируем эти и некоторые другие фрагменты диссертации.

  1. Из содержания диссертации непонятно, что подразумевает автор под «вариационным анализом». 
  2. В диссертации имеется ряд таблиц, содержащих результаты факторного анализа. Так, на с. 69 автор сообщает: «При выявлении факторных вкладов, определяющих приоритетное влияние на критерий «клиническая форма», установлено, что превалируют четыре главных фактора, составляющие 60,1% объясняемой дисперсии, т.е. степени воздействия их на описываемый критерий (см. табл. 3.13)». 

 

Таблица 3.13  Факторные вклады, определяющие клиническую форму пневмонии 

Вклад фактора

Признак и его характеристика 

Коэффициент корреляции 

I (22,6%)

Аномалии иммунитета 
Стигмы дисэмбриогенеза 
Аллергические диатезы 
ЧРЗ (частые респираторные заболевания)

0,724 
0,625 
0,574 
0,502

II (16,0%)

Хронические очаги в носоглотке 
Паразитарные инвазии 
Преморбидный фон (без иммунопатологии)

0,702 
0,616 
-0,599

III (11,2%)

Аллергические реакции 
Этиология (возбудитель)

0,768 
0,598

 IV 10,3%)

 Неблагоприятное микросоциальное окружение

 0,900

 

Как видно из содержания второго столбца табл. 3.13, используемые автором признаки  являются дискретными, качественными признаками, имеющими несколько альтернативных вариантов ответа. Факторный же анализ базируется на анализе непрерывных, количественных признаков, связанных между собой линейными корреляционными соотношениями. Обратимся к описанию процедуры факторного анализа Р4М приведенной на с. 21-30 второй части 44-го выпуска сборника «Программное обеспечение ЭВМ» (Минск, 1983), в двух частях которого содержится описание всех процедур упоминаемого диссертантом пакета BMDP. «Программа Р4М выполняет факторный анализ корреляционной или ковариационной матрицы, воспроизводя ее в пространстве меньшей размерности с помощью матрицы факторных нагрузок и корреляций между факторами. Так как процедура выделения факторов имеет неоднозначное решение, то для введения ограничений, связанных с возможностью дать каждой переменной в пространстве общих факторов простое факторное объяснение, производится вращение факторов». Исходя из этого, можно утверждать, что полученные диссертантом результаты факторного анализа совершенно искажённо отражают истинную структуру связей признаков. Более того, поскольку в данной процедуре может быть использовано достаточно большое количество алгоритмов вращения факторов, то и приведенное автором решение является одним из многих. При выборе другого алгоритма вращения мы получим другие вклады факторов, а также и другие коэффициенты связи исходных признаков и фактора. Автор не приводит своих аргументов в пользу выбора данного решения, по сравнению с другими аналогичными решениями. Не уточняет автор и выбранный им алгоритм вращения факторов. 

  1. Аналогичные вопросы выбора приводимого в диссертации решения из многих возможных вариантов решений, возникают и при знакомстве с результатами использования диссертантом кластерного анализа.

Как и в других многомерных методах, процедура кластерного анализа может породить множество решений. Каждое из таких решений определяется уникальной комбинацией нескольких параметров, основными из которых являются подмножество используемых признаков, мера расстояния между наблюдениями, мера расстояния между кластерами и алгоритм кластеризации. Кроме того, разномасштабность количественных признаков, а также совместное использование количественных и качественных признаков еще более усложняют выбор этой комбинации. Приведенное же диссертантом решение является одним из очень многих возможных кластерных решений, и без его сравнения с другими аналогичными решениями утверждать его предпочтительность весьма сомнительно. 

  1. В тексте диссертации не проводятся результаты проверки условий допустимости применения t-критерия Стьюдента.

Мы проверили гипотезы о равенстве генеральных дисперсий случайно выбрав одну из  таблиц ({Климов, 1989} табл. 5.15 с. 168), в которой  диссертант делает заключения о различии средних. Результаты проверки гипотез о дисперсиях показывают, что для многих сравниваемых пар генеральные дисперсии статистически значимо различаются. В одном из таких случаев критерий Фишера F=1202 , т.е. различие дисперсий более чем в 1000 раз! Таким образом, мы вновь имеем дело с ситуацией, когда критерий Стьюдента неприменим. Из этого следует, что выводы диссертанта по данной таблице весьма сомнительны. Описанное на примере одной диссертации справедливо в отношении большинства случаев применения факторного анализа в медицинских исследованиях.

 

            Второй пример связан с рукописью «Боль, тревога, депрессия в динамике  у больных гипертонической болезнью» (Дзизин-й А.А. и Кук-н С.Г.), поступившей на рецензию в редакцию «Сибирского медицинского журнала». Цель исследования заключалась в том, чтобы «Количественно оценить частоту и динамику симптомов тревоги, депрессии и болевого синдрома  при ежедневном наблюдении у больных гипертонической болезнью в условиях стационара». Для этого за группой из 42  пациентов с артериальной гипертензией  наблюдали в течение 16-17 дней, измеряя ряд некоторых показателей, характеризующих состояние больных. В результате чего получился многомерный временной ряд, часть показателей которого имела количественную природу (артериальное давление), а другие показатели оценивались в баллах. Окончив эти наблюдения, авторы объединяют 42 временных ряда в один временной ряд, создав, таким образом, новый ряд, с длительностью уже в 678 дней! И далее этот новый ряд начинают анализировать, причем не всегда адекватными методами. Основная ошибка здесь заключается в самой процедуре объединения 42 временных рядов в один ряд. Получается, что новый ряд есть результат наблюдения за неким «усредненным пациентом» в течение 678 дней! Некорректность этого приема столь очевидна, что не требует детального рассмотрения. Укажем только на самые явные противоречия этого приема. Во-первых, наблюдения за 42 пациентами могли быть проведены в разные периоды течения заболевания. Во-вторых, существуем масса вариантов объединения 42 рядов в один ряд. Смена последовательности следования пациентов в суммарном ряду будет изменять результаты анализа такого ряда. В третьих, искусственное увеличение протяженности временного ряда в 42 раза многократно увеличивает число степеней свободы, столь же искусственно повышая точность и надежность корреляционных коэффициентов и остальных оценок параметров.

 

Наша критика в адрес авторов, безграмотно применяющих критерий Стьюдента нередко приводит к курьезным последствиям. В тех случаях, когда этот  критерий неприменим, авторы используют другой критерий, однако незаслуженно приписывая ему свойства критерия Стьюдента. Проанализируем цитату  из доклада{Пузырев В.П., Назаренко С.А., Попова Н.А. 2001 }. На 21 странице читаем: «Статистический анализ показал, что по ряду цитогенетических показателей имеется несоответствие распределения эмпирических данных нормальному закону и поэтому t-критерий Стьюдента не может использоваться для сравнения средних значений выборок. Более адекватным для этой цели является непараметрический критерий однородности Колмогорова-Смирнова. ... приблизительно у 70% обследованных работников СХК и жителей г. Северска отмечается существенное повышение частоты как хромосомных аберраций нерадиационной природы, так и уровня СХО».

 

Как видим, используя критерий Колмогорова-Смирнова, авторы делают вывод о существенном повышении средней частоты хромосомных аберраций у определенной категории лиц. Однако данный вывод о столь важном показателе весьма сомнителен по следующей причине. В отличие от критерия Стьюдента, критерий Колмогорова-Смирнова чувствителен к любому различию в параметрах распределений. Для иллюстрации этого утверждения приведем цитату {В.Боровиков. 2001 }( cтр. 497.): «... двухвыборочнй критерий Колмогорова-Смирнова чувствителен не только к различию в положении двух распределений, но также и к форме распределения. Фактически он чувствителен к любому отклонению от гипотезы однородности, но не указывает, с каким именно отклонением мы имеем дело».

 

Рассмотренные выше особенности этого критерия проиллюстрируем с помощью массива данных, в котором имеются две группы наблюдений, в каждой из которых по 100 наблюдений. Количественный признак представлен переменной VAR1, группирующий признак - VAR2. Вторая группа была сконструирована из первой группы наблюдений следующим образом. После сортировки признака VAR1 в первой выборке по возрастанию, к первым 50 наблюдениям прибавили одно и то же число, тогда как от следующих 50 наблюдений это же самое число вычли. Полученные при этом новые значения признака VAR1 и составили вторую группу. В результате этой операции обе группы имеют идентичные средние (9,965234) и равные суммы значений (996,5234) переменной VAR1 в каждой из этих групп. K. Lange. Mathematical and Statistical Methods for Genetic Analysis.  Отличие же их заключается в том, что первая группа имеет нормальное распределение с унимодальной гистограммой, тогда как вторая группа имеет ярко выраженное антимодальное распределение (провал в центре и по одной моде слева и справа).  Гистограммы распределения этих групп приведены ниже. 

 

Гистограммы распределения

Проведем сравнение этих групп, используя непараметрические статистики. Тест Вальда-Вольфовица указывает на статистически значимое различие двух функций распределения (см. ниже). 
STATISTICA.     Wald-Wolfowitz Runs Test (Nazarenko.STA)
NONPAR    By variable VAR2 
STATS     Group 1: 1 Group 2: 2 

Valid N
Group 1 

Valid N
Group 2

Mean
Group 1

Mean
Group 2

Z

p-level

Z adjstd 

100

100

9,965234

9,965234

-3,68623 

0,000228

3,615340

О таком же различии говорят и результаты применения теста Колмогорова-Смирнова в пакете S-PLUS 2000 (см. ниже). 
S-PLUS 2000.  Two-Sample Kolmogorov-Smirnov Test
data:  x: V1 in Nazarenko.SAV , and y: V2 in Nazarenko.SAV
Dks = 0.22, p-value = 0.0156 
alternative hypothesis: 
cdf of x: V1 in Nazarenko.SAV does not equal the
cdf of y: V2 in Nazarenko.SAV for at least one sample point. 

Summary Statistics for data in:  Nazarenko.SAV 

Group 1

Group 2

Min (Минимум)
1-st Qu (1-я квартиль)
Mean (Среднее)
Median (Медиана)
3-rd Qu (3-я квартиль)
Max (Максимум)
Total N (Общее число наблюдений)
Std Dev (Стандартное отклонение)

7.526174
9.358504
9.965234
9.931250
10.550065 
12.374363
100

1.006245

 7.931365
8.554207
9.965234
10.101192
11.350258
11.931135
100


1.393181

Однако все сравнения средних указывают на их идентичность, т.е. нулевая гипотеза равенства генеральных средних принимается, при отвержении гипотезы идентичности функций распределения! Таким образом,  утверждение авторов этого доклада о том, что  «… приблизительно у 70% обследованных работников СХК и жителей г. Северска отмечается существенное повышение частоты как хромосомных аберраций нерадиационной природы, так и уровня СХО» вполне может быть ошибочным! Это может любым другим различием, например, различием дисперсий, различием мер формы и т.д. После разбора этого примера в разделе КУНСТКАМЕРА сайта БИОМЕТРИКА один из авторов доклада потребовал у нас публичного извинения за «моральный ущерб». Однако моё предложение выложить нашу переписку по этому поводу на сайте на суд читателей, отверг.

Литература

Диссертация на соискание ученой степени доктора медицинских наук "Клиническая оценка реакции нейтрофилов при острой пневмонии у детей." Диссертант - Климов В.В., специальность  14.00.09 - педиатрия, 14.00.36 - аллергология и иммунология. Томский медицинский институт, Томск - 1989 г.

Пузырев В.П., Назаренко С.А., Попова Н.А. "Цитогенетические эффекты ядерно-химического производства".Пленарный доклад на конференции " Медицинские и экологические эффекты ионизирующей радиации (к 15-летию аварии на Чернобыльской АЭС)": Материалы 1 международной научно-практической конференции, 21-22 июня 2001 года. Северск-Томск./ ред. Р.М. Тахауов, Л.В. Капилевич, А.Б. Карпов - Томск, 2001. - 144с.

В.Боровиков. STATISTICA: ИСКУССТВО ДАННЫХ НА КОМПЬЮТЕРЕ. ДЛЯ ПРОФЕССИОНАЛОВ. - СПб.: Питер, 2001. - 656с. 

СТАТИСТИЧЕСКИЙ АНАЛИЗ ДАННЫХ ДЛЯ ДИССЕРТАНТОВ

Центр БИОСТАТИСТИКА выполняет работы по статистическому анализу экспериментальных данных уже более 30 лет. В его составе исследователи России, США, Израиля, Англии, Канады и других стран. Услугами Центра пользуются аспиранты и докторанты в области медицины, биологии, социологии, психологии и т.д. Стандартные сроки анализа данных: для статей и докладов - 5-10 дней, для кандидатских диссертаций 1 месяц, для докторских диссертаций 1,5 месяца. (См. далее)

Отзывы заказчиков по статистическому анализу данных

«Роющая деятельность кабана». Статья в "Независимой" газете...

Проценты - статистический анализ? Или проценты - арифметический анализ? В. Леонов.

Сравниваем средние, а также и ... В. Леонов.

БИОМЕТРИКЕ - 16 лет! А что было раньше? И что теперь?  Леонов В.П.
16 лет... Возраст немалый... Как появился наш сайт? И стал ли он популярным?
Первоначально наш сайт был разделом на сайте Доктор.Ру, который был создан в Хабаровске. Вот как выглядел этот раздел, например, 20 июля 2001 года. Поскольку в те годы скорость передачи информации в интернете была невысокая, то для облегчения доступа к материалам БИОМЕТРИКИ мы открыли "зеркала" (копии) в таких городах, как Томск, Владивосток, Москва, Киев. В дальнейшем, когда сайт Доктор.Ру переехал в Москву, был сделан отдельный хостинг БИОМЕТРИКИ в Томске. Со временем необходимость наличия "зеркал" сайта в других городах отпала, и БИОМЕТРИКА осталась в Томске. Читатели БИОМЕТРИКИ в своих письмах часто задают вопрос о том, каковы были мотивы создания этого сайта? Чтобы немного рассказать об этом, вернёмся на 28 лет назад, в прошлое.

Статистика в кардиологии. 15 лет спустя. Леонов В.П.

15 лет назад, в 1998 году, в журнале «Кардиология» была опубликована наша статья  «Применение методов статистики в кардиологии (по материалам журнала «Кардиология» за 1993–1995 гг.) В нём были проанализированы 426 статей кардиологической тематики. В новом обзоре проаналированы современные журнальные статьи кардиологической тематики. Учитывая то, что  в настоящее время в России смертность от сердечно-сосудистых заболеваний более чем в 4 раза выше, чем в Европе, США и Японии, актуальной задачей является оценка эффективности использования статистики в российской кардиологии. (Весь обзор одним файлом)

Применение методов статистики в кардиологии (по материалам журнала "Кардиология" за 1993-1995 гг.). Леонов В.П. Кардиология, 1998, № 1, с. 55-58.

Примеры отличных диссертаций и статей по медицине и биологии, с нашими результатами статистического анализа

В.В. Половинкин
ТОТАЛЬНАЯ МЕЗОРЕКТУМЭКТОМИЯ — ФАКТОР ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ЛЕЧЕНИЯ СРЕДНЕАМПУЛЯРНОГО И НИЖНЕАМПУЛЯРНОГО РАКА ПРЯМОЙ КИШКИ.

Н.Г. Веселовская 
КЛИНИЧЕСКОЕ И ПРОГНОСТИЧЕСКОЕ ЗНАЧЕНИЕ ЭПИКАРДИАЛЬНОГО ОЖИРЕНИЯ У ПАЦИЕНТОВ ВЫСОКОГО СЕРДЕЧНО-СОСУДИСТОГО РИСКА.

О.Я. Васильцева ЗАКОНОМЕРНОСТИ ВОЗНИКНОВЕНИЯ, КЛИНИЧЕСКОГО ТЕЧЕНИЯ И ИСХОДОВ ТРОМБОЭМБОЛИИ ЛЕГОЧНОЙ АРТЕРИИ ПО ДАННЫМ ГОСПИТАЛЬНОГО РЕГИСТРА ПАТОЛОГИИ.

В.А. Габышев  ФИТОПЛАНКТОН КРУПНЫХ РЕК ЯКУТИИ И СОПРЕДЕЛЬНЫХ ТЕРРИТОРИЙ ВОСТОЧНОЙ СИБИРИ.Проценты - статистический анализ? Или проценты - арифметический анализ? В. Леонов.  

М.И. Антоненко  ГИПЕРКОРТИЦИЗМ БЕЗ СПЕЦИФИЧЕСКИХ КЛИНИЧЕСКИХ СИМПТОМОВ: ЭПИДЕМИОЛОГИЯ, КЛИНИКА, ДИАГНОСТИКА.

Н.Г. Веселовская
"ПРОГНОЗИРОВАНИЕ РИСКА РЕСТЕНОЗА КОРОНАРНЫХ АРТЕРИЙ ПОСЛЕ ИХ СТЕНТИРОВАНИЯ У ПАЦИЕНТОВ С ОЖИРЕНИЕМ"

Г.А. Попова СРАВНИТЕЛЬНОЕ ИЗУЧЕНИЕ ПОДВИДОВ LINUM USITATISSIMUM L . В УСЛОВИЯХ ЗАПАДНОЙ СИБИРИ. (диссертация на соискание учёной степени кандидата биологических наук).

А.Г. Сыркина Ретроспективный анализ эффективности и безопасности тромболитической терапии острого инфаркта миокарда у больных пожилого и старческого возраста (диссертация на соискание учёной степени кандидата медицинских наук).


В. Леонов. Цели, возможности, и проблемы использования биостатистики в доказательной медицине. Доклад на Конференции по доказательной медицине в Ереване «От доказательной медицины к доказательному здравоохранению» (24 - 26 сентября 2015 года)

 

 


1997 - 2017.© Василий Леонов. E-mail:

Доказательная или сомнительная? Медицинская наука Кузбасса: статистические аспекты.

Отклики читателей статьи "Доказательная или сомнительная?"

Возврат на главную страницу.

Возврат в КУНСТКАМЕРУ

Т. Кун "Структура научных революций"