Яндекс.Метрика Ошибки статистического анализа биомедицинских данных
Каждый слышит то, что понимает. Гете

Часть учебно-методических материалов сайта, в том числе электронная библиотека, доступны только заказчикам работ по анализу данных для кандидатских и докторских диссертаций, а также слушателям системы дистанционного обучения и консультаций. Запрос на выполнение анализа данных, обучение и консультации направляйте на мэйл E-Mail редактора БИОМЕТРИКИ

Доказательная или сомнительная? Медицинская наука Кузбасса: статистические аспекты.

Почему и как надо учить медиков статистике?
Доклад на Международной конференции по доказательной медицине в Ереване (18 - 20.10.2012)

ВАК для учёных? или ВАК для… бумагомарак? «ТРОИЦКИЙ ВАРИАНТ» № 8 (127), 2013 год.

25 наиболее популярных ссылок, посещаемых читателями нашего сайта

http://www.biometrica.tomsk.ru/logit_8.htm

http://www.biometrica.tomsk.ru/kuzbass5.htm

http://www.biometrica.tomsk.ru/student.htm

http://www.biometrica.tomsk.ru/kuzbass6.htm

http://www.biometrica.tomsk.ru/erevan_4.html

http://www.biometrica.tomsk.ru/principals.htm

http://www.biometrica.tomsk.ru/kk.htm

http://www.biometrica.tomsk.ru/erevan_3.html

http://www.biometrica.tomsk.ru/stat_cardio1.htm

http://www.biometrica.tomsk.ru/error.htm

http://www.biometrica.tomsk.ru/paradigma.htm

http://www.biometrica.tomsk.ru/index.htm

http://www.biometrica.tomsk.ru/freq1.htm

http://www.biometrica.tomsk.ru/logit_1.htm

http://www.biometrica.tomsk.ru/cluster_3.htm

http://www.biometrica.tomsk.ru/k_s.htm

http://www.biometrica.tomsk.ru/edu_1.htm

http://www.biometrica.tomsk.ru/potencial.htm

http://www.biometrica.tomsk.ru/kuzbass2.htm

http://www.biometrica.tomsk.ru/ftp/dict/cult/gramm.htm

http://www.biometrica.tomsk.ru/STAT_CARDIO_2014.pdf

http://www.biometrica.tomsk.ru/biometrica_15.htm

http://www.biometrica.tomsk.ru/student.htm

http://www.biometrica.tomsk.ru/krasnojarsk.htm

http://www.biometrica.tomsk.ru/ftp/dict/cult/gramm.htm

Дисперсия жизни...
;Регистрационный код (если есть) 
; Открывать в новом окне?  ;Имя нового окна 
; Разрешение (1-8)  ; Скорость смены (1-255)  ; Задержка (миллисекунд)  ; Смена рисунков со спецэффектами ("YES" или "NO")  ;Произвольный рисунок поверх апплета  ;X смещение наложенного рисунка  ;Y смещение наложенного рисунка  ;Задержка освобождения памяти  ;Приоритет задачи (1..10)  ; Мин. время синхр. кадра (мс); Sorry, your browser doesn't support Java ; Сообщение для браузеров без поддержки Java (tm) 

Кликните по фотографии,
и вы сможете ...


Оригинальная статья "Вероятная ошибка среднего" Вильяма Госсета (Стьюдента),
предложившего t-критерий Стьюдента.
Опубликована в журнале BIOMETRIKA в 1908 году.


  Ошибки статистического анализа биомедицинских данных

 Леонов В.П.

Международный журнал  медицинской практики, 2007, вып. 2, стр.19-35.

В статье рассмотрено много примеров ошибочного использования статистики в российской биологии и медицине. Дана классификация основных видов ошибок, обсуждаются обзоры по этой теме за предыдущие 50 лет. Дана классификация причин возникновения таких ошибок в биологии и медицине. С позиций меметики рассмотрены более 1500 статей, монографий и диссертаций, содержащих  типичные ошибки использования и описания статистики. Приведены цепочки мемов с ошибочными описаниями методов сравнения средних и статистической значимости результатов и доверительной вероятности. Показано существование устойчивых мемов ошибочного описания статистики внутри отдельных научных школ, например в Сибирском государственном медицинском университете. Вводится новый тип мема - мем камуфляжного описания, используемый для маскировки неправильного применения статистики в медицинском исследовании.

Коварный t-критерий Стьюдента

Нужно делать так, как нужно,

а как не нужно - делать не нужно.

Винни-Пух.

 

Наибольшей популярностью при проверке гипотез о равенстве генеральных средних пользуется t-критерий Стьюдента. При чтении статей БЭБМ и «Вестника РАМН» складывается впечатление, что большинство авторов этих журналов знают и используют лишь t-критерий Стьюдента. Например, в выпусках БЭБМ за 1997 г. t-критерий использован в 125 статьях, тогда как корреляционный и дисперсионный анализ применен всего лишь в 15, критерий Колмогорова-Смирнова - в одной, парная линейная регрессия - в трех, точный критерий Фишера - в трех статьях.

 

Как известно, использование t-критерия Стьюдента имеет два ограничения, а именно, нормальность распределения в обеих сравниваемых группах, и равенство генеральных дисперсий {Леонов, 2007}. Из 1562 проанализированных нами статей, монографий, диссертаций и авторефератов, авторы  которых использовали t-критерий Стьюдента, упоминание о проверке нормальности распределения исследуемых признаков было только в 23 работах! О проверке второго ограничения – на равенство генеральных дисперсий упоминалось лишь в одной работе.

 

Очевидно, что без наличия исходных данных читателю проверить факт нормальности распределения признаков, анализируемых в таких публикациях, невозможно. Наши исследования нормальности распределения биомедицинских признаков, проведенные в течение 20 лет более чем на 10 тысячах переменных, показали, что примерно 75% используемых переменных не подчиняются нормальному распределению. Проверка второго условия возможности применения t-критерия Стьюдента чаще всего для читателя доступна. Предположим, что анализируемые авторами признаки действительно подчиняются нормальному распределению. В этом случае для проверки второго требования – равенства генеральных дисперсий, необходимы лишь по два параметра из каждой из сравниваемых групп. Это выборочные дисперсии и объемы наблюдений. Используя их можно вычислить F-критерий Фишера и далее оценить достигнутый уровень значимости «р». Чаще всего авторы подобных публикаций приводят в таблицах объем наблюдений «n», и либо стандартное (среднеквадратичное) отклонение «s», либо ошибку среднего «m» для каждой из сравниваемых групп. В первом случае проверку гипотезы о равенстве генеральных дисперсий двух совокупностей можно произвести вычислив F-критерий Фишера по формуле F= s12/s22 , где s12  максимальная по величине дисперсия,  а s22 – минимальная дисперсия. Во втором же случае используя значение  «m» и «n» можно получить значение выборочной дисперсии s2 по формуле s2=m2*n для каждой из групп, и далее вычислить F-критерий Фишера. Наши исследования, а также результаты исследований других авторов, показывают, что в большинстве случаев для количественных признаков, изучаемых в биомедицине, характерно значительно увеличение дисперсии в опытной группе. Причем такое увеличение чаще всего сопровождается и увеличением среднего значения в опытной группе. Иногда же, увеличение дисперсии происходит и на фоне практически неизменного среднего.

 

В качестве примера такой послепубликационной проверки допустимости применения t-критерия Стьюдента рассмотрим табл. 1 из статьи {Новицкий В.В., Рязанцева Н.В., Семин И.Р., 2000}.  В статье сообщается, что «Достоверность различий между сравниваемыми группами оценивали с использованием t критерия Стьюдента. … Измеряли внешний диаметр клетки и размер центральной впадины у 50 произвольно выбранных дискоцитов … ».

 

«Таблица 1

Морфологические характеристики популяции эритроцитов (%) у больных психическими

расстройствами по данным сканирующей электронной микроскопии (X±m). 

Морфологические формы

Здоровые доноры

Больные с непсихотическими психическими расстройствами

Больные с умственной отсталостью

Больные параноидной шизофренией

Нормальные ДД:

87,77±0,12

83,04±0,37*

81,28±0,28 ++

80,59±0,19 *+xx

Эллипсы

0,24±0,02

0,49±0,04*

0,39± 0,05**

0,58±0,04 *x

Плоские диски

0,21±0,01

0,75±0,07*

0,73±0,08 *

0,95±0,03 *++x

Дискоциты с выростом

3,62±0,08

4,96±0,04

5,48±0,11 *+

5,19±0,09 +++xx

Дискоциты с гребнем

4,56±0,06

5,28±0,11*

6,07±0,12 *+

5,88±0,07 *+

Дискоциты с множественными выростами

0,67±0,03

0,88±0,06 **

1,19±0,04 *+

1,24±0,02 *+

Эритроциты в виде тутовой ягоды

0,12±0,01

0,11±0,01

0,11±0,01 

0,13±0,01

Необратимо трансформированные эритроциты:

 

 

 

 

Куполообразные

1,04±0,17

1,33±0,06

1,26±0,07

1,51±0,03 **++x

Сферические

1,26±0,02

1,96±0,10*

2,13±0,09 *

2,33±0,02 *+xx

В виде спущенного мяча

0,52±0,03

0,69±0,03 *

0,78±0,04 *

0,84±0,02 *+

Дегенеративные формы

0,19±0,01

0,66±0,05 *

0,57±0,07 *

0,79±0,03*+++х

Примечание: * p < 0,001, ** p < 0,01 по сравнению с показателями у здоровых доноров; 
+ p < 0,001, ++ p < 0,01, +++ p < 0,05  по сравнению с показателями с непсихотическими расстройствами; 
x p < 0,01, xx p < 0,05 по сравнению с показателями больных с умственной отсталостью».

 

В работе {Новицкий В.В., Рязанцева Н.В., Семин И.Р., 2000} ничего не сообщается ни о проверке нормальности распределения,  ни о проверке равенства генеральных дисперсий (для всех признаков и во всех сравниваемых группах). Используя данные табл.1 проведем проверку гипотез о равенстве дисперсий для набора случайно выбранных  пар. Ниже в табл.2. приведена лишь небольшая часть результатов проверки гипотез о равенстве дисперсий в 44 группах.

 

Таблица 2

Результаты проверки статистической гипотезы о равенстве генеральных дисперсий

в двух сравниваемых группах

Первая пара 
X±m

Вторая пара 
X±m

F-критерий Фишера

Достигнутый уровень значимости F-критерия

Вывод по нулевой гипотезы

о равенстве генеральных

дисперсий в  сравниваемых

группах

81,28±0,28

87,77±0,12

5,444

0,000000

Дисперсии не равны

0,39±0,05

0,24±0,02

6,25

0,000000

Дисперсии не равны

0,73±0,08

0,21±0,01

64

0,000000

Дисперсии не равны

2,13±0,09

1,26±0,02

20,25

0,000000

Дисперсии не равны

0,66±0,05

0,19±0,01

25

0,000000

Дисперсии не равны

0,57±0,07

0,19±0,01

49

0,000000

Дисперсии не равны

1,96±0,10

2,33±0,02

25

0,000000

Дисперсии не равны

87,77±0,12

83,04±0,37

9,507

0,000000

Дисперсии не равны

0,21±0,01

0,75±0,07

49

0,000000

Дисперсии не равны

1,33±0,06

1,04±0,17

8,08

0,000000

Дисперсии не равны

1,96±0,1

1,26±0,02

25

0,000000

Дисперсии не равны

0,66±0,05

0,19±0,01

25

0,000000

Дисперсии не равны

0,73±0,08

0,95±0,03

7,111

0,000000

Дисперсии не равны

1,26±0,07

1,51±0,03

5,444

0,000000

Дисперсии не равны

2,13±0,09

2,33±0,02

20,25

0,000000

Дисперсии не равны

0,57±0,07

0,79±0,03

5,444

0,000000

Дисперсии не равны

 

Аналогичные результаты были получены и при сравнении всех остальных пар. Поскольку достигнутый уровень значимости этих пар сравнений значительно меньше 5%, то гипотеза о равенстве дисперсий для этих случаев отвергается. Практикум по статистике. Нередко величины дисперсий различаются между собой в десятки раз! Если даже предположить, что во всех  44-х сравниваемых группах наблюдалось нормальное распределение, что само по себе маловероятно, тем не менее, критерий Стьюдента не может быть использован в данных условиях вследствие неравенства генеральных дисперсий. Из чего следует, что выводы авторов {Новицкий В.В., Рязанцева Н.В., Семин И.Р., 2000} не могут быть признаны корректно обоснованными методами статистики, а стало быть, их надежность и ценность  сомнительны.

 

Отметим, что в данной работе авторы изучали 4 группы пациентов: здоровые доноры (контрольная группа); больные с непсихотическими расстройствами; больные с умственной отсталостью; больные с параноидной шизофренией. Между тем авторы  использовали t-критерий Стьюдента, применяя его поочередно для разных пар групп сравнения, что для данного критерия, без использования специальных поправок, недопустимо. В результате такого приема возникает так называемая «ошибка множественных сравнений» (см. {Гланц С. Медико-биологическая статистика. 1999} стр. 113), приводящая к тому, что авторы будут чаще обнаруживать желаемое различие, нежели оно существует на самом деле. Данная ошибка является второй по распространенности после использования критерия Стьюдента без проверки двух имеющихся ограничений. И в результате ошибочные выводы вводят в заблуждение не только самих авторов подобных публикаций, но и читателей, на которых к тому же действует магия академических регалий авторов. «Врачам известно множество методов диагностики и лечения, эффективность которых была «доказана» статистическими методами и которые, тем не менее, канули в Лету, не выдержав испытания практикой. ... Вред, приносимый ошибками такого рода, очевиден. Исследователь заявляет о «статистически достоверном» эффекте лечения, редактор помещает статью в журнал, врач, неспособный критически оценить  публикацию, применяет неэффективный метод лечения. В конце это цепи находится больной, который расплачивается за все, подвергаясь ненужному риску и не получая действительно эффективного лечения. Не следует сбрасывать со счетов и ущерб от самого факта проведения бессмысленных исследований. Деньги и подопытные животные приносятся в жертву науке, больные рискуют ради сбора ошибочно интерпретируемых данных» {Гланц С. Медико-биологическая статистика. 1999}стр. 24. Полагаю, что авторам подобных некачественных исследований стоит почаще вспоминать известный принцип «Не навреди»…

 

О том, сколь значительно могут отличаться значения  t-критерия и достигнутого уровня зна­чимости «р», в случае ошибочного его использования,  можно судить по результатам статистического анализа, проведенного автором этих строк на реальных данных, полученных в отделении ИБС НИИ Кардиологии Томского научного центра РАМН (см. табл. 3).

 

Условные обозначения к табл.3: Х21 - отношение iR (периода изометрического расслабления) к длительности RR при  пробе с  дипиридамолом (ПД) перед началом лечения

Z9 - толщина межжелудочковой перегородки после лечения, мм

Z14 - конечный систолический объем в покое после лечения, мл

Z15 - ударный объем в покое после лечения, мл

Z16 - фракция выброса в покое после лечения, усл. ед.

А5 - наличие (отсутствие) депрессии сегмента ST при ВЭМ

А6  - наличие (отсутствие) депрессии сегмента ST при пробе ПД

А7 - наличие (отсутствие) обызвествления коронарных артерий

А10 - наличие (отсутствие) нарушений сердечного ритма 

А12 - наличие (отсутствие) нарушений сердечного ритма при пробе ПД.

 

Таблица 3  Результаты проверки гипотез о равенстве групповых средних различными критериями.

Исследуемая

количественная

Переменная

 

Z9

 

Z15

 

X21

 

Z14

 

Z16

 

X21

 

Z9

Группирующая 

переменная

A5

A7

A5

A12

A7

A10

A6

Значения групповых

средних

10,17

  8,21

141,7

107,9

0,14

0,11

37,4

19,9

0,77

0,72

1,24

1,04

8,10

9,15

Величина t-критерия 

Стьюдента для случая

равных дисперсий

 

2,94

 

1,98

 

2,69

 

1,57

 

2,23

 

2,09

 

1,84

Величина t-критерия

для случая

неравных дисперсий

 

1,76

 

2,54

 

2,03

 

2,93

 

1,85

 

1,73

 

1,77

Величина достигнутого уровня значимости р <  для t-критерия Стьюдента при  равных

дисперсиях

 

 

0,0048

 

 

0,0138

 

 

0,0107

 

 

0,1235

 

 

0,0297

 

 

0,0401

 

 

0,0714

Величина достигнутого

уровня значимости р < для

t-критерия по Саттерзвайту

при неравных дисперсиях

 

 

0,1049

 

 

0,0665

 

 

0,0755

 

 

0,0307

 

 

0,0830

 

 

0,1229

 

 

0,0851

Величина достигнутого

уровня значимости р <  для

t-критерия по   Кохрану-Коксу

при  неравных дисперсиях

 

 

0,1059

 

 

0,0693

 

 

0,0797

 

 

0,0482

 

 

0,0866

 

 

0,1259

 

 

0,0879

Значение F-критерия Фишера

при проверке гипотезы о

равенстве дисперсий

 

9,29

 

2,57

 

2,71

 

4,55

 

2,00

 

1,59

 

5,23

Величина достигнутого

уровня значимости р <  для

F-критерия Фишера при 

проверке гипотезы о равенстве дисперсий

 

 

0,0000

 

 

0,023

 

 

0,055

 

 

0,24

 

 

0,10

 

 

0,30

 

 

0,0000

 

Как видим, для исследованных переменных принятие или отклонение гипотезы о равенстве генеральных средних в группах во многом  определяется  результатом проверки гипотезы о равенстве генеральных дисперсий.

Литература

Статья "Поверхностная архитектоника эритроцитов периферической крови у психически больных". Новицкий В.В., Рязанцева Н.В., Семин И.Р.  Сибирский государственный медицинский университет, Томск. НИИ фармакологии Томского научного центра РАМН.  Бюллетень экспериментальной биологии и медицины, вып. 10, 2000, стр. 429-432.

Гланц С. Медико-биологическая статистика. М.: Практика, 1999, 459 с.

Леонов В.П. Когда нельзя, но очень хочется, или Ещё раз о критерии Стьюдента. 2007, Биометрика.

СТАТИСТИЧЕСКИЙ АНАЛИЗ ДАННЫХ ДЛЯ ДИССЕРТАНТОВ

Центр БИОСТАТИСТИКА выполняет работы по статистическому анализу экспериментальных данных уже более 30 лет. В его составе исследователи России, США, Израиля, Англии, Канады и других стран. Услугами Центра пользуются аспиранты и докторанты в области медицины, биологии, социологии, психологии и т.д. Стандартные сроки анализа данных: для статей и докладов - 5-10 дней, для кандидатских диссертаций 1 месяц, для докторских диссертаций 1,5 месяца. (См. далее)

Отзывы заказчиков по статистическому анализу данных

23 примера оформления данных, их описания и описания целей исследования.

«Роющая деятельность кабана». Статья в "Независимой" газете...

Проценты - статистический анализ? Или проценты - арифметический анализ? В. Леонов.

Сравниваем средние, а также и ... В. Леонов.

Примеры отличных диссертаций и статей по медицине и биологии, с нашими результатами статистического анализа

В.В. Половинкин
ТОТАЛЬНАЯ МЕЗОРЕКТУМЭКТОМИЯ — ФАКТОР ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ЛЕЧЕНИЯ СРЕДНЕАМПУЛЯРНОГО И НИЖНЕАМПУЛЯРНОГО РАКА ПРЯМОЙ КИШКИ.

Н.Г. Веселовская 
КЛИНИЧЕСКОЕ И ПРОГНОСТИЧЕСКОЕ ЗНАЧЕНИЕ ЭПИКАРДИАЛЬНОГО ОЖИРЕНИЯ У ПАЦИЕНТОВ ВЫСОКОГО СЕРДЕЧНО-СОСУДИСТОГО РИСКА.

О.Я. Васильцева ЗАКОНОМЕРНОСТИ ВОЗНИКНОВЕНИЯ, КЛИНИЧЕСКОГО ТЕЧЕНИЯ И ИСХОДОВ ТРОМБОЭМБОЛИИ ЛЕГОЧНОЙ АРТЕРИИ ПО ДАННЫМ ГОСПИТАЛЬНОГО РЕГИСТРА ПАТОЛОГИИ.

В.А. Габышев  ФИТОПЛАНКТОН КРУПНЫХ РЕК ЯКУТИИ И СОПРЕДЕЛЬНЫХ ТЕРРИТОРИЙ ВОСТОЧНОЙ СИБИРИ.Проценты - статистический анализ? Или проценты - арифметический анализ? В. Леонов.  

М.И. Антоненко  ГИПЕРКОРТИЦИЗМ БЕЗ СПЕЦИФИЧЕСКИХ КЛИНИЧЕСКИХ СИМПТОМОВ: ЭПИДЕМИОЛОГИЯ, КЛИНИКА, ДИАГНОСТИКА.

Н.Г. Веселовская
"ПРОГНОЗИРОВАНИЕ РИСКА РЕСТЕНОЗА КОРОНАРНЫХ АРТЕРИЙ ПОСЛЕ ИХ СТЕНТИРОВАНИЯ У ПАЦИЕНТОВ С ОЖИРЕНИЕМ"

Г.А. Попова СРАВНИТЕЛЬНОЕ ИЗУЧЕНИЕ ПОДВИДОВ LINUM USITATISSIMUM L . В УСЛОВИЯХ ЗАПАДНОЙ СИБИРИ. (диссертация на соискание учёной степени кандидата биологических наук).

А.Г. Сыркина Ретроспективный анализ эффективности и безопасности тромболитической терапии острого инфаркта миокарда у больных пожилого и старческого возраста (диссертация на соискание учёной степени кандидата медицинских наук).


В. Леонов. Цели, возможности, и проблемы использования биостатистики в доказательной медицине. Доклад на Конференции по доказательной медицине в Ереване «От доказательной медицины к доказательному здравоохранению» (24 - 26 сентября 2015 года).

Фоторепортаж с Конференции по доказательной медицине в Ереване.  

БИОМЕТРИКЕ - 16 лет! А что было раньше? И что теперь?  Леонов В.П.
16 лет... Возраст немалый... Как появился наш сайт? И стал ли он популярным?
Первоначально наш сайт был разделом на сайте Доктор.Ру, который был создан в Хабаровске. Вот как выглядел этот раздел, например, 20 июля 2001 года. Поскольку в те годы скорость передачи информации в интернете была невысокая, то для облегчения доступа к материалам БИОМЕТРИКИ мы открыли "зеркала" (копии) в таких городах, как Томск, Владивосток, Москва, Киев. В дальнейшем, когда сайт Доктор.Ру переехал в Москву, был сделан отдельный хостинг БИОМЕТРИКИ в Томске. Со временем необходимость наличия "зеркал" сайта в других городах отпала, и БИОМЕТРИКА осталась в Томске. Читатели БИОМЕТРИКИ в своих письмах часто задают вопрос о том, каковы были мотивы создания этого сайта? Чтобы немного рассказать об этом, вернёмся на 28 лет назад, в прошлое.

Статистика в кардиологии. 15 лет спустя. Леонов В.П.

15 лет назад, в 1998 году, в журнале «Кардиология» была опубликована наша статья  «Применение методов статистики в кардиологии (по материалам журнала «Кардиология» за 1993–1995 гг.) В нём были проанализированы 426 статей кардиологической тематики. В новом обзоре проаналированы современные журнальные статьи кардиологической тематики. Учитывая то, что  в настоящее время в России смертность от сердечно-сосудистых заболеваний более чем в 4 раза выше, чем в Европе, США и Японии, актуальной задачей является оценка эффективности использования статистики в российской кардиологии. (Весь обзор одним файлом)

Применение методов статистики в кардиологии (по материалам журнала "Кардиология" за 1993-1995 гг.). Леонов В.П. Кардиология, 1998, № 1, с. 55-58.


1997 - 2017.© Василий Леонов. E-mail:

Доказательная или сомнительная? Медицинская наука Кузбасса: статистические аспекты.

Отклики читателей статьи "Доказательная или сомнительная?"

Возврат на главную страницу.

Возврат в КУНСТКАМЕРУ

Т. Кун "Структура научных революций"