Яндекс.Метрика Применение статистики в статьях и диссертациях по медицине и биологии. Часть I. Описание методов статистического анализа в статьях и диссертациях
Каждый слышит то, что понимает. Гете

Часть учебно-методических материалов сайта, в том числе электронная библиотека, доступны только заказчикам работ по анализу данных для кандидатских и докторских диссертаций, а также слушателям системы дистанционного обучения и консультаций. Запрос на выполнение анализа данных, обучение и консультации направляйте на мэйл E-Mail редактора БИОМЕТРИКИ

Дисперсия жизни...
;Регистрационный код (если есть) 
; Открывать в новом окне?  ;Имя нового окна 
; Разрешение (1-8)  ; Скорость смены (1-255)  ; Задержка (миллисекунд)  ; Смена рисунков со спецэффектами ("YES" или "NO")  ;Произвольный рисунок поверх апплета  ;X смещение наложенного рисунка  ;Y смещение наложенного рисунка  ;Задержка освобождения памяти  ;Приоритет задачи (1..10)  ; Мин. время синхр. кадра (мс); Sorry, your browser doesn't support Java ; Сообщение для браузеров без поддержки Java (tm) 

Кликните по фотографии,
и вы сможете ...

 

В.П. Леонов

 

Приведены результаты наукометрического анализа 1540 отечественных и 392 зарубежных журнальных статей, а также 160 отечественных диссертаций биомедицинской тематики, опубликованных в последние 10 лет. Были изучены 34 ведущих отечественных биомедицинских журнала и 21 зарубежный журнал. Выполнены оценка относительных частот применения различных методов статистики, сравнение частот между собой, а также реконструкция на их основе структуры статистической парадигмы, характерной для отечественной биомедицины. Идентифицирована сдвиговая парадигма, которая заключается в доминировании представления, что основное различие между группами сравнения состоит в механическом сдвиге среднего значения исследуемой переменной. Проведено сравнение статистических парадигм отечественных и зарубежных публикаций.
Ключевые слова: парадигма, биостатистика, статистика в медицине.


Кто докапывается до корней обычая, тот его уничтожает.
Блез Паскаль

Введение

Последнее десятилетие для отечественной биомедицины характеризуется интенсивным внедрением персональных компьютеров в сферу научных исследований. Однако совпадение этого процесса по времени с экономическим спадом и специфика финансирования науки деформировали его результаты, и широкое использование компьютеров в отечественной биомедицине не привело к качественному скачку в статистической методологии этих исследований [1—6]. За рубежом данный процесс происходил около 20—25 лет назад. Приведем несколько цитат из книги С. Гланца "Медико-биологическая статистика" [7]. "С тех пор многое изменилось. Важность грамотного использования статистических методов осознается все шире. И хотя ошибки не исчезли, все больше журналов прилагают усилия к их искоренению. Во многих из них рецензирование включает отдельный этап проверки статистической правильности предлагаемых работ. Приведу подтверждение, наиболее ощутимое для меня. Я являюсь внештатным редактором Journal of the American College of Cardiology, и моя работа состоит в выявлении статистических ошибок в поступающих статьях. Доля статей, содержащих ошибки, как и раньше, составляет около половины, но теперь уже половины предлагаемых к публикации, а не опубликованных работ". Представляет интерес сравнение статистических технологий отечественных исследователей и их зарубежных коллег. Не менее важно на основе этого анализа сформулировать существующую в отечественной биомедицине статистическую парадигму. 

Статистические аргументы или … статистические "гитики"?

Статистические методы использовались в 82% отечественных и в 87% зарубежных статей. Однако в 52% отечественных статей авторы никак не описывали используемые методы статистики. О том, что они применяли методы статистики, можно судить по выражениям вида "р<0,05" и (М±m). Напротив, в 83% зарубежных статей сообщается с помощью каких статистических критериев производилась проверка гипотез. Для многих отечественных статей характерно наличие в описании методов статистики бессмысленных выражений-клише, заимствованных из других работ (подробнее см. http://www.biometrica.tomsk.ru/lib/lis/index21.htm). Приведем два примера таких клише: "Вероятность случайности различий соответствует достоверности", "Различие считалось достоверным при p<0,05, т.е. в тех случаях, когда вероятность различия составляла больше 95%". Обилие этих недостатков  в текстах отечественных статей и диссертаций свидетельствует как минимум о четырех вероятных причинах этого явления.

Во-первых, низкая статистическая культура исследователей. Причины этого достаточно очевидны: в медицинских вузах готовят врачей, а не исследователей, и потому их выпускники не имеют необходимой для исследователя статистической подготовки. Этот же вывод можно сделать и на основе содержания Приложений 14 и 15 к приказу Минздрава РФ от 25.12.97 № 380 [8, 9]. Во всех аналогичных квалификационных характеристиках в разделе "Знание смежных дисциплин" вообще отсутствует упоминание математики. И это вполне разумно, поскольку медицинский вуз не может, да и не должен обеспечивать выпускникам профессиональный уровень владения биометрикой. Его задача подготовить хороших врачей, а не специалистов по биостатистике.

Во-вторых, это отсутствие в структурах биологических и медицинских научно-исследовательских институтов (НИИ) и вузов специализированных лабораторий биостатистики, призванных обеспечить исследователю квалифицированный статистический анализ наблюдений. Немногочисленные лаборатории, имеющиеся в таких НИИ и вузах (ЦНИЛ), комплектуются в основном теми же выпускниками медицинских вузов и биологических факультетов. Редко где в них работают специалисты с соответствующим образованием.

В-третьих, отсутствие отраслевой нормативной базы (отраслевые стандарты, стандарты предприятий и т.п.), регламентирующей этап статистического анализа биомедицинских данных в научных исследованиях.

В-четвертых, отсутствие квалифицированной статистической экспертизы в редакциях отечественных журналов, диссертационных и экспертных советах Всероссийской аттестационной комиссии (ВАК) [4].

Впрочем, это отсутствие отнюдь не случайно, поскольку повышение уровня требований к статистической корректности статей и диссертаций приведет к уменьшению их числа. Нетрудно догадаться, чем это грозит для периодических изданий и диссертационных советов. Низкое качество статистического анализа экспериментальных данных в диссертациях по биологии и медицине признает и ВАК РФ [10]. Вот что писал в 1999 г. начальник отдела диссертационных советов ВАК РФ В.Л. Мамаев, отвечая авторам статьи [11]: "Ваше письмо рассмотрено; считаю, что высказанная Вами позиция и Ваши предложения, безусловно, справедливы. ВАК России также серьезно обеспокоен потоком работ, в которых приводятся сомнительные ссылки на применение методов статистической обработки результатов и “расчеты, выполненные с применением вычислительной техники”. Такую же позицию начинают занимать и некоторые редакции отечественных медицинских журналов [5]. К сожалению, эта "обеспокоенность" не нашла своего отражения в утвержденном недавно новом "Положении ВАК РФ о порядке присуждения ученых степеней", вступающем в силу с 15.05.2002.

Какие статистические методы и критерии предпочитают авторы отечественных статей

Ниже приведены результаты сравнения относительных частот использования статистических методов и критериев в русскоязычных и англоязычных журналах. Общее количество статистических методов и критериев, использованных в англоязычных статьях, составило более 100. Из этого многообразия мы выбрали только наиболее известные, объединив их в 53 группы. После оценки относительных частот использования того или иного метода в отечественных и зарубежных статьях проверяли статистическую гипотезу о равенстве этих пропорций с использованием Z-критерия [12]. Для 51 группы достигнутые уровни значимости р имели значение гораздо меньше 5%; это позволяет утверждать, что различие данных частот статистически значимо. Только для парных коэффициентов корреляции Пирсона (р=0,1445) и нелинейных преобразований переменных (р=0,0961) были приняты нулевые гипотезы о равенстве частот использования этих методов в отечественных и зарубежных статьях. Для всех остальных групп сравнения эти частоты различались статистически значимо (р<<0,05). Для сравнения приоритетов в группах часть из полученных результатов приведена таблице.

Сложные проблемы всегда имеют простые,  легкие для понимания неправильные решения

Итак, после описательных статистик и выражений типа "р<...." отечественные исследователи предпочитают проверку гипотез о равенстве двух средних с использованием t-критерия Стьюдента. Практически во всех работах вообще не проверяются условия возможности применения этого критерия, что приводит к сомнительности полученных авторами выводов. С многочисленными примерами таких работ читатели могут познакомиться в разделе "Кунсткамера" электронного журнала "Биометрика" (http://www.biometrica.tomsk.ru/kk.htm).

Разница между значениями частот в 3-й и 4-й строках (0,5805 и 0,5662) таблицы объясняется тем, что в ряде статей авторы просто упоминали об использовании t-критерия Стьюдента, но не приводили его значения. Отметим также, что следующий за критерием Стьюдента метод оценки коэффициентов корреляции Пирсона встречается почти в 7 раз реже, чем предшествующий метод. Иными словами, разница в 48,5% между частотой применения критерия Стьюдента и метода корреляции по Пирсону означает дискретность нашего распределения и безусловное доминирование сравнения двух средних с помощью критерия Стьюдента по отношению ко всем остальным методам и критериям. Обратим также внимание на то, что частота проверки нормальности распределения, которую необходимо проводить в обязательном порядке при использовании критерия Стьюдента, примерно в 944 раза меньше, чем частота использования критерия Стьюдента. Сумма относительных частот всех прочих методов и критериев, кроме критерия Стьюдента и описательных статистик, составляет 0,3773.

На рис. 1 отчетливо виден дискретный характер распределения частот в отечественных статьях, в которых доминируют 4 метода. Первые два из них имеют частоту 86 и 82%, а третий и четвертый методы соответственно 58 и 56,6%, тогда как шестой метод имеет относительную частоту всего лишь 8%.

Коварная простота вычисления t-критерия Стьюдента, а также его наличие в большинстве статистических пакетов привели к широкому его использованию даже в тех условиях, когда этого делать нельзя. Результаты проведенных нами опросов показали, что около 50% исследователей знают о том, что главным требованием при использовании t-критерия Стьюдента является нормальность распределения, тогда как о необходимости выполнения второго обязательного условия (равенство дисперсий) вообще никто из опрашиваемых не говорил.

Рис. 1. Распределение относительных частот статистических методов в отечественных статьях.

Таблица. Частота использования статистических методов и критериев в отечественных и зарубежных статьях


За последние 10 лет нами был выполнен статистический анализ более 200 массивов реальных биомедицинских данных.

Эти исследования показали, что в 50—70% случаев биомедицинские количественные показатели не подчиняются нормальному распределению. Наиболее характерно это для групп больных или экспериментальных образцов исследуемых объектов. К чему приводит игнорирование условий применения этого критерия, мы ранее уже отмечали [1, 6]. Особенно характерно это для публикаций "Бюллетеня экспериментальной биологии и медицины".

Какие статистические методы и критерии предпочитают англоязычные авторы

Из данных, приведенных в таблице и на рис.2, видно, что характер распределения частот используемых методов и критериев в англоязычных статьях имеет совершенно иной характер. Если учесть, что выражение типа "p<…..." не является конкретным методом проверки статистических гипотез, то вместо ярко выраженного унимодального распределения в отечественных статьях мы имеем плавное экспоненциально уменьшающееся распределение относительных частот по всем 52 методам и критериям.  Сумма относительных частот по этим методам составляет 2,3265, что означает в среднем по 2—3 метода или критерия на одну зарубежную статью. Отметим, что наиболее часто используются критерий Пирсона хи-квадрат, дисперсионный анализ, непараметрические критерии и коэффициенты корреляции Спирмена и Кендалла. И только на 5-м месте располагается t-критерий Стьюдента. Частота использования данного критерия равна частоте применения множественного регрессионного анализа.

На рис. 2 отсутствуют частоты первых двух строк, приведенных в таблице: “Оценка описательных статистик" и "Использование выражений вида "р<…"”. Важным моментом этого распределения частот является достаточно высокая доля 11 сугубо многомерных методов, таких как множественный регрессионный анализ (0,0816), анализ главных компонент (0,0485), дискриминантный анализ (0,0459), факторный анализ (0,0383), теории планирования экспериментов (0,0357), оценка частных коэффициентов корреляции (0,0357), кластерный анализ (0,0306), ковариационный анализ (0,0179), анализ канонических корреляций (0,0128), многомерное шкалирование (0,0102), логлинейный анализ (0,0077) и анализ соответствий в таблицах сопряженности (0,0051). Сумма частот этих многомерных методов составляет 0,3343, т.е. в каждой третьей зарубежных статье используются многомерные методы. Из 11 перечисленных выше многомерных методов в отечественных статьях обнаружены только 7, суммарная доля которых составила 0,0322. Таким образом, зарубежные исследователи в 10 раз чаще используют многомерные методы, нежели авторы отечественных статей. Это свидетельствует о том, что статистическая парадигма зарубежных исследователей содержит выраженный многомерный подход к исследованию изучаемых объектов. Весьма примечательно, что наибольшее отношение частот между зарубежными и отечественными статьями наблюдается для процедуры проверки нормальности распределения вероятностей (более 82).

Из этого можно сделать вывод, что зарубежные исследователи больше внимания уделяют этапу выбора между параметрическими и непараметрическими критериями. Кроме того, зарубежные исследователи используют методы анализа таблиц дожития и оценки кривых дожития в 33 раза чаще, чем отечественные. Это позволяет высказать предположение о том, что конечной целью многих зарубежных биомедицинских исследований является не столько обнаружение локального эффекта, сколько оценка совокупной связи этого эффекта с длительностью жизни пациентов. Ниже на рис. 3 на осях относительных частот по каждой из сравниваемых групп представ лено распределение используемых методов.

Сдвиговая статистическая парадигма отечественной биомедицины

Используя результаты данного анализа, сформулируем существующую в российской биомедицинской науке статистическую парадигму, которая проявляет себя как латентная, скрытая закономерность только при анализе достаточно большого количества публикаций [2—6, 10, 11]. Суть этой парадигмы, названной нами сдвиговой , заключается в доминировании у отечественных исследователей в области биологии и медицины представления, что основное (а возможно, и единственное!) различие между группами сравнения заключается в тривиальном, механическом сдвиге среднего значения исследуемой переменной. Не явно при этом подразумевается, что все остальные параметры распределения исследуемых признаков остаются неизменными. Вследствие этого игнорируются анализ и сравнение всех остальных не менее важных параметров, таких как меры рассеяния (дисперсия, размах и т.д.) и меры формы (эксцесс и асимметрия), корреляции между признаками и т.д. Более того, игнорируются возможные и весьма важные изменения  самого характера законов распределения вероятностей в сравниваемых группах, изменения структуры связей между объектами исследования. Такой подход можно идентифицировать как одномерный, механистический взгляд на сугубо многомерные взаимодействующие системы.

Рис. 2. Распределение относительных частот статистических методов в зарубежных статьях.

Рис. 3. Распределение относительных частот использования различных статистических методов и критериев в отечественных (R) и зарубежных (E) статьях.  Анализ Центра BIOSTATISTICA.

Очевидно, что такой подход является деформацией нормальной научной методологии, базирующейся на системном анализе. Крайне редкое применение многомерных статистических методов свидетельствует о том, что исследуемые признаки изучаются авторами в неявном предположении об изолированности отдельных подсистем объекта друг от друга. Несмотря на то что исследователи изучают изначально многомерные системы, независимо от того, клеточный ли это уровень, или организменный, или же популяционный (применительно к эпидемиологическим исследованиям), их анализ фактически не поднимается выше одномерных подсистем. Более того, это еще и свидетельство того, что авторы подобных публикаций, зная о существовании таких взаимосвязей в исследуемых объектах, игнорируют этот аспект и сужают тем самым собственное исследование до более утилитарных и конъюнктурных целей. В результате применение статистики в исследовании становится не инструментом поиска нового знания, а средством придания научного "веса" заранее продекларированного эффекта изменения среднего значения того или иного признака. Деструкция важнейшего элемента системного анализа — выделение структуры и исследование связей между частями этой структуры, и приводит в итоге к статистическим "гитикам"...

Возможные пути решения данной проблемы

Игнорирование этой деформации научной методологии Минздравом РФ, РАМН, Министерством образования РФ, ВАК РФ, руководителями НИИ РАМН, редакциями журналов и диссертационными советами приводит к воспроизведению одних и тех же статистических нелепиц в сотнях и тысячах статей и диссертаций по биомедицинской тематике. Повышению экономической эффективности и качества экспериментальных биомедицинских исследований способствовали бы создание в биомедицинских НИИ и отделениях РАМН специализированных лабораторий биостатистики, разработка соответствующих отраслевых стандартов, а также введение независимой статистической экспертизы в редакциях биомедицинских журналов (что является обычной практикой за рубежом), в диссертационных и экспертных советах ВАК.

В нынешних экономических условиях редкий аспирант или докторант имеет возможность выехать в Москву или Санкт-Петербург для работы с диссертациями своих предшественников. Недавно была высказана идея об организации выпуска на лазерных компакт-дисках профилированных ежегодных сборников диссертаций и их авторефератов, защищаемых в России в области биологии и медицины [11]. Разумность тиражирования диссертаций наши предки понимали еще два века назад, когда диссертации, защищаемые в Военно-медицинской академии, издавались тиражом 400 экземпляров, а их авторефераты — тиражом 300 экземпляров. При этом вполне естественным было бы введение требования о сдаче в диссертационные советы, ВАК или ВИНИТИ электронных копий диссертаций. В марте 2001 г. под эгидой ЮНЕСКО был проведен уже 4-й Международный симпозиум ETD-2001 по (http://library.caltech.edu/etd/) электронным диссертациям, на котором присутствовали представители 15 стран. Уже организуется международная сеть подобных библиотек, в которой состоят более 100 членов. К сожалению, Россия в этом процессе не участвует.

Наступивший 21-й век не без оснований называют веком биологии и медицины. Совершенно очевидно, что имея на своем вооружении "сдвиговую парадигму", отечественная биология и медицина будут все больше отставать от передовых стран. А Россия тем временем по-прежнему будет служить испытательным полигоном для проверки новых зарубежных фармакологических препаратов. Остается лишь надеяться на то, что новая команда руководителей биомедицинской науки, которая рано или поздно сменит нынешний состав, подобно тому, как это произошло в силовых министерствах, осознает эти проблемы и примется за их решение.

Все замечания и предложения по материалу статьи автор с благодарностью примет по E-mail:

Литература

1. Бащинский С.Е. Некоторые вопросы журнальной этики. Кардиология 1995;6:89—92.

2. Леонов В.П., Ижевский П.В. Применение статистики в статьях и диссертациях по медицине и биологии. Часть I. Описание методов статистического анализа в статьях и диссертациях. Междунар журн мед практики. 1998;4:7—12.

3. Леонов В.П. Применение статистики в статьях и диссертациях по медицине и биологии. Часть II. История биометрии и ее применения в России. Междунар журн мед практики 1999;4:7—19.

4. Леонов В.П. Применение статистики в статьях и диссертациях по медицине и биологии. Часть III. Проблемы взаимодействия автор — редакция — читатель. Междунар журн мед практики 1999;12:7—13.

5. Бащинский С.Е. Статистика умеет много гитик. Междунар журн мед практики. 1998;4:12—5.

6. Fleiss J.L. Statistical Methods for Rates and Proportions. Division of Biostatistics School of Public Heath, Columbia University: John Wiley&Sons, Inc., 1981.

7. Квалификационная характеристика специалиста с высшим биологическим образованием. Приложение 15 к приказу Минздрава РФ от 25.12.97 № 380. Здравоохранение1998;7:91—102.

8. Квалификационная характеристика врача клинической лабораторной диагностики. Приложение 14 к приказу Минздрава РФ от 25.12.97 № 380. Здравоохранение 1998;7:77—90.

9. Леонов В.П., Ижевский П.В. Применение статистики в медицине и биологии: анализ публикаций 1990—1997 гг. Сиб мед журнал 1997;3—4:64—74.

10. Гланц С. Медико-биологическая статистика. Пер. с англ. М: Практика, 1998.

11. Леонов В.П., Ижевский П.В. Об использовании прикладной статистики при подготовке диссертационных работ по медицинским и биологическим специальностям. Бюллетень ВАК РФ 1997;5:56—61.

12. Леонов В.П., Реброва О.Ю., Ижевский П.В., Солнцев В.Н., Дромашко С.Е., Полтавец В.И. В новый век — с доказательной биомедициной. Поиск 1999;20(522):6—7.

СТАТИСТИЧЕСКИЙ АНАЛИЗ ДАННЫХ ДЛЯ ДИССЕРТАНТОВ

Центр БИОСТАТИСТИКА выполняет работы по статистическому анализу экспериментальных данных уже более 30 лет. В его составе исследователи России, США, Израиля, Англии, Канады и других стран. Услугами Центра пользуются аспиранты и докторанты в области медицины, биологии, социологии, психологии и т.д. Стандартные сроки анализа данных: для статей и докладов - 5-10 дней, для кандидатских диссертаций 1 месяц, для докторских диссертаций 1,5 месяца. (См. далее)

Отзывы заказчиков по статистическому анализу данных

Дистантное обучение биостатистике с помощью IP-телефонии. Информация о специализированных курсах и семинарах по прикладной биостатистике для студентов, аспирантов, докторантов и научных сотрудников НИИ и вузов работающих в области биологии, медицины, социологии, психологии и т.д. (См. далее)

Отзывы по дистантному обучению статистике

 

1997 - 2017.© Василий Леонов. E-mail:

Доказательная или сомнительная? Медицинская наука Кузбасса: статистические аспекты.

Отклики читателей статьи "Доказательная или сомнительная?"

Возврат на главную страницу.

Возврат в КУНСТКАМЕРУ

Т. Кун "Структура научных революций"