Яндекс.Метрика Ошибки статистического анализа биомедицинских данных
Каждый слышит то, что понимает. Гете

Часть учебно-методических материалов сайта, в том числе электронная библиотека, доступны только заказчикам работ по анализу данных для кандидатских и докторских диссертаций, а также слушателям системы дистанционного обучения и консультаций. Запрос на выполнение анализа данных, обучение и консультации направляйте на мэйл E-Mail редактора БИОМЕТРИКИ

Доказательная или сомнительная? Медицинская наука Кузбасса: статистические аспекты.

Отклики читателей статьи "Доказательная или сомнительная?

Почему и как надо учить медиков статистике?
Доклад на Международной конференции по доказательной медицине в Ереване (18 - 20.10.2012)

Дисперсия жизни...
;Регистрационный код (если есть) 
; Открывать в новом окне?  ;Имя нового окна 
; Разрешение (1-8)  ; Скорость смены (1-255)  ; Задержка (миллисекунд)  ; Смена рисунков со спецэффектами ("YES" или "NO")  ;Произвольный рисунок поверх апплета  ;X смещение наложенного рисунка  ;Y смещение наложенного рисунка  ;Задержка освобождения памяти  ;Приоритет задачи (1..10)  ; Мин. время синхр. кадра (мс); Sorry, your browser doesn't support Java ; Сообщение для браузеров без поддержки Java (tm) 

Кликните по фотографии,
и вы сможете ...

 
Оригинальная статья "Вероятная ошибка среднего" Вильяма Госсета (Стьюдента),
предложившего t-критерий Стьюдента.
Опубликована в журнале BIOMETRIKA в 1908 году.


Ошибки статистического анализа биомедицинских данных

 Леонов В.П.

Международный журнал  медицинской практики, 2007, вып. 2, стр.19-35.

В статье рассмотрено много примеров ошибочного использования статистики в российской биологии и медицине. Дана классификация основных видов ошибок, обсуждаются обзоры по этой теме за предыдущие 50 лет. Дана классификация причин возникновения таких ошибок в биологии и медицине. С позиций меметики рассмотрены более 1500 статей, монографий и диссертаций, содержащих  типичные ошибки использования и описания статистики. Приведены цепочки мемов с ошибочными описаниями методов сравнения средних и статистической значимости результатов и доверительной вероятности. Показано существование устойчивых мемов ошибочного описания статистики внутри отдельных научных школ, например в Сибирском государственном медицинском университете. Вводится новый тип мема - мем камуфляжного описания, используемый для маскировки неправильного применения статистики в медицинском исследовании.

Причины возникновения ошибок и меры борьбы с ними

Как он дышит, так и пишет...

Б.Окуджава.

 

Большая распространенность описываемых ошибок в медицинских исследованиях имеет несколько основных причин. Попытаемся кратко сформулировать лишь основные из них. То, что такие ошибки проникают на страницы российских журналов и диссертаций, свидетельствует, что на этапах рецензирования этих работ отсутствует контроль «статистического качества» профессиональными биостатистиками. Гораздо более высокое качество  статистических выводов в статьях зарубежных медицинских журналов  обеспечивается наличием такого статистического рецензирования {Lewis, 1998}{Altman, 2002}{Гланц, 1999}{Altman, 2002}. Например, во всемирно известном издании BMJ такое рецензирование проводит группа специалистов, в составе которой и упоминавшийся выше консультант-статистик  Douglas G. Altman.

 

Однако отсутствие статистического рецензирования  в медицинских журналах и диссертационных советах далеко не самый первый фактор. Причины возникновения таких ошибок присутствуют и на более раннем этапе. Большинство авторов таких публикаций не профессиональные исследователи. Они – прежде всего клиницисты, и поэтому не должны иметь необходимой для исследователя статистической подготовки. Этот вывод можно сделать и на основе содержания квалификационной характеристики биолога {Квалификационная характеристика специалиста с высшим биологическим образованием, 1998}. Во всех аналогичных квалификационных характеристиках в разделе «Знание смежных дисциплин» вообще отсутствует упоминание математики. И это вполне разумно, поскольку медицинский вуз не может, да и не должен, обеспечивать своим выпускникам профессиональный уровень владения биостатистикой. Его задача подготовить хороших врачей, лекарей, а не исследователей и специалистов по биостатистике.

 

     Douglas G. Altman обращает внимание на этический аспект этой проблемы. {Altman, 1994}  Если врач использует неправильную технологию лечения, или дает неправильную дозу лекарства, то большинство его коллег, сочтут такое поведение непрофессиональным и неэтичным. А что думать о враче, который допускает статистическую неряшливость? Весьма обстоятельно данный этический аспект рассмотрен в работе {Gardenier, 2003}, в которой утверждается, что статистическая непорядочность медиков является профессиональной некомпетентностью и представляет для общества не меньшую опасность, чем любая иная непорядочность. В связи с этим хочу обратить внимание читателей на публикацию в известном журнале Science: {Adam Bostanci, 2002}. «Спустя пять лет после крупного скандала о жульничестве, потрясшего научный истеблишмент, Германские университеты готовы вот-вот принять свои первые обязательные стандарты этики исследований. Университеты должны обеспечить выполнение этих новых  правил к концу этого месяца, в ином случае они рискуют, что их не будут считать имеющими право на получение грантов из главного исследовательского фонда страны, Deutsche Forschungsgemeinschaft  (DFG). Эти правила следуют международным нормам при определении научного должностного преступления или нарушения научной этики как "умышленной или грубо пренебрежительной фальсификации или фабрикации данных". Другими перечисленными серьезными должностными преступлениями являются введение в заблуждение, плагиат и ущерб исследованиям других. Возможные санкции включают лишение контрактов на исследования и аннулирование академических званий.  …  Правила о научных должностных преступлениях, о неэтичном поведении явились плодом многих разбирательств  после того, как основанная DFG группа нашла фальсификацию в дюжине статей, авторизированных парой исследователей рака Фридгельмом Германом  (Friedhelm Herrmann)  и Марион Брак (Marion Brach) (Science, 23 June 2000, p. 2106). Выявление умышленной или грубой небрежности при обработке или получении данных является трудным делом, как это печально известно. … По новым правилам, институты должны назначать независимого секретаря-омбудсмена, который будет инициировать проверки и в то же время прикрывать тех, кто поднял тревогу, "просигналил". Вдобавок, чтобы ускорить будущие расследования, новые правила устанавливают, что во всех случаях, когда это только возможно, первичные данные исследований должны сохраняться в течение десяти лет. Это "вероятно, одна из тех областей, где исследователи наиболее беспечны", говорит Иоханнес Дикганс  (Johannes Dichgans),  нейролог и омбудсмен в Университете в Тюбингене. Пренебрежение архивированием записей данных исследований или их умышленное разрушение должно было бы осуждаться как грубая небрежность и потому быть наказуемым». 

 

 

Чем же можно объяснить такую терпимость к многолетнему воспроизводству статистических ошибок в российских публикациях биомедицинской тематики? Основным барьером на пути уменьшения многочисленных ошибок в использовании статистических методов, является некритическое отношение таких специалистов как к собственной исследовательской  практике, так и к практике своих коллег. Результатом этого является неявное следование следующим установкам:

  • использовать тот статистический метод, который предложил руководитель (ослушаться нельзя, а если кто-то обвинит в некорректности, то виноват шеф);
  • применять данный метод потому, что он есть в доступном статистическом пакете (надо же написать в статье, что  использовал статистический пакет);
  • использовать те методы, которые ранее уже были самим автором использованы (за них никто не поругал, значит можно и впредь их применять).
  • использовать данный метод потому, что его уже использовал другой автор опубликованной статьи (диссертации) по этой же тематике (раз статью опубликовали (диссертацию защитили), значит можно использовать, ведь в редакциях (диссертационных советах) не дураки же сидят).

Нередко следование этим установкам приводит к генерации цепочек так называемых «мемов», когда несколько авторов последовательно заимствуют друг у друга одну и ту же ошибку. {Леонов, 2003}

            Можно выделить следующие причины появления и живучести таких ошибок:

  1. Отсутствие знаний по статистике у авторов публикаций, членов журнальных редколлегий и диссертационных советов, что не позволяет им осознать всю степень ошибочности выводов в таких публикациях.
  2. Деформация цели публикации. Нередко истинной целью публикации является не стремление ученого обнародовать, легализовать надежные, достоверные результаты исследования, а лишь сам факт быстрейшей публикации даже ненадежных выводов, как доказательство «научности» результатов.
  3. Отдаленность во времени и пространстве возможных негативных последствий опубликования сомнительных результатов от автора, времени и места публикации. Автор такой публикации, зная о том, что его выводы далеко не бесспорны, понимает, что именно эта неочевидность и не будет способствовать стремительному их внедрению в реальную медицинскую практику. А если такое и случится, то доказать, что основной причиной негативных последствий были именно недоброкачественные выводы автора этой публикации, тоже весьма проблематично.
  4. Ограниченность доступа широкой читательской аудитории к медицинским публикациям, содержащим ошибочные выводы.  Это связано как с ограниченными тиражами медицинской периодики, так и с ограничением доступа к медицинским диссертациям. В ряде медицинских вузов доступ к защищенным диссертациям разрешается ректором вуза.
  5. Отсутствие доступа для читателей к исходным данным автора публикации. Автор, зная, что любой читатель, сомневающийся в истинности авторских выводов, имеет возможность немедля (или же спустя некоторое время) получить эти данные, и самостоятельно перепроверить авторские выводы, будет совершенно иначе относиться к процедуре статистического анализа  этих данных. В настоящее время среди английских медиков уже обсуждается необходимость публикации «сырых данных», используемых авторами публикаций {Altman, 2001}. В частности, предлагается размещение таких данных в электронном виде {Hutchon, 2001}, что позволит в реальном масштабе времени дополнять их и каждому участнику производить реанализ таких дополненных данных. «Сырые данные» некоторых клинических испытаний уже доступны для анализа в электронном виде, и это позволило получать качественно новые выводы.
  6. Незаинтересованность редакций периодических изданий, ректоров медицинских вузов, диссертационных советов, ВАК РФ и дирекций НИИ в повышении качества журнальных публикаций и диссертаций. Предельно четко сформулировал эту позицию в беседе с автором этих строк ректор Сибирского государственного медицинского университета, академик РАМН, профессор Новицкий В.В. Когда автор этих строк обсуждал с ним предложение об организации независимой статистической экспертизы диссертаций, представляемых в диссертационные советы его вуза, он сказал буквально следующее: «Как ученый – я «За», а как ректор – «Против».
Каждая из описанных причин может быть объектом воздействия, однако ввиду сложных взаимодействий перечисленных причин и их преимущественно социальной природы в основном остается уповать на добросовестность отдельного ученого, т.е. на то, что в истории науки составляло ее этос, и что остается основой ее эффективности.

Литература

  • Lewis,J,A.; Facey,K.M. Statistical shortcomings in licensing applications.  1998, Statistics in Medicine, v. 17, pp. 1663-1673.
  • Altman,D.G.; Gooman,S.N.; Schroter,S. How Statistical Expertise Is Used in Medical Research. 2002, JAMA, v. 287, pp. 2817-2820.
  • Altman,D.G. Statistics in Medical Journals: Developments in the 1980s.  1991, Statistics in medicine.v. 10, pp. 1897-1913.
  • Altman,D.G. The scandal of poor medical research. 1994, BMJ, v. 308, pp. 283-284.
  • Altman,D.G.; Cates,C.; Authors should make their data available.  2001, BMJ, v. 323, pp. 1069.
  • Гланц,С.  Медико-биологическая статистика. M.: Практика, 1999, с. 459.
  • Квалификационная характеристика специалиста с высшим биологическим образованием. Приложение 15 к приказу Минздрава РФ от 25.12.97 № 380 .1998, Здравоохранение. т.7, сс.91-102.
  • Gardenier,J.S. The Misuse of Statistics: Concepts, Tools, and a Research Agenda. National Center for Health Statistics, Centers for Disease Control and Prevention, USA, 2003, http://ori.dhhs.gov/multimedia/acrobat/papers/gardenier.pdf
  • Леонов В.П. Долгое прощание с лысенковщиной. Меметический анализ описаний методов статистики.  2003, БИОМЕТРИКА
  • Hutchon,D.J.R Publishing raw data and real time statistical analysis on e-journals. 2001, BMJ, v. 322, p. 530.

СТАТИСТИЧЕСКИЙ АНАЛИЗ ДАННЫХ ДЛЯ ДИССЕРТАНТОВ

Центр БИОСТАТИСТИКА выполняет работы по статистическому анализу экспериментальных данных уже более 30 лет. В его составе исследователи России, США, Израиля, Англии, Канады и других стран. Услугами Центра пользуются аспиранты и докторанты в области медицины, биологии, социологии, психологии и т.д. Стандартные сроки анализа данных: для статей и докладов - 5-10 дней, для кандидатских диссертаций 1 месяц, для докторских диссертаций 1,5 месяца. (См. далее)

Отзывы заказчиков по статистическому анализу данных

23 примера оформления данных, их описания и описания целей исследования.

«Роющая деятельность кабана». Статья в "Независимой" газете...

Проценты - статистический анализ? Или проценты - арифметический анализ? В. Леонов.

Сравниваем средние, а также и ... В. Леонов.

Логистическая регрессия в медицине и биологии. Леонов В.

В серии из 9 статей рассмотрены основы метода логистической регрессии. Приведены многочисленные уравнения логистической регрессии и ROC-кривых, полученные при анализе реальных данных.

1. Логистическая регрессия. Основные понятия и возможности метода.
2. Логистическая регрессия. Анализ массивов большой размерности.
3. Логистическая регрессия. Примеры анализа реальных данных.
4. Логистическая регрессия и ROC-анализ.
5.Особенности логистической регрессии в акушерстве.
6.Особенности логистической регрессии в психиатрии, психологии и социологии.
7. Пример использования логистической регрессии для расчёта прогноза исхода оперативного лечения.
8. Логистическая регрессия  - "вершина пирамиды". А в "фундаменте" - что?
9. Как повысить качество логистической регрессии

Примеры отличных диссертаций и статей по медицине и биологии, с нашими результатами статистического анализа

В.В. Половинкин
ТОТАЛЬНАЯ МЕЗОРЕКТУМЭКТОМИЯ — ФАКТОР ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ЛЕЧЕНИЯ СРЕДНЕАМПУЛЯРНОГО И НИЖНЕАМПУЛЯРНОГО РАКА ПРЯМОЙ КИШКИ.

Н.Г. Веселовская 
КЛИНИЧЕСКОЕ И ПРОГНОСТИЧЕСКОЕ ЗНАЧЕНИЕ ЭПИКАРДИАЛЬНОГО ОЖИРЕНИЯ У ПАЦИЕНТОВ ВЫСОКОГО СЕРДЕЧНО-СОСУДИСТОГО РИСКА.

О.Я. Васильцева
ЗАКОНОМЕРНОСТИ ВОЗНИКНОВЕНИЯ, КЛИНИЧЕСКОГО ТЕЧЕНИЯ И ИСХОДОВ ТРОМБОЭМБОЛИИ ЛЕГОЧНОЙ АРТЕРИИ ПО ДАННЫМ ГОСПИТАЛЬНОГО РЕГИСТРА ПАТОЛОГИИ.

В.А. Габышев 
ФИТОПЛАНКТОН КРУПНЫХ РЕК ЯКУТИИ И СОПРЕДЕЛЬНЫХ ТЕРРИТОРИЙ ВОСТОЧНОЙ СИБИРИ.

 


1997 - 2017.© Василий Леонов. E-mail:

Доказательная или сомнительная? Медицинская наука Кузбасса: статистические аспекты.

Отклики читателей статьи "Доказательная или сомнительная?

Возврат на главную страницу.

Возврат в КУНСТКАМЕРУ

Т. Кун "Структура научных революций"