Яндекс.Метрика

Ошибки статистики в медицине

Каждый слышит то, что понимает. Гете


"Люди перестают мыслить,
когда перестают читать
". Д. Дидро

Статистика посещаемости БИОМЕТРИКИ Яндекс
цитирования
Индекс цитирования

Наш адрес:

Выбрав любое изображение, кликните по нему мышкой, и Вы узнаете о статистике ...


Редактор БИОМЕТРИКИ
В. Леонов

  • 385
data-counter data-url="http://www.biometrica.tomsk.ru/">
Яндекс
цитирования
Яндекс цитирования
 

16.05.2011 г. на сайт пришло 2561 человек, открывших 3205 страниц
14.11.2011 г. на сайт пришло 2106 человек, открывших 3250 страниц
14.12.2011 г. на сайт пришло 2640 человек, открывших 3452 страницы
17.01.2012 г. на сайт пришло 2439 человек, открывших 3097 страниц
03.03.2012 г. на сайт пришло 2219 человек, открывших 3019 страниц
30.05.2012 г. на сайт пришло 3512 человек, открывших 4706 страниц
06.03.2014 г. на сайт пришло 2556 человек, открывших 3179 страниц
08.02.2015 г. на сайт пришло 2341 человек, открывших 2682 страницы

Если приходят, значит полезное находят...


Введение
Наши возможности. О возможностях статистического анализа
Леонов В.П. Ошибки статистического анализа биомедицинских данных. Международный журнал  медицинской практики, 2007, вып. 2, стр.19-35
Список научных и учебных изданий по биометрике и статистике
Материалы по науковедению
История биометрики
Статистическое рецензирование статей и диссертаций

Долгое прощание с лысенковщиной...
Семинар по биометрике в Красноярске



Если Вы сторонник использования
статистики, разместите на своём сайте
HTML-код нашего баннера:

BIOMETRICA - журнал для сторонников доказательной биологии и медицины
25 наиболее популярных ссылок, посещаемых нашими читателями
http://www.biometrica.tomsk.ru/comp_aver.htm
http://www.biometrica.tomsk.ru/erevan_8.html
http://www.biometrica.tomsk.ru/student.htm
http://www.biometrica.tomsk.ru/UNESCO%202010.pdf
http://www.biometrica.tomsk.ru/zakaz.htm
http://www.biometrica.tomsk.ru/zakaz_28.htm
http://www.biometrica.tomsk.ru/kk.htm
http://www.biometrica.tomsk.ru/erevan_3.html
http://www.biometrica.tomsk.ru/stat_cardio1.htm
http://www.biometrica.tomsk.ru/error.htm
http://www.biometrica.tomsk.ru/STAT_CARDIO_2014.pdf
http://www.biometrica.tomsk.ru/logit_9.htm
http://www.biometrica.tomsk.ru/stat_cardio7.htm

http://www.biometrica.tomsk.ru/potencial.htm
http://www.biometrica.tomsk.ru/percent_00.htm
http://www.biometrica.tomsk.ru/lis.htm
http://www.biometrica.tomsk.ru/kamchat.htm
http://www.biometrica.tomsk.ru/biometrica_15.htm
http://www.biometrica.tomsk.ru/zakaz_15.htm
http://www.biometrica.tomsk.ru/ftp/dict/cult/gramm.htm
http://www.biometrica.tomsk.ru/biometrica_15.htm
http://www.biometrica.tomsk.ru/stat_cardio5.htm
http://www.biometrica.tomsk.ru/krasnojarsk.htm http://www.biometrica.tomsk.ru/erevan_3.html
http://www.biometrica.tomsk.ru/logit_6.htm

БИОМЕТРИКА + Музыка. В. Леонов.

Музыка... Вот что сказал о ней великий Иоганн Себастьян Бах: "Цель музыки - трогать сердца". В детстве автор этих строк получил музыкальное образование. Любимыми инструментами были мандолина и гитара. Любимыми композиторами - Вивальди, Бах, Альбиони, Боккерини, Беллини, Корелли, Скарлатти. В 80-е годы прошлого столетия в Томск часто приезжал с концертами маэстро Владимир Спиваков. Эти концерты организовывал Егор Лигачёв, бывший в ту пору первым секретарём Томского обкома КПСС. На свой первый концерт в Томск Владимир Спиваков приехал один. Великолепно играл на скрипке! Концертный зал был переполнен слушателями, которые были в восторге от его концерта. Именно тогда мне удалось впервые встретиться с ним, и взять у него автографы на его грампластинки. В дальнейшем посещал все его концерты. В 1979 г. В. Спиваков организовал камерный оркестр "Виртуозы Москвы". Однажды в 90-е годы Владимир Спиваков должен был приехать в Томск с "Виртуозами Москвы", и в течение трёх дней дать 3 концерта. Однако из-за проблем с топливом в те времена, их самолёт посадили в Омске, где они пробыли 2 дня. И когда прилетели в Томск, то в один день провели все 3 концерта, которые я прослушал. И вновь взял автографы на новые грампластинки, и сделал много фотографий В. Спивакова.


Музыка...  Она помогает всегда. Вот почему я рассылаю почти всем своим корреспондентам файлы с хорошей музыкой. Любите музыку, слушайте её чаще. И она поможет лучше понимать бистатистику и результаты статистического анализа...

13 февраля 2014 г. Владимир Спиваков и "Виртуозы Москвы" дали концерт в Краснодаре. Я посетил этот прекрасный концерт, и вновь встретился с Владимиром Теодоровичем. Подарил ему его грампластики, фотографии, и свою книгу.

НАУКОМЕТРИКА СТАТИСТИЧЕСКОЙ ПАРАДИГМЫ ЭКСПЕРИМЕНТАЛЬНОЙ БИОМЕДИЦИНЫ   (ПО МАТЕРИАЛАМ ПУБЛИКАЦИЙ). В.П.Леонов. Самая читаемая наша статья после отправки в мае м-це 2017 г. более 300 писем авторам статей мед. журналов о наличии в них примитивных и ошибочных методов статистического анализа, и получаемых при этом результатах...

Ошибки статистического анализа биомедицинских данных

 Леонов В.П.

Международный журнал 
медицинской практики,
2007, вып. 2, стр.19-35
.

В статье рассмотрено много примеров ошибочного использования статистики в российской биологии и медицине. Дана классификация основных видов ошибок, обсуждаются обзоры по этой теме за предыдущие 50 лет. Дана классификация причин возникновения таких ошибок в биологии и медицине. С позиций меметики рассмотрены более 1500 статей, монографий и диссертаций, содержащих  типичные ошибки использования и описания статистики. Приведены цепочки мемов с ошибочными описаниями методов сравнения средних и статистической значимости результатов и доверительной вероятности.

Показано существование устойчивых мемов ошибочного описания статистики внутри отдельных научных школ, например в Сибирском государственном медицинском университете. Вводится новый тип мема - мем камуфляжного описания, используемый для маскировки неправильного применения статистики в медицинском исследовании. Установлено, что наиболее часто встречаются случаи ошибочного использования t-критерия Стьюдента, без необходимой проверки обязательных для этого условий. Наиболее часто подобные ошибки встречаются в публикациях журнала "Бюллетень экспериментальной биологии и медицины". 

Достаточно часто в российских публикациях приводятся описания некорректного применения многомерных статистических методов, таких как факторный и кластерный анализ. На основе анализа причин живучести таких ошибок в биомедицине, даны конкретные рекомендации по разрешению этой проблемы. Основным средством для этого является создание в медицинских исследовательских организациях лабораторий биостатистики.


Оглавление

Ошибка – это …

Ошибка или обман?

Обзоры ошибок применения статистики в медицине

Причины возникновения ошибок и меры борьбы с ними

Ошибки описания статистических методов

Меметический анализ описаний методов статистики

Локализация ошибочных описаний внутри научных школ

Мемы камуфляжных описаний

Смутно пишут о том, о чём смутно представляют

Коварный t-критерий Стьюдента

«… не зная законов языка ирокезского, можешь ли ты делать такое суждение  по  сему предмету…»

Что же делать, чтобы избежать ошибок?


 

Причины возникновения ошибок и меры борьбы с ними

Как он дышит, так и пишет...

Б.Окуджава.

Большая распространенность описываемых ошибок в медицинских исследованиях имеет несколько основных причин. Попытаемся кратко сформулировать лишь основные из них. То, что такие ошибки проникают на страницы российских журналов и диссертаций, свидетельствует, что на этапах рецензирования этих работ отсутствует контроль «статистического качества» профессиональными биостатистиками. Гораздо более высокое качество  статистических выводов в статьях зарубежных медицинских журналов  обеспечивается наличием такого статистического рецензирования {Lewis, 1998}{Altman, 2002}{Гланц, 1999}{Altman, 2002}. Например, во всемирно известном издании BMJ такое рецензирование проводит группа специалистов, в составе которой и упоминавшийся выше консультант-статистик  Douglas G. Altman.

 

Однако отсутствие статистического рецензирования  в медицинских журналах и диссертационных советах далеко не самый первый фактор. Причины возникновения таких ошибок присутствуют и на более раннем этапе. Большинство авторов таких публикаций не профессиональные исследователи. Они – прежде всего клиницисты, и поэтому не должны иметь необходимой для исследователя статистической подготовки. Этот вывод можно сделать и на основе содержания квалификационной характеристики биолога {Квалификационная характеристика специалиста с высшим биологическим образованием, 1998}. Во всех аналогичных квалификационных характеристиках в разделе «Знание смежных дисциплин» вообще отсутствует упоминание математики. И это вполне разумно, поскольку медицинский вуз не может, да и не должен, обеспечивать своим выпускникам профессиональный уровень владения биостатистикой. Его задача подготовить хороших врачей, лекарей, а не исследователей и специалистов по биостатистике.

 

     Douglas G. Altman обращает внимание на этический аспект этой проблемы. {Altman, 1994}  Если врач использует неправильную технологию лечения, или дает неправильную дозу лекарства, то большинство его коллег, сочтут такое поведение непрофессиональным и неэтичным. А что думать о враче, который допускает статистическую неряшливость? Весьма обстоятельно данный этический аспект рассмотрен в работе {Gardenier, 2003}, в которой утверждается, что статистическая непорядочность медиков является профессиональной некомпетентностью и представляет для общества не меньшую опасность, чем любая иная непорядочность. В связи с этим хочу обратить внимание читателей на публикацию в известном журнале Science: {Adam Bostanci, 2002}. «Спустя пять лет после крупного скандала о жульничестве, потрясшего научный истеблишмент, Германские университеты готовы вот-вот принять свои первые обязательные стандарты этики исследований. Университеты должны обеспечить выполнение этих новых  правил к концу этого месяца, в ином случае они рискуют, что их не будут считать имеющими право на получение грантов из главного исследовательского фонда страны, Deutsche Forschungsgemeinschaft  (DFG). Эти правила следуют международным нормам при определении научного должностного преступления или нарушения научной этики как "умышленной или грубо пренебрежительной фальсификации или фабрикации данных". Другими перечисленными серьезными должностными преступлениями являются введение в заблуждение, плагиат и ущерб исследованиям других. Возможные санкции включают лишение контрактов на исследования и аннулирование академических званий.  …  Правила о научных должностных преступлениях, о неэтичном поведении явились плодом многих разбирательств  после того, как основанная DFG группа нашла фальсификацию в дюжине статей, авторизированных парой исследователей рака Фридгельмом Германом  (Friedhelm Herrmann)  и Марион Брак (Marion Brach) (Science, 23 June 2000, p. 2106). Выявление умышленной или грубой небрежности при обработке или получении данных является трудным делом, как это печально известно. … По новым правилам, институты должны назначать независимого секретаря-омбудсмена, который будет инициировать проверки и в то же время прикрывать тех, кто поднял тревогу, "просигналил". Вдобавок, чтобы ускорить будущие расследования, новые правила устанавливают, что во всех случаях, когда это только возможно, первичные данные исследований должны сохраняться в течение десяти лет. Это "вероятно, одна из тех областей, где исследователи наиболее беспечны", говорит Иоханнес Дикганс  (Johannes Dichgans),  нейролог и омбудсмен в Университете в Тюбингене. Пренебрежение архивированием записей данных исследований или их умышленное разрушение должно было бы осуждаться как грубая небрежность и потому быть наказуемым». 

 

 

Чем же можно объяснить такую терпимость к многолетнему воспроизводству статистических ошибок в российских публикациях биомедицинской тематики? Основным барьером на пути уменьшения многочисленных ошибок в использовании статистических методов, является некритическое отношение таких специалистов как к собственной исследовательской  практике, так и к практике своих коллег. Результатом этого является неявное следование следующим установкам:

  • использовать тот статистический метод, который предложил руководитель (ослушаться нельзя, а если кто-то обвинит в некорректности, то виноват шеф);
  • применять данный метод потому, что он есть в доступном статистическом пакете (надо же написать в статье, что  использовал статистический пакет);
  • использовать те методы, которые ранее уже были самим автором использованы (за них никто не поругал, значит можно и впредь их применять).
  • использовать данный метод потому, что его уже использовал другой автор опубликованной статьи (диссертации) по этой же тематике (раз статью опубликовали (диссертацию защитили), значит можно использовать, ведь в редакциях (диссертационных советах) не дураки же сидят).

Нередко следование этим установкам приводит к генерации цепочек так называемых «мемов», когда несколько авторов последовательно заимствуют друг у друга одну и ту же ошибку. {Леонов, 2003}

            Можно выделить следующие причины появления и живучести таких ошибок:

  1. Отсутствие знаний по статистике у авторов публикаций, членов журнальных редколлегий и диссертационных советов, что не позволяет им осознать всю степень ошибочности выводов в таких публикациях.
  2. Деформация цели публикации. Нередко истинной целью публикации является не стремление ученого обнародовать, легализовать надежные, достоверные результаты исследования, а лишь сам факт быстрейшей публикации даже ненадежных выводов, как доказательство «научности» результатов.
  3. Отдаленность во времени и пространстве возможных негативных последствий опубликования сомнительных результатов от автора, времени и места публикации. Автор такой публикации, зная о том, что его выводы далеко не бесспорны, понимает, что именно эта неочевидность и не будет способствовать стремительному их внедрению в реальную медицинскую практику. А если такое и случится, то доказать, что основной причиной негативных последствий были именно недоброкачественные выводы автора этой публикации, тоже весьма проблематично.
  4. Ограниченность доступа широкой читательской аудитории к медицинским публикациям, содержащим ошибочные выводы.  Это связано как с ограниченными тиражами медицинской периодики, так и с ограничением доступа к медицинским диссертациям. В ряде медицинских вузов доступ к защищенным диссертациям разрешается ректором вуза.
  5. Отсутствие доступа для читателей к исходным данным автора публикации. Автор, зная, что любой читатель, сомневающийся в истинности авторских выводов, имеет возможность немедля (или же спустя некоторое время) получить эти данные, и самостоятельно перепроверить авторские выводы, будет совершенно иначе относиться к процедуре статистического анализа  этих данных. В настоящее время среди английских медиков уже обсуждается необходимость публикации «сырых данных», используемых авторами публикаций {Altman, 2001}. В частности, предлагается размещение таких данных в электронном виде {Hutchon, 2001}, что позволит в реальном масштабе времени дополнять их и каждому участнику производить реанализ таких дополненных данных. «Сырые данные» некоторых клинических испытаний уже доступны для анализа в электронном виде, и это позволило получать качественно новые выводы.
  6. Незаинтересованность редакций периодических изданий, ректоров медицинских вузов, диссертационных советов, ВАК РФ и дирекций НИИ в повышении качества журнальных публикаций и диссертаций. Предельно чётко сформулировал эту позицию в беседе с автором этих строк ректор Сибирского государственного медицинского университета, академик РАМН, профессор Новицкий В.В. Когда автор этих строк обсуждал с ним предложение об организации независимой статистической экспертизы диссертаций, представляемых в диссертационные советы его вуза, он сказал буквально следующее: «Как учёный – я «За», а как ректор – «Против».
Каждая из описанных причин может быть объектом воздействия, однако ввиду сложных взаимодействий перечисленных причин и их преимущественно социальной природы в основном остается уповать на добросовестность отдельного ученого, т.е. на то, что в истории науки составляло ее этос, и что остается основой ее эффективности.

Литература

  • Lewis,J,A.; Facey,K.M. Statistical shortcomings in licensing applications.  1998, Statistics in Medicine, v. 17, pp. 1663-1673.
  • Altman,D.G.; Gooman,S.N.; Schroter,S. How Statistical Expertise Is Used in Medical Research. 2002, JAMA, v. 287, pp. 2817-2820.
  • Altman,D.G. Statistics in Medical Journals: Developments in the 1980s.  1991, Statistics in medicine.v. 10, pp. 1897-1913.
  • Altman,D.G. The scandal of poor medical research. 1994, BMJ, v. 308, pp. 283-284.
  • Altman,D.G.; Cates,C.; Authors should make their data available.  2001, BMJ, v. 323, pp. 1069.
  • Гланц,С.  Медико-биологическая статистика. M.: Практика, 1999, с. 459.
  • Квалификационная характеристика специалиста с высшим биологическим образованием. Приложение 15 к приказу Минздрава РФ от 25.12.97 № 380 .1998, Здравоохранение. т.7, сс.91-102.
  • Gardenier,J.S. The Misuse of Statistics: Concepts, Tools, and a Research Agenda. National Center for Health Statistics, Centers for Disease Control and Prevention, USA, 2003, http://ori.dhhs.gov/multimedia/acrobat/papers/gardenier.pdf
  • Леонов В.П. Долгое прощание с лысенковщиной. Меметический анализ описаний методов статистики.  2003, БИОМЕТРИКА
  • Hutchon,D.J.R Publishing raw data and real time statistical analysis on e-journals. 2001, BMJ, v. 322, p. 530.

 

Центр БИОСТАТИСТИКА выполняет работы по статистическому анализу экспериментальных данных уже более 30 лет. В его составе исследователи России, США, Израиля, Англии, Канады и других стран. Услугами Центра пользуются аспиранты и докторанты в области медицины, биологии, социологии, психологии и т.д. (См. далее )

Отзывы заказчиков по статистическому анализу данных

СТАТИСТИЧЕСКИЙ АНАЛИЗ ДАННЫХ ДЛЯ МЕДИКОВ И БИОЛОГОВ (время и опыт). Леонов В.

Подарок читателям БИОМЕТРИКИ в связи с праздником 9 Мая. В течение последних 5 лет, перед праздниками, мы собирали читателям нашего сайта большие коллекции изданий по медицине, биологии, статистике и ...

Отзывы заказчиков по статистическому анализу данных

Логистическая регрессия в медицине и биологии.
Леонов В.

В серии 10 статей рассмотрены основы метода логистической регрессии. На многочисленных примерах анализа реальных массивов данных поясняется специфика использования данного метода. Приведены многочисленные уравнения логистической регрессии и ROC-кривых, полученные при анализе реальных данных.

Введение.

1. Логистическая регрессия. Основные понятия и возможности метода.
2. Логистическая регрессия. Анализ массивов большой размерности.
3. Логистическая регрессия. Примеры анализа реальных данных.
4. Логистическая регрессия и ROC-анализ.
5.Особенности логистической регрессии в акушерстве.
6.Особенности логистической регрессии в психиатрии, психологии и социологии.
7. Пример использования логистической регрессии для расчёта прогноза исхода оперативного лечения.
8. Логистическая регрессия  - "вершина пирамиды". А в "фундаменте" - что?
9. Как повысить качество логистической регрессии.

Сравниваем средние, а также и ... В. Леонов

     Исследователям в медицине и биологии весьма большую пользу приносит сравнение не только групповых средних, но также и иных параметров. Такими новыми сравнениями являются проверки равенства дисперсий, коэффициентов корреляции, коэффициентов регрессии или векторов групповых средних, сравнение групп многомерными методами, и т.д. В статье объяснена большая ценность обнаружения не нормального распределения признака. Показано, что не нормальное распределение количественного признака, означает наличие взаимосвязей данного признака с другими признаками.


Проценты - статистический анализ? Или проценты - арифметический анализ? В. Леонов.


23 примера оформления данных, их описания и описания целей исследования


В ноябре 2013 года сайту БИОМЕТРИКА исполнилось 16 лет. А что было раньше? И что теперь?


Примеры отличных диссертаций и статей по медицине и биологии, с нашими результатами статистического анализа

В.В. Половинкин
ТОТАЛЬНАЯ МЕЗОРЕКТУМЭКТОМИЯ — ФАКТОР ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ЛЕЧЕНИЯ СРЕДНЕАМПУЛЯРНОГО И НИЖНЕАМПУЛЯРНОГО РАКА ПРЯМОЙ КИШКИ.

Н.Г. Веселовская 
КЛИНИЧЕСКОЕ И ПРОГНОСТИЧЕСКОЕ ЗНАЧЕНИЕ ЭПИКАРДИАЛЬНОГО ОЖИРЕНИЯ У ПАЦИЕНТОВ ВЫСОКОГО СЕРДЕЧНО-СОСУДИСТОГО РИСКА.

О.Я. Васильцева ЗАКОНОМЕРНОСТИ ВОЗНИКНОВЕНИЯ, КЛИНИЧЕСКОГО ТЕЧЕНИЯ И ИСХОДОВ ТРОМБОЭМБОЛИИ ЛЕГОЧНОЙ АРТЕРИИ ПО ДАННЫМ ГОСПИТАЛЬНОГО РЕГИСТРА ПАТОЛОГИИ.

В.А. Габышев  ФИТОПЛАНКТОН КРУПНЫХ РЕК ЯКУТИИ И СОПРЕДЕЛЬНЫХ ТЕРРИТОРИЙ ВОСТОЧНОЙ СИБИРИ.

М.И. Антоненко
  ГИПЕРКОРТИЦИЗМ БЕЗ СПЕЦИФИЧЕСКИХ КЛИНИЧЕСКИХ СИМПТОМОВ: ЭПИДЕМИОЛОГИЯ, КЛИНИКА, ДИАГНОСТИКА.

Н.Г. Веселовская"ПРОГНОЗИРОВАНИЕ РИСКА РЕСТЕНОЗА КОРОНАРНЫХ АРТЕРИЙ ПОСЛЕ ИХ СТЕНТИРОВАНИЯ У ПАЦИЕНТОВ С ОЖИРЕНИЕМ"

И.А. Бирюкова Научно - практическая работа " ФАРМАКОЭКОНОМИЧЕСКИЕ ИССЛЕДОВАНИЯ РОЗНИЧНОГО РЫНКА ГОРОДА ОМСКА"

А.Г. Сыркина Ретроспективный анализ эффективности и безопасности тромболитической терапии острого инфаркта миокарда у больных пожилого и старческого возраста (диссертация на соискание учёной степени кандидата медицинских наук).

В. Леонов. Цели, возможности, и проблемы использования биостатистики в доказательной медицине. Доклад на Конференции по доказательной медицине в Ереване «От доказательной медицины к доказательному здравоохранению» (24 - 26 сентября 2015 года).

Фоторепортаж с семинара по биометрике в Ереване, прошедшего после конференции по доказательной медицине (24 - 26 сентября 2015 года).

Отзывы слушателей семинара по биометрике в Ереване в сентябре 2015 г.

RusDASL - российская библиотека данных  для изучающих биометрику и биостатистику. DASL (The Data and Story Library ) - под такой аббревиатурой на веб-сайте Carnegie Mellon University размещена известная библиотека исходных статистических данных данных из различных отраслей науки. Теперь аналогичная библиотека открыта на БИОМЕТРИКЕ и для российских пользователей...


1997 - 2018.© Василий Леонов. E-mail:

Доказательная или сомнительная? Медицинская наука Кузбасса: статистические аспекты.

Отклики читателей статьи "Доказательная или сомнительная?"

Возврат на главную страницу.

Возврат в КУНСТКАМЕРУ

Т. Кун "Структура научных революций"