Яндекс.Метрика

Ошибки статистики в медицине

Каждый слышит то, что понимает. Гете

Статистика посещаемости БИОМЕТРИКИ

Что можно узнать о наших родственниках,
победивших в этой войне...

Выбрав изображение, кликните мышкой, и Вы прочитаете о том, как ...


Редактор БИОМЕТРИКИ
В. Леонов

Пишите нам на
адрес

Популярные страницы посещаемые читателями

http://www.biometrica.tomsk.ru/index.htm
http://www.biometrica.tomsk.ru/biostat_1.htm
http://www.biometrica.tomsk.ru/biostat_2.htm
http://www.biometrica.tomsk.ru/biostat_3.htm
http://www.biometrica.tomsk.ru/biostat_4.htm

http://www.biometrica.tomsk.ru/biostat_5.htm
http://www.biometrica.tomsk.ru/biostat_6.htm

http://www.biometrica.tomsk.ru/biostat_7.htm
http://www.biometrica.tomsk.ru/biostat_8.htm
http://www.biometrica.tomsk.ru/biostat_9.htm
http://www.biometrica.tomsk.ru/biostat_10.htm

http://www.biometrica.tomsk.ru/biostat_11.htm
http://www.biometrica.tomsk.ru/nauka_33.htm

http://www.biometrica.tomsk.ru/potencial.htm
http://www.biometrica.tomsk.ru/nauka_19.htm
http://www.biometrica.tomsk.ru/logit_0.htm
http://www.biometrica.tomsk.ru/stat_cardio_1998.htm
http://www.biometrica.tomsk.ru/erevan_3.html
http://www.biometrica.tomsk.ru/student.htm
http://www.biometrica.tomsk.ru/stat_cardio1.htm
http://www.biometrica.tomsk.ru/error.htm
http://www.biometrica.tomsk.ru/leonov_vak.htm
http://www.biometrica.tomsk.ru/erevan_4.html
http://www.biometrica.tomsk.ru/student.htm
http://www.biometrica.tomsk.ru/stat_cardio1.htm
http://www.biometrica.tomsk.ru/biometrica_18.htm

Ошибки статистического анализа биомедицинских данных

 Леонов В.П.

Международный журнал 
медицинской практики,
2007, вып. 2, стр.19-35
.

    В статье рассмотрено много примеров ошибочного использования статистики в российской биологии и медицине. Дана классификация основных видов ошибок, обсуждаются обзоры по этой теме за предыдущие 50 лет. Дана классификация причин возникновения таких ошибок в биологии и медицине. С позиций меметики рассмотрены более 1500 статей, монографий и диссертаций, содержащих  типичные ошибки использования и описания статистики. Приведены цепочки мемов с ошибочными описаниями методов сравнения средних и статистической значимости результатов и доверительной вероятности.

    Показано существование устойчивых мемов ошибочного описания статистики внутри отдельных научных школ, например в Сибирском государственном медицинском университете. Вводится новый тип мема - мем камуфляжного описания, используемый для маскировки неправильного применения статистики в медицинском исследовании. Установлено, что наиболее часто встречаются случаи ошибочного использования t-критерия Стьюдента, без необходимой проверки обязательных для этого условий. Наиболее часто подобные ошибки встречаются в публикациях журнала "Бюллетень экспериментальной биологии и медицины". 

   Достаточно часто в российских публикациях приводятся описания некорректного применения многомерных статистических методов, таких как факторный и кластерный анализ. На основе анализа причин живучести таких ошибок в биомедицине, даны конкретные рекомендации по разрешению этой проблемы. Основным средством для этого является создание в медицинских исследовательских организациях лабораторий биостатистики.


Оглавление

Ошибка – это …

Ошибка или обман?

Обзоры ошибок применения статистики в медицине

Причины возникновения ошибок и меры борьбы с ними

Ошибки описания статистических методов

Меметический анализ описаний методов статистики

Локализация ошибочных описаний внутри научных школ

Мемы камуфляжных описаний

Смутно пишут о том, о чем смутно представляют

Коварный t-критерий Стьюдента

«… не зная законов языка ирокезского, можешь ли ты делать такое суждение  по  сему предмету…»

Что же делать, чтобы избежать ошибок?

 


Обзоры ошибок применения статистики в медицине

Сомнительный результат не может

признаваться в качестве научного.

Н. Бор.

В отечественной медицине одним из первых исследований, содержащим  большой и нелицеприятный обзор таких ошибок, является книга А.Я.Боярского «Статистические методы в экспериментальных медицинских исследованиях», 1955, Медгиз. Автор детально проанализировал большое количество статей, опубликованных в течение нескольких лет в известных советских медицинских журналах. По сути дела это было первое отечественное исследование, в котором автор на значительном конкретном материале констатировал крайне неблагополучную ситуацию с применением статистики в экспериментальной медицине и биологии тех лет.

 

 «Уже беглое ознакомление с состоянием дела показывает, что статистическая обработка экспериментальных данных является наиболее слабым местом во многих исследованиях. … Трудно требовать от медика, чтобы он, наряду со знаниями в своей собственной области, был в то же время достаточно вооруженным, скажем, в радиотехнике для конструирования аппаратуры, улавливающей биотоки, или в статистике для нахождения наиболее правильных методов статистической обработки своих экспериментальных данных. И подобно тому, как медику, несомненно, приходится обращаться за содействием к радиотехнику, для правильной статистической обработки экспериментальных данных нередко приходится обращаться к специалисту-статистику … Так или иначе, но бесспорным фактом являются и недостаточная вооруженность медиков статистическими знаниями, и недостаточно высокий научный уровень статистической методики в большинстве их экспериментальных работ». Напомним, что эти слова были сказаны еще в 1955 г.: полвека назад констатировалось, что медицинские исследования по своей сути являются междисциплинарными, и уже потому требуют обязательного участия биостатистика.

 

Одна из первых зарубежных публикаций, содержащая анализ статистических ошибок в медицинских статьях, относится к 1929 г. {Dunn, 1929} В этой статье Dunn сообщил, что примерно половина статей, публикуемых журнале Physiological Reviews, содержит примеры ошибочного использования статистики. Результаты более общего исследования были опубликованы 1932 г. {Greenwood, 1932}. Начиная с 60-х годов прошлого века в зарубежной периодике периодически публикуются такие обзоры  {McGuigan, 1995}{Welch, 1996}{Porter, 1999}{White, 1979}{Lewis, 1998}{Banik, 2003}{Bailar, 1976}{Rosenfeld, 1991}{Qian Wang, 1998}{Emerson, 1979}{Gardenier, 2003}{Kirkwood, 2002}. Большую работу в этом направлении проводит статистик  Douglas G. Altman {Altman, 2000}{Altman, 2000; Altman, 1991; Altman, 1983; Altman, 1980; Altman, 1983; Altman, 1994; Altman, 2002; Altman, 2001}. В этих обзорах отмечается рост доли публикаций, в которых используется статистика, а также уменьшение доли ошибочного применения этих методов. Такая тенденция характерна не только для европейских журналов, но и для китайских журналов {Qian Wang, 1998}. 

 

Следует отметить, что в российской медицинской периодике подобные публикации крайне редки. Причем не потому, что такие исследования не ведутся, а по причинам иного порядка. Далеко не каждый журнал отважится опубликовать статью, в которой будет дан критический анализ его публикаций. Однако имеются примеры и иного отношения к такой критике. Так в начале 1997 г. автор этих строк направил в журнал «Кардиология» рукопись «Применение методов статистики в кардиологии (по материалам журнала «Кардиология» за 1993-1995 гг.)». Поскольку редакция журнала в течение года никакого ответа автору не дала, то я решил, что рукопись отвергнута и не опубликована. Однако в апреле 2004 г., на семинаре по биометрике в Самаре, одна из слушательниц передала мне копию данной статьи, которая была опубликована {Леонов, 1998}.

<

 

Литература.

  • Dunn, H.L , Application of statistical methods in physiology. Physiological Reviews, 1929, v. 9, pp. 275-398.
  • Greenwood, M. What is wrong with the medical curriculum? Lancet, 1932, pp. 1269-1270.
  • McGuigan, S.M. The use of statistics in the British Journal of Psychiatry. Br.J.Psychiatry, 1995, v. 167, pp. 689-690.
  • Welch, G.E.; Gabbe S.G. Review of statistics usage in the American Journal of Obstetrics and Gynecology. Am J Obstet Gynecol. 1996, pp. 1138-1141.
  • Porter, A.M. Misuse of correlation and regression in three medical journals.J R Soc Med. 1999, v. 92(3), pp.123-128.
  • White, S.J. Statistical errors in papers in the British Journal of Psychiatry. British Journal of Psychiatry. 1979, v. 135, pp. 336-342.
  • Lewis,J,A.; Facey,K.M. Statistical shortcomings in licensing applications. 1998, Statistics in Medicine, v. 17, pp. 1663-1673.
  • Banik,N. Biostatistical methodology: Part 2. Clinical trials in the 21st century - a means of knowledge generation or self-fulfilling prophecy? http://www.drugdev123.com/editorial/archive/DataProcessing/159.shtml
  • Bailar,J.C. Bailar's laws of data analysis.  Clin Pharmacol Ther, v. 20, pp. 113-120.
  • Rosenfeld,R.M.; Rockette,H.E. Biostatistics in otolaryngology journals. Arch Otolaryngol Head Neck Surg. v. 117, pp. 1172-1176.
  • Qian Wang; Boheng Zhang. Research Design and Statistical Methods in Chinese Medical Journals. JAMA ,v. 280, pp. 283-285.
  • Emerson,J.D; Coldit,G.A. Use of statistical analysis in the New England Journal of Medicine.N Engl J Med, v. 309, pp. 709-713.
  • Gardenier,J.S. The Misuse of Statistics: Concepts, Tools, and a Research Agenda. National Center for Health Statistics, Centers for Disease Control and Prevention, USA, 2003, http://ori.dhhs.gov/multimedia/acrobat/papers/gardenier.pdf
  • Kirkwood,et al. Use and Abuse of Statistics in Evidence-Based Medicine. J Clin Oncol. v. 20, pp. 4122-4124.
  • Altman,D.G.; Machin,D.; Bryant,T.N.; Gardner,M.J. Statistics with confidence.British Medical Journal. 2000, p140.
  • Altman,D.G. Statistics in medical Journals: some recent trends. Statistics in Medicine, 2000, v. 19, pp. 3275-3289.
  • Altman,D.G. Statistics in Medical Journals: Developments in the 1980s. 1991, Statistics in medicine. v. 10, pp. 1897-1913.
  • Altman,D.G. Statistics in medical Journals: 1983, Statistics in medicine. v.1, pp.59-71.
  • Altman,D.G. Statistics and ethics in medical research. Misuse of statistics is unethic. 1980, BMJ, v. 281, pp. 1182-1184.
  • Altman,D.G.; Gore,S.M.; Gardner,M.J.; Pocock,S.J. Statistical guidelines for contributors to medical journals. 1983, BMJ, v. 286, pp. 1489-1493.
  • Altman,D.G. The scandal of poor medical research. 1994, BMJ, v. 308, pp. 283-284.
  • Altman,D.G.; Gooman,S.N.; Schroter,S. How Statistical Expertise Is Used in Medical Research. 2002, JAMA, v. 287, pp .2817-2820.
  • Altman,D.G.; Cates,C.; Authors should make their data available.  2001, BMJ, v. 323, pp. 1069.
  • Qian Wang; Boheng Zhang, Research Design and Statistical Methods in Chinese Medical Journals. 1998, JAMA, pp. 283-285.
  • Леонов В.П. Применение методов статистики в кардиологии (по материалам журнала «Кардиология» за 1993-1995 гг. 1998, Кардиология, c. 55-58.

 

Примеры оформления исследователями базы данных, описания признаков и целей статистического анализа этой базы данных

Островок  здоровья

Пример 1,   Пример 2,   Пример 3


  НЦ БИОСТАТИСТИКА
выполняет статистический анализ экспериментальных данных уже более 30 лет. В его составе исследователи России, США, Израиля, Англии, Канады и других стран. Нашими услугами пользуются аспиранты и докторанты по медицине, биологии, социологии, психологии и т.д. (См. далее )


Отзывы исследователей по
статистическому анализу
данных


СТАТИСТИЧЕСКИЙ АНАЛИЗ ДАННЫХ ДЛЯ МЕДИКОВ И БИОЛОГОВ (время и опыт).
В. Леонов

Сравниваем средние, а также и ...
В. Леонов

     Исследователям в медицине и биологии весьма большую пользу приносит сравнение не только групповых средних, но также и иных параметров. Показано, что не нормальное распределение количественного признака, означает наличие взаимосвязей данного признака с другими признаками.


Проценты - статистический анализ? Или проценты - арифметический анализ?
В. Леонов.


ОБ ИСПОЛЬЗОВАНИИ ПРИКЛАДНОЙ СТАТИСТИКИ ПРИ ПОДГОТОВКЕ ДИССЕРТАЦИОННЫХ РАБОТ ПО МЕДИЦИНСКИМ И БИОЛОГИЧЕСКИМ СПЕЦИАЛЬНОСТЯМ. В.П. Леонов, П.В.Ижевский. Бюллетень ВАК РФ №5, 1997 г.

Логистическая регрессия в медицине и биологии. Леонов В.

В серии 10 статей рассмотрены основы метода логистической регрессии. На многочисленных примерах анализа реальных массивов данных поясняется специфика использования данного метода. Приведены многочисленные уравнения логистической регрессии и ROC-кривых, полученные при анализе реальных данных.

Введение

1. Логистическая регрессия. Основные понятия и возможности метода.
2. Логистическая регрессия. Анализ массивов большой размерности.
3. Логистическая регрессия. Примеры анализа реальных данных.
4. Логистическая регрессия и ROC-анализ.
5.Особенности логистической регрессии в акушерстве.
6.Особенности логистической регрессии в психиатрии, психологии и социологии.
7. Пример использования логистической регрессии для расчёта прогноза исхода оперативного лечения.
8. Логистическая регрессия  - "вершина пирамиды". А в "фундаменте" - что?
9. Как повысить качество логистической регрессии.


Примеры отличных диссертаций и статей по медицине и биологии, с нашими результатами статистического анализа

В.В. Половинкин
ТОТАЛЬНАЯ МЕЗОРЕКТУМЭКТОМИЯ — ФАКТОР ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ЛЕЧЕНИЯ СРЕДНЕАМПУЛЯРНОГО И НИЖНЕАМПУЛЯРНОГО РАКА ПРЯМОЙ КИШКИ.

Н.Г. Веселовская 
КЛИНИЧЕСКОЕ И ПРОГНОСТИЧЕСКОЕ ЗНАЧЕНИЕ ЭПИКАРДИАЛЬНОГО ОЖИРЕНИЯ У ПАЦИЕНТОВ ВЫСОКОГО СЕРДЕЧНО-СОСУДИСТОГО РИСКА.

О.Я. Васильцева ЗАКОНОМЕРНОСТИ ВОЗНИКНОВЕНИЯ, КЛИНИЧЕСКОГО ТЕЧЕНИЯ И ИСХОДОВ ТРОМБОЭМБОЛИИ ЛЕГОЧНОЙ АРТЕРИИ ПО ДАННЫМ ГОСПИТАЛЬНОГО РЕГИСТРА ПАТОЛОГИИ.

В.А. Габышев 
ФИТОПЛАНКТОН КРУПНЫХ РЕК ЯКУТИИ И СОПРЕДЕЛЬНЫХ ТЕРРИТОРИЙ ВОСТОЧНОЙ СИБИРИ.

М.И. Антоненко
 
ГИПЕРКОРТИЦИЗМ БЕЗ СПЕЦИФИЧЕСКИХ КЛИНИЧЕСКИХ СИМПТОМОВ: ЭПИДЕМИОЛОГИЯ, КЛИНИКА, ДИАГНОСТИКА.

Н.Г. Веселовская "ПРОГНОЗИРОВАНИЕ РИСКА РЕСТЕНОЗА КОРОНАРНЫХ АРТЕРИЙ ПОСЛЕ ИХ СТЕНТИРОВАНИЯ У ПАЦИЕНТОВ С ОЖИРЕНИЕМ"

А.Г. Сыркина Ретроспективный анализ эффективности и безопасности тромболитической терапии острого инфаркта миокарда у больных пожилого и старческого возраста (диссертация на соискание учёной степени кандидата медицинских наук).

В. Леонов. Цели, возможности, и проблемы использования биостатистики в доказательной медицине. Доклад на Конференции по доказательной медицине в Ереване «От доказательной медицины к доказательному здравоохранению» (24 - 26 сентября 2015 года).

Фоторепортаж с семинара по биометрике в Ереване, прошедшего после конференции по доказательной медицине (24 - 26 сентября 2015 года).

Отзывы слушателей семинара по биометрике в Ереване в сентябре 2015 г.


1997 - 2019.© Василий Леонов. E-mail:

Доказательная или сомнительная? Медицинская наука Кузбасса: статистические аспекты.

Отклики читателей статьи "Доказательная или сомнительная?"

Возврат на главную страницу.

Возврат в КУНСТКАМЕРУ

Т. Кун "Структура научных революций"