В.П. Леонов*, П.В. Ижевский**

*Факультет информатики Томского государственного университета, Томск**
Государственный научный центр РФ — Институт биофизики, Москва

   Проанализирована адекватность применения статистических методов более чем в 1500 статьях, опубликованных в 1987—1997 гг. в журналах “Кардиология”, “Радиационная биология. Радиоэкология”, “Медицинская радиология и радиационная безопасность”, “Бюллетень экспериментальной биологии и медицины”, “Проблемы эндокринологии”, “Клиническая медицина” и “Международный журнал медицинской практики”, и более чем в 250 диссертациях на соискание ученой степени кандидата или доктора медицинских и биологических наук, защищенных в тот же период.    

Методы статистического анализа данных использованы в 85% работ.   Отсутствует стандартизация их описания. В большинстве работ используется только t-критерий Стьюдента без проверки условий правомерности его применения. В каждой второй работе не сообщается, какими статистическими критериями проверены статистические выводы. В 80% работ использован один статистический метод, в 15% — 2 метода, по три и более методов использовано в единичных работах. Крайне редко используются непараметрическая и многомерная статистика. Некорректность применения статистики делает весьма сомнительными, а иногда просто несостоятельными выводы ряда работ.

Ключевые слова: статистика в медицине и биологии, биостатистика, биометрия, описание статистических методов, t-критерий Стьюдента, правила оформления статей.

    В последние 20—30 лет медицина и биология вступили в новую фазу своего развития. Накопление огромных массивов количественных данных и доступность вычислительной техники усилило математизацию биологии и медицины. История науки позволяет выделить следующие этапы развития, обусловленные доминирующей методологией и уровнем познания предмета исследования: эмпирический этап, характеризующийся накоплением и описанием фактов, частичной их систематизацией; теоретический этап — анализ и синтез накопленных фактов в виде отдельных концепций, объединяющихся в относительно непротиворечивые теории; наконец, количественный, математический этап — на базе накопленных фактов исследуются количественные закономерности, создаются математические модели исследуемых явлений и объектов.

     Чтобы убедиться в этом, достаточно пролистать диссертации и журналы биомедицинской тематики — в подавляющем большинстве работ авторы используют в том или ином объёме методы статистики. При этом роль используемых статистических методов двояка: с одной стороны, они помогают обнаруживать ранее неизвестные закономерности, с другой стороны, с их помощью авторы проверяют достоверность априорно формулируемых гипотез.

  Специфика научного исследования заключается в том, что использование автором неадекватного метода даже на одном из этапов работы лишает его выводы достоверности. Подобно тому как при использовании лекарственных препаратов существуют противопоказания к их применению, так и для применения статистических методов на этапе анализа данных существуют аналогичные ограничения. Очевидно, что учёт этих ограничений требует от автора основательной подготовки в данной области знания. Если же учесть, что в дальнейшем выводы автора превращаются в рекомендации и методики по лечению больных, в конкретные решения о применении тех или иных лекарственных препаратов, мер профилактики и т.д., то становится ясно, как ответственно и педантично должны применяться методы статистики в медицине и биологии.

   Неграмотное применение статистических методов превращает их в средство придания наукообразности декларируемых автором утверждений, что может нанести огромный вред не только науке, но и вполне конкретным больным. Такие утверждения, опубликованные в диссертации (статье), можно сравнить с ошибочным врачебным диагнозом. Усиление роли научных принципов в медицинских исследованиях привело к появлению в 80-х годах так называемой “научно-доказательной медицины” (evidence-based medicine) [1]. За рубежом созданы факультеты эпидемиологии и биостатистики, Международное общество клинической биостатистики (ISCB), разработаны рекомендации по представлению результатов клинических испытаний (Consolidated Standards of Reporting Trials — CONSORT), функционируют подразделения по стандартизации медицинской информации и т.д. Проблема некачественного использования методов статистики в диссертационных работах по биомедицинской тематике уже привлекла внимание ВАК РФ [2], и надеемся, что в ближайшее время следует ожидать принятия решительных мер по исправлению этого положения.

   “Конечный результат медицинского исследования, стоившего миллионы рублей, — публикация 3—5-страничной статьи в профессиональном медицинском журнале. Становится ясной озабоченность общественности качеством научных журнальных публикаций” [3]. Важнейшие компоненты качества научных публикаций — корректность применения методов статистики при анализе наблюдений и полнота описания данного анализа. Недооценка этого приводит к тому, что неполные или некорректные описания делают исследования в глазах читателей либо поверхностными, либо недостаточно достоверными. В среде учёных, занятых биомедицинскими исследованиями, язык статистики становится таким же международным языком, как и английский. 

   Научная публикация не только закрепляет за авторами сообщения приоритет полученных результатов, но и даёт читателю возможность сравнить выводы, приведенные в публикации, со своими собственными результатами. Для этого в работе должен быть необходимый минимум статистической информации, позволяющий читателю провести такое сравнение [4]. Кроме того, для многих читателей статьи и диссертации имеют самостоятельную ценность — как материал для повышения квалификации. Это требует ясного и полного изложения методов анализа и интерпретации результатов исследований.

    Цель данной работы — квалиметрический анализ описания и использования методов прикладной статистики в биомедицинских статьях и диссертациях на соискание учёной степени кандидата (доктора) наук периода 1987—1997 гг.

  Оценивались оригинальные статьи (кроме передовых, или редакционных статей, обзоров и лекций) из журналов “Кардиология”, “Радиационная биология. Радиоэкология”, “Медицинская радиология и радиационная безопасность”, “Бюллетень экспериментальной биологии и медицины” (БЭБМ) и “Клиническая медицина”, опубликованные в период 1987—1997 гг. Кроме того, выполнен выборочный анализ отдельных номеров журналов “Проблемы эндокринологии” и “Международный журнал медицинской практики” за этот же период. Всего проанализировано 1538 статей, 53 диссертации на соискание ученой степени доктора наук и 206 диссертаций на соискание ученой степени кандидата наук.  

    Основные научные специальности и направления исследований проанализированных публикаций — кардиология, онкология, фармакология, генетика, психиатрия, курортология и физиотерапия, нормальная и патологическая физиология, педиатрия, внутренние болезни, биохимия, хирургия, анестезиология и реаниматология, аллергология и иммунология, лучевая диагностика и лучевая терапия, акушерство и гинекология, эндокринология, ботаника, ихтиология, радиобиология и радиоэкология, физиология растений и т.д. (всего 23 специальности). Оценка статей и диссертаций проводилась с точки зрения адекватности статистических методов целям и задачам исследования, частоты применения различных статистических методов и корректности их описания.

Описание методов статистического анализа в статьях и диссертациях

    В 25% работ использованные статистические методы и критерии вообще не упоминаются. Большинство таких работ изобилуют выражениями типа “р<0,05” или “р<0,01”. Однако нигде в тексте не сообщается, к каким конкретно статистическим критериям относятся данные вероятности. Между тем, эти выражения — “... суть пропуск в популяцию, знаки того, как выводы статьи будут “работать” в генеральной совокупности” [5]. В 56 статьях 11 номеров БЭБМ за 1997 г., где использовалось выражение “р<0,05”, не упоминается использованный статистический критерий. В контексте описываемых задач выражение “р<0,05” может быть получено только при использовании конкретных статистических критериев, например t-критерия Стьюдента, критерия Хи-квадрат, и т.д.

   Отсутствие в статье указаний на использованные критерии позволяет предположить, что авторы либо не считают эту информацию достаточно важной, чтобы приводить её в статье или диссертации, либо же не приводят её, исходя из других мотивов. Отметим, что полное отсутствие описания использованных методов статистики характерно не только для работ последнего десятилетия, но и для более ранних работ.

     В большинстве работ авторы не раскрывают наименование и смысл величины “р”, видимо полагая, что читатели вполне однозначно смогут интерпретировать указанные значения “p”. Часть авторов подразумевает под “p” уровень значимости, тогда как в других статьях “p” выступает как уровень доверительной вероятности. Поскольку авторы не идентифицируют значение “p” однозначно, часто невозможно определить конкретный смысл величины “p”.

    Оставшаяся часть работ содержит в той или иной форме описание использованных методов статистического анализа. В большинстве таких работ они упоминаются в разделе “Материалы и методы”. При этом описание статистических методов и критериев даётся в форме шаблонных клише с весьма расплывчатым содержанием. Можно выделить три группы подобных клише. В первой группе (45% всех работ, содержащих описания) с разными вариациями просто констатируется факт использования статистических методов. Характерны следующие описания: “Результаты обработаны статистически”, “Обработку данных проводили статистическими методами”, “Результаты обработаны методом (общепринятыми методами) вариационной статистики”, “Результаты обработаны стандартными методами (программами) статистики”, “Результаты опытов обработаны статистически общепринятым способом, различие считали при уровне вероятности не менее 95%” и т.д.

    Что подразумевается под стандартными (общепринятыми) методами и программами, читатель может лишь догадываться. Попытайтесь представить подобное описание методики лечения: “Больных лечили стандартным (общепринятым) способом...”, не упоминая при этом сам стандарт.

    Отметим также, что от термина “вариационная статистика” целесообразно отказаться, так как он содержит элементы тавтологии (статистический метод обязательно предусматривает и изучение вариации). Нет аналогичного термина и в зарубежной литературе, где еще с начала века используется термин “биостатистика”.

    Для второй группы (30% работ) характерно наличие более конкретных деталей: фамилии автора руководства по статистике; статистического критерия; одного или двух статистических параметров; типа ЭВМ или названия пакета программ. Например: “Материал обрабатывали статистически по методу Лакина”, “Статистический анализ проводили по В.Ю. Урбаху”, “Статистическую обработку проводили методом доверительных интервалов с использованием таблиц Стрелкова”, “Достоверность значений определяли по t-критерию Стьюдента”, “Достоверность оценивали по среднеквадратичному отклонению усредненных значений параметров”, “Статистическую обработку проводили методом определения среднего квадратического отклонения от средней величины”, “Статистическая обработка материала произведена с использованием мини-ЭВМ “Искра-1256”, “Полученные данные обрабатывали статистически с помощью вычислительной машины НР-86Т по стандартным программам”.

     Для читателя ссылка на определенную фамилию (Лакин, Урбах, Стрелков) ни о чём не говорит, поскольку в книгах данных авторов описано много разнообразных методов. Что, например, сможет узнать врач о методике лечения больных, из ссылки: “Лечение назначалось по Машковскому и Видалю...”? При этом только в половине работ, где упоминаются конкретные критерии или фамилии, имеются ссылки на литературу. В остальных работах никаких ссылок не приводится. В случае применения достаточно известных статистических методов (например, t-критерия Стьюдента) отсутствие подобной ссылки не так уж важно. Однако, если автор использует не столь популярный метод или критерий, такую практику вряд ли можно считать приемлемой.

   Иногда просто отмечается факт использования вычислительной техники. В большинстве статей и диссертаций даётся конкретное наименование таких технических средств. При этом использование программируемых микрокалькуляторов не следует рассматривать как признак низкого качества анализа данных. Выбор вычислительной техники определяется многими причинами, в том числе объёмом анализируемых данных и реальными задачами исследования. На программируемых микрокалькуляторах возможно выполнение как простейшей оценки выборочных характеристик, так и достаточно сложного статистического анализа [7].

    Важно другое — нередко наблюдается “ ... несоответствие средств и цели, применение слишком сложной методики там, где в ней нет надобности. Из пушек начинают стрелять по воробьям, причем нередко не попадают в воробьев.  Бывает и так, что из пушек стреляют, не ставя перед собой никакой цели, просто потому, что завели пушки” [9]. Так, в некоторых работах упоминается об использовании системы статистического анализа SAS — одного из мощнейших средств анализа данных, и в то же время в работе использовались небольшие (порядка одного-двух десятков) выборки, оценивались только отдельные характеристики и применялся только t-критерий Стьюдента.

     Многие авторы выполняли статистический анализ, используя такие популярные в свое время средства вычислительной техники, как ЭВМ СМ-4 или “Искра-1256”. В последние годы всё чаще упоминаются персональные компьютеры, но обычно этим и ограничивают описание методики статистического анализа экспериментальных наблюдений. Видимо, упоминание персонального компьютера авторы считают своеобразным “знаком качества”, который гарантирует достоверность и надежность декларируемых выводов. Эта позиция отражает весьма опасный миф, бытующий среди медиков и биологов: “ЭВМ не ошибается”, что звучит как “жена Цезаря вне подозрений”. При этом путают два понятия: надёжность персональных компьютеров и их производительность с правильностью полученных с помощью компьютера результатов анализа. Между тем это совершенно разные вещи, поскольку для получения верного результата статистического анализа должны быть выполнены многочисленные условия, о которых авторы чаще всего либо не знают, либо не проверяют их. Как ни странно, подобные описания более характерны для докторских диссертаций.

    Очевидно, что информация о типе ЭВМ является излишней и её не имеет смысла приводить в диссертации или статье. Более же необходимо упоминание о конкретных статистических методах и пакетах программ. Хотя применение хорошего пакета программ и не гарантирует правильность полученных результатов, тем не менее читатель может хотя бы сопоставить результаты, приведенные в работе, со своими собственными, если те и другие были получены с применением одного и того же пакета программ. Особенно это относится к тем случаям, когда используются развитые системы статистического анализа с собственным языком программирования, например пакет SAS. Однако в проанализированных работах конкретный тип статистической программы был указан примерно в 3% работ. Наиболее часто упоминаются пакеты STATGRAPHICS, CSS, SPSS, SuperCalc и Microsoft Excel.

   Третья группа проанализированных работ (примерно 25%) содержит достаточно безграмотные, а подчас и просто абсурдные сочетания перечисляемых терминов или критериев. В таких описаниях авторы часто вводят собственную терминологию, не раскрывая в тексте работы содержания и смысла используемых терминов, либо употребляют известные в статистике термины в иных, не раскрываемых ими значениях: “Группы сопоставляли при доверительном коэффициенте 95%”, “Доверительный интервал рассчитан для 95% уровня значимости”, “Подсчёт среднего количества М ± m производили по методу Стьюдента”, “Статистическую обработку данных осуществляли с помощью t-критерия Стьюдента при р > 0,05”, “Статистическую обработку данных осуществляли по методу Стьюдента с применением критерия Хи-квадрат”, “Достоверность различий между отдельными контингентами лиц определяли по критерию Фишера”, “Результаты обрабатывали статистически с определением средней арифметической, стандартной ошибки и доверительного интервала при р<0,05”, “Достоверными считали различия с уровнем доверительной вероятности меньше 0,05”, “Корреляционный анализ проводили путем сравнения двух групп с помощью критерия t”.

    Такой стиль описания наиболее характерен для публикаций в журналах БЭБМ и “Кардиология”. Когда в подобных описаниях перечисляется сразу несколько методов или критериев, то при упоминании полученного статистического вывода, как правило, приводится только выражение типа “р < 0,05” без указания использованного критерия. Отсутствие такой информации не позволит воспроизвести подобный анализ данных в аналогичном исследовании. Кроме того, читатели не смогут оценить адекватность выбранного метода анализа и, соответственно, надёжность и достоверность сформулированных автором выводов.

   В большинстве диссертаций описание использованных статистических методов занимает от 2 до 10 предложений, т.е. не более половины машинописного листа. Лишь в нескольких диссертациях такое описание занимало от 3 до 7 страниц.  Как правило, в этих работах авторы сообщают о том, что статистический анализ проводился при участии профессионального биостатистика. Далее перечисляются многочисленные методы анализа, используемые статистические пакеты и критерии, оцениваемые параметры выборок и т.д. Внимательное изучение таких описаний обнаруживает наличие двух стилей изложения, что порой приводит к противоречиям, обнаружить которые под силу только опытному специалисту по биостатистике.

   Так, на с. 56 диссертации “Особенности эпидемиологии и профилактики артериальной гипертензии среди работников предприятий химической промышленности” (1989 г.) описание выглядит следующим образом: “Математическая обработка результатов эпидемиологического исследования проводилась на ЭВМ ЕС-1035 при помощи пакета прикладных программ BMDP с участием квалифицированного математика-программиста (далее следует место работы, должность и фамилия специалиста). Достоверность различия изучаемых признаков оценивалась по t-критерию Стьюдента с использованием математико-статистических таблиц значения t при данном числе степеней свободы и величине вероятности р”.

   Рядовой читатель может не заметить в этих предложениях противоречия. Между тем специалист, имеющий опыт работы с пакетом BMDP или с его русскоязычной версией СОМИ (Статистическая Обработка Медицинской Информации), сразу же обнаружит это противоречие. Ведь в пакетах программ BMDP и СОМИ [8, 10] программа P3D (сравнение двух групп с помощью t-критерия Стьюдента) имеет весь необходимый сервис: вычисляет и значение самого t- критерия Стьюдента, и число степеней свободы, и достигнутый уровень значимости. Таким образом, пользователю остается только сравнить вычисляемое программой значение “р” с задаваемым им самим уровнем значимости. Предположим, исследователь задал этот уровень равным 5%. Тогда, если значение достигнутого уровня значимости, вычисленное программой P3D для критерия Стьюдента, окажется меньшим 0,05, нулевая гипотеза о равенстве генеральных средних будет отвергнута*.  Возникает вопрос, зачем же тогда использовать “математико-статистические таблицы”, если никакой необходимости в этом нет?

   В отдельных диссертационных работах наблюдается чрезмерное количество библиографических ссылок на источники с описанием математических методов. Встречаются ссылки на такие математические монографии, восприятие содержания которых под силу математику, но проблематично для специалиста с медицинским образованием. Другие авторы либо полностью игнорируют ссылки на литературные источники с описанием использованных методов статистики, либо приводят только одну ссылку на такой источник. При этом, как правило, общий список литературы достаточно велик. Например, в диссертации “Роль опиоидной системы в регуляции аритмогенеза и механизмов адаптационной защиты сердца при стрессе” (1996 г., специальность 14.00.16 — патологическая физиология) автор привел на 127 страницах ссылки на 997 литературных источников. Из них только одна работа относится к описанию методов статистического анализа данных. Однако сравнение использованных в работе статистических методов с цитированным источником не позволяет понять авторскую методологию проведённого анализа и оценить адекватность и достоверность декларируемых автором научных выводов.

    Уровень профессиональной подготовки авторов публикаций, вероятно, несколько выше среднего уровня основной массы читателей; понятно, как мало могут почерпнуть для себя читатели из подобных описаний. С другой стороны, авторы работ, редакции журналов и диссертационные советы, зная, что “...многие читатели медицинских журналов ... не знакомы с основами медицинской статистики” [3], полагают, что и такой уровень описания не вызовет аргументированного протеста у потребителя некачественной информации.

  Можно сказать, что подобный “новояз” хорошо иллюстрирует известную фразу М.В. Ломоносова: “Смутно пишут о том, о чем смутно представляют”.  Возникает ощущение, что целью авторов является не детализация выполненного исследования, а попытка с помощью магии известных фамилий, статистической терминологии и наименований компьютеров придать работе более респектабельный и весомый вид, убедить читателей, рецензентов, членов диссертационного совета или редколлегии, а возможно и самих себя, в достоверности декларируемых научных выводов.

Статистические методы и критерии, используемые чаще всего

   Практика экспериментальных исследований вырабатывает определённые представления о способах статистического анализа, которые де-факто становятся стандартными в соответствующих областях. Из таблицы видно, что такой стандарт стихийно сложился и для биомедицинской тематики. В 85% статей и диссертаций характеристики выборок приведены в виде М ± m. Только в 25 работах даны примерно такие объяснения: “Все значения представлены в виде средней ± стандартное отклонение” либо “Выборочные характеристики представлены в виде средней ± ошибка средней”. Большинство авторов вообще никак не уточняет смысл выражения М ± m. Между тем сравнение выражений М ± m для одних и тех же переменных из различных работ показало, что если значения М достаточно близки, то значения m отличаются порой в 5—8 раз.

  Это позволяет предположить, что ряд авторов подразумевает под m стандартное (среднеквадратичное) отклонение SD (Standard Deviation), тогда как другие — стандартную ошибку средней (Standard Error of Mean) SEM=SD/(корень квалратный из n), где n — объём выборки. В пользу этого предположения говорит и тот факт, что для ряда переменных нижняя граница 95% доверительного интервала для М, вычисленная с использованием m, принимала отрицательное значение, что противоречило смыслу этих переменных, средние значения которых по своей природе не могли быть нулевыми или отрицательными. Опрос более 200 исследователей о смысле выражения М ± m показал, что значение “М” все понимают как среднюю, под “m” 50% опрошенных понимали среднеквадратичное отклонение SD, 40% — стандартную ошибку средней SEM, а 10% — полуширину доверительного интервала.

    В 79% работ при описании результатов статистического анализа авторы использовали выражение “р <... ”, обычно в виде “р < 0,05”. Наличие этого выражения означает, что произведена проверка неких статистических гипотез: равенство генеральных средних, равенство коэффициентов корреляции, проверка адекватности уравнения регрессии и т.д. Однако для проверки одной и той же гипотезы могут быть использованы разные статистические критерии. Правильный выбор критерия должен определяться спецификой данных и проверяемых гипотез. К сожалению, в каждой второй работе вообще отсутствует упоминание об использованных статистических критериях проверки выдвигаемых гипотез. Например, приводятся значения M ± m для сравниваемых групп и указывается “р<0,05”, но ничего не сообщается об использованном критерии проверки гипотезы о равенстве групповых средних. Между тем эта информация имеет принципиальный характер для оценки истинности декларируемых выводов.

  В настоящее время редко кто вручную выполняет все вычисления, необходимые для проведения статистического анализа экспериментальных данных. Большинство авторов используют разнообразные пакеты программ. Однако в компьютерных пакетах программ при проверке статистических гипотез производится не только вычисление значения статистического критерия (t-критерия Стьюдента, критерия Фишера, критерия Хи-квадрат и т.д.), но и непосредственно вычисляется достигнутый (критический) уровень значимости для оценки используемого критерия. Рассмотрим пример. В первом случае достигнутый уровень значимости р = 0,04, а во втором случае р = 0,0004.  Если использовать выражение “р < 0,05”, то разница между степенью уверенности в отклонении нулевых гипотез в первом и втором случаях нивелируется (см. Прим. ред.). Поэтому целесообразнее указывать конкретное значение достигнутого уровня значимости для использованного статистического критерия. Отметим, что смысл выражений типа “р < 0,05” также понимается исследователями в области медицины и биологии по-разному и подчас совершенно неверно.

    Как видно из таблицы, доминируют методы, разработанные 50 и более лет тому назад [11]. Лишь в единичных работах используются такие современные методы, как факторный, дискриминантный и кластерный анализ [10, 12, 16]. Не используются методы, разработанные в последние 10—15 лет, такие как многомерное шкалирование и корреспондентский анализ [12—13], анализ аллометрических уравнений [14], нелинейные преобразования шкал с максимизацией средней величины коэффициента корреляции (MAC) [15] и многие другие мощные методы анализа данных [16].

Таблица. Частота применения основных статистических параметров и критериев

Заключение

    Мы не стремились дать абсолютно исчерпывающий обзор по данной проблеме, да это и невозможно, учитывая огромное количество защищаемых в России диссертаций и большой перечень журналов по биомедицинской тематике. Наша цель — привлечь внимание специалистов и руководителей медицинской и биологической науки, учреждений высшей школы, неравнодушных и заинтересованных в повышении эффективности научных исследований в этих областях, к давно назревшей проблеме и легализовать её. Следует отчетливо понимать, что важен не только чисто экономический, но и морально-этический аспект данной проблемы. В условиях уменьшения финансирования здравоохранения, снижения рождаемости и сокращения продолжительности жизни населения страны биомедицинская наука должна резко поднять экономическую эффективность исследований за счет повышения достоверности и точности результатов как неотъемлемых атрибутов научного знания. Очевидно, что без участия профессиональных биостатистиков добиться этого невозможно.

   В последующих сообщениях мы планируем рассмотреть следующие аспекты применения статистического анализа в диссертациях, монографиях и статьях по медицине и биологии:

История применения статистики в российской биологии и медицине.

Проблемы взаимодействия “автор — редакция — читатель”.

Требования редакций журналов к описанию статистических методов.

Принципы описания статистических методов.

Коварный t-критерий Стьюдента.

Исследование взаимосвязи между признаками и наблюдениями.

Анализ некоторых типичных статистических некорректностей.

Причины кризиса и пути его устранения.