Ректору Российского государственного
медицинского университета Н.И. Пирогова,
главному редактору журнала
«Бюллетень экспериментальной
биологии и медицины»,
академику РАМН, профессору
Ярыгину В.Н.
----------------------------------------------
117437, Москва,
ул. Островитянова, 1, РГМУ

Глубокоуважаемый Владимир Никитич!

Обращаясь к Вам, как к главному редактору журнала «Бюллетень экспериментальной биологии и медицины», я надеюсь, что проблема, которую я излагаю ниже, будет не безразлична для Вас и как для руководителя, который уже 20 лет возглавляет Российский государственный медицинский Университет, и как для эксперта Всемирной организации здравоохранения по вопросам медицинского образования, и как для члена ВАК РФ. Вначале позвольте представиться:  Василий Петрович Леонов, редактор электронного журнала БИОМЕТРИКА, доцент кафедры прикладной информатики факультета информатики Томского государственного университета. Область моих научных интересов на протяжении последних 20 лет – применение статистики в биологии и медицине; 6 лет назад создал сайт (http://www.biometrica.tomsk.ru ) БИОМЕТРИКА, на котором обсуждаются проблемы этой области знания. Публикую статьи на эту тему в таких изданиях, как «Бюллетень ВАК РФ», «Химия и жизнь», газета «Поиск», «Медицинская газета», «Международный журнал медицинской практики», «Кардиология», «Клиническая медицина», «Сибирский медицинский журнал», «Бюллетень сибирской медицины» и т.д. Если попытаться сформулировать проблему, по поводу которой я обращаюсь к Вам, то кратко её можно выразить так: сомнительность очень многих результатов экспериментальных биомедицинских исследований, публикуемых в журнальных статьях, диссертациях и книгах, вызванная крайне некорректным использованием методов статистики.  

О том, что в наше время статистике в биомедицинской науке все больше отводится роль инструмента «онаучивания» сомнительных результатов, я писал в статье «Об использовании прикладной статистики при подготовке диссертационных работ по медицинским и биологическим специальностям» (Бюллетень ВАК РФ, 1997, вып.5, с. 56-61). Через два года нашей статьей «В новый век - с доказательной биомедициной» (http://www.biometrica.tomsk.ru/poisk.htm) газета «Поиск» (№ 20 (522) 21 мая 1999) открыла обсуждение проекта «Положения о порядке присуждения научным и научно-педагогическим работникам ученых степеней». В ней вновь были рассмотрены причины такого положения, негативные последствия этого явления и система конкретных мер по его улучшению.

Одновременно текст данной статьи был направлен заместителю министра образования РФ,  председателю ВАК РФ академику Г.А. Месяцу. Привожу ответ ВАК РФ на наше обращение.
«Ваше письмо рассмотрено; считаю, что высказанная Вами позиция и Ваши предложения, безусловно, справедливы. ВАК России также серьезно обеспокоен потоком работ (и не только по биомедицинским специальностям), в которых приводятся сомнительные ссылки на применение методов статобработки результатов и "расчеты, выполненные с применением вычислительной техники". Идет поиск оптимального решения, но эта работа осложняется тем, что требуются серьезные материальные вложения и решения кадровых вопросов. Учитывая значимость проблемы, прошу Вашего согласия на размещение статьи "В новый век - с доказательной биомедициной" в "Бюллетене ВАК России" для ознакомления с ней широкой научной общественности.  Начальник отдела диссертационных советов, заместитель главного редактора "Бюллетеня ВАК России" Мамаев В. Л. ».

Многочисленные примеры статистических абсурдов, обнаруженных мною в журнальных статьях, защищенных диссертациях и книгах приведены в разделе КУНСТКАМЕРА (http://www.biometrica.tomsk.ru/kk.htm) сайта БИОМЕТРИКА. Авторы этих «экспонатов» не только начинающие исследователи, но и известные ученые, работающие в вузах России, НИИ РАМН и РАН. В этом письме невозможно дать даже краткую классификацию этой большой коллекции, поэтому позвольте привести лишь несколько одиозных выражений. «Вероятность случайности различий соответствует достоверности», «Математическую обработку проводили обычным способом с использованием компьютера», «Достоверность различия между средними арифметическими сравнениями устанавливалась по степени вероятности положительной гипотезы», «Достоверными считали различия с уровнем доверительной вероятности меньше 0,05» и т.д.
История возникновения данной проблемы восходит ещё ко временам академика Лысенко Т.Д. и описана в моей статье (http://www.biometrica.tomsk.ru/lis.htm ) «Долгое прощание с лысенковщиной». На  существование этой проблемы в отечественной медицине было указано еще полвека назад. Так в 1955 году сотрудник Института организации здравоохранения им. Н.А.  Семашко профессор А.Я. Боярский  выпустил в издательстве "Медицина" книгу "Статистические методы в экспериментальных медицинских исследованиях". Она была посвящена критическому анализу ошибок применения статистики в биологии и медицине в статьях таких журналов, как "БЮЛЛЕТЕНЬ ЭКСПЕРИМЕНТАЛЬНОЙ БИОЛОГИИ И МЕДИЦИНЫ", "Вестник офтальмологии" и "Журнал микробиологии, эпидемиологии и иммунологии" и т.д. Автор установил, что более половины (NB!!) проанализированных им статей содержат недостоверные выводы, что является следствием некорректного использования статистических методов. 

С появлением персональных компьютеров это явление в российских условиях приобрело еще большие размеры. Я не привожу здесь перечень основных причин этого явления, поскольку они перечислены в упомянутых наших публикациях. Следует отметить, что подавляющее большинство авторов журнальных статей,  диссертаций и книг ограничиваются лишь попытками сравнения средних величин, причем, чаще всего, делая это некорректно. При этом игнорируются принципы системного похода, предусматривающие помимо выделения структуры изучаемого объекта исследование взаимосвязей между элементами этой структуры. Достаточно подробно этот аспект обсуждается в моей статье «Наукометрика статистической парадигмы экспериментальной биомедицины» (http://www.biometrica.tomsk.ru/paradigma.htm ) - Вестник Томского государственного университета, № 275, апрель 2002 г., серия «Математика. Кибернетика. Информатика» стр. 17 –24.

В качестве примера такой некорректности позвольте привести цитату из статьи «Экспериментальное изучение иммунотропной активности фармакологических препаратов» (СОСТАВИТЕЛИ: академик РАМН Р.М.Хаитов, профессор И.С.Гущин, профессор Б.В.Пинегин, канд. мед.наук А.И.Зебрев. РЕЦЕНЗЕНТЫ: академик РАН и РАМН Р.В.Петров, член-корр. РАМН А.М.Егоров) опубликованной в разделе «Консультации» журнала Медлайн.Ру - РОССИЙСКИЙ БИОМЕДИЦИНСКИЙ ЖУРНАЛ (http://www.medline.ru/konsul/jur/8/). «Результаты экспериментов с опытной и контрольной группой должны быть обработаны и сравнены статистически с использованием t-критерия Стьюдента. Если вариационный ряд не несет черт нормального распределения, данные должны быть обработаны с помощью непараметрических методов». Авторы никак не аргументируют предлагаемый ими выбор критерия Стьюдента. Более того, вместо изложения методики проверки двух имеющихся ограничений на использование критерия Стьюдента, или ссылки на государственный или отраслевой стандарт, в конце концов, просто на вузовский учебник, авторы упоминают «черты нормального распределения». Подобную рекомендацию по своей сомнительности можно сравнить разве что лишь с известным выражением «лица кавказской национальности». Если проанализировать содержание основных российских журналов по медицине, то можно констатировать, что примерно половина статей содержат результаты применения критерия Стьюдента, без всякой аргументации корректности и возможности его использования. Другая же половина статей вообще не содержит никакого упоминания об использованных авторами статистических методах, однако при этом авторы приводят результаты их применения.

Являясь членом редакционной коллегии «Сибирского медицинского журнала», я провожу статистическое рецензирование поступающих в редакцию рукописей. В год мне приходится рецензировать 300-400 рукописей, половина из которых содержат ошибки использования методов статистики, вследствие чего эти рукописи отклоняются. В начале своего письма я сообщал Вам о коллекции КУНСТКАМЕРА (http://www.biometrica.tomsk.ru/kk.htm). Много «экспонатов» данной коллекции было обнаружено мною и в статьях журнала «БЮЛЛЕТЕНЬ  ЭКСПЕРИМЕНТАЛЬНОЙ  БИОЛОГИИ  И  МЕДИЦИНЫ» (http://www.biometrica.tomsk.ru/index_bebm.htm). Очевидно, что результаты, полученные с помощью сомнительных статистических манипуляций, не станут более надежными благодаря их публикации в периодических журналах, а далее в кандидатских и докторских диссертациях. В многочисленных письмах читателей сайта БИОМЕТРИКА выражается недоумение по поводу того, что журнал «БЮЛЛЕТЕНЬ  ЭКСПЕРИМЕНТАЛЬНОЙ  БИОЛОГИИ  И  МЕДИЦИНЫ» допускает публикации статей, выводы в которых основаны на результатах некорректно выполненного статистического анализа. В связи с этим позвольте задать Вам, как главному редактору данного журнала, следующий вопрос: «Проводится ли в Вашем журнале статистическое рецензирование поступающих рукописей, подобно тому, как это делается, к примеру, в таком всемирно известном журнале, как BMJ (British Medical Journal)?» 

Попытка обратить внимание на эту проблему руководства отечественной  биомедицины с помощью статьи «Куплю 500 диссертаций!» (http://www.biometrica.tomsk.ru/leonov_500.htm), опубликованной в «Медицинской газете» (№10 за 14.02.2001) не вызвала никакой ответной реакции ни у руководства РАН и РАМН, ни у руководства министерства здравоохранения. Для исправления этого положения мы предлагали в своих публикациях следующие меры:

1. Организация  независимой экспертизы биомедицинских диссертаций специалистами в области статистики на этапе апробации и на этапе защиты, включая требование к ведущей организации и оппонентам давать в отзывах на диссертацию квалифицированную оценку корректности статистических выводов, полученных диссертантом на основе экспериментальных данных.
2. Введение в состав диссертационных советов и экспертных советов ВАК РФ статистиков, имеющих практический опыт анализа биомедицинских данных.
3. Разработка и ввод в действие отраслевых стандартов по статистике в области здравоохранения и медицинской науки.
4. Создание в структуре организаций, занятых научными исследованиями в области биомедицины, специальных лабораторий биостатистики.

На эти публикации нам пришли сотни откликов, авторы которых поддерживали наши предложения, однако выражали обоснованное сомнение в том, что руководители вузов и НИИ, а также ВАК РФ заинтересованы в их реализации. Полагаю, что их сомнения имеют веские основания. К примеру, обсуждая эти предложения с ректором Сибирского государственного медицинского университета (г. Томск), членом-корреспондентом РАМН, профессором В.В. Новицким, я услышал от него такой ответ на эти предложения: «Как учёный – я «За», а как ректор – «Против».

Глубокоуважаемый Владимир Никитич! Буду весьма признателен Вам, если Вы сочтете возможным ответить на второй мой вопрос: «Считаете ли Вы, как ректор РГМУ, разумным реализацию приведенных выше 4 наших предложений»?

                Представляет интерес точка зрения  на эту проблему профессиональных медиков, являющихся сторонниками положений доказательной медицины. Вот как описывает эту проблему главный редактор "Международного журнала медицинской практики" С.Е. Бащинский, руководитель издательства Медиа-Сфера, выпускающего около 20 медицинских журналов. Приведу небольшую цитату из его статьи «Статистика умеет много гитик» (Международный журнал медицинской практики, 1998; №4, с.13-15. http://www.biometrica.tomsk.ru/gitiki.htm). «Все эти факты говорят об особой мифологической роли статистики в сознании авторов научных публикаций. По сути, эти клише представляют собой магические заклинания, служащие, по мысли авторов, «пропуском в науку». … Наверное, многие читатели знакомы с карточным фокусом, в основе которого лежит мнемоническое правило: «Наука умеет много гитик». Никто не знает, что такое «гитик», да это и не важно, поскольку достигается главная цель — благодаря звучной и легко запоминающейся фразе удается фокус или раскладывается пасьянс. Статистике в биомедицинских исследованиях отводится роль «гитик», звучные и непонятные авторам термины нужны для достижения основной цели — придания работе научного «веса», достаточного для опубликования в журнале или для защиты диссертации. Редакторы научных журналов, публикующие подобные статьи, вольно или невольно становятся соучастниками игры в научный «фокус»: в надежность результатов исследования изначально никто не верит, свидетельством его научности становится сам факт публикации, а важнейшим условием публикации — упоминание о статистических «гитиках». 

  Уместно задаться вопросом, почему биомедицинские диссертации, содержащие многочисленные результаты некорректного использования статистики, успешно проходят через диссертационные и экспертные советы ВАК РФ? Полагаю, что это есть результат отсутствия в них профессионалов, обладающих необходимыми знаниями в области биостатистики и опытом их применения. В результате решение о надежности выводов исследований принимается членами этих советов без учета результатов проверки адекватности использования авторами методов статистического анализа.

В данном контексте позвольте обратить Ваше внимание ещё на один аспект описываемой проблемы. «Положение о порядке присуждения ученых степеней … » (п.11) предусматривает обязательную публикацию основных научных результатов по докторским диссертациям в ведущих научных журналах и изданиях, перечень которых утвержден ВАК РФ. В очередной раз 08.06.2004 г. на необходимость этого обратил внимание руководителей диссертационных советов Главный ученый секретарь ВАК РФ В.Н. Неволин. В начале 2002 г. «Сибирский медицинский журнал», о котором я писал выше, был в данном Перечне под номером 498. Тогда как по состоянию на 19.08.2004 г. данный журнал уже значится в Перечне (сайт ВАК РФ http://vak.ed.gov.ru/help_mat/288/ ) под номером 768. Это говорит о том, что число таких журналов стремительно возрастает. В связи с этим хочу обратить Ваше внимание на публикацию в известном журнале Science: "Germany Gets in Step With Scientific Misconduct Rules". V. 296. N 5574. P. 1778. 2002. Приведу перевод небольших цитат из этой статьи.

«Спустя пять лет после крупного скандала о жульничестве, потрясшего научный истеблишмент, Германские университеты готовы вот-вот принять свои первые обязательные стандарты этики исследований. Университеты должны обеспечить выполнение этих новых  правил к концу этого месяца, в ином случае они рискуют, что их не будут считать имеющими право на получение грантов из главного исследовательского фонда страны, Deutsche Forschungsgemeinschaft  (DFG). Эти правила следуют международным нормам при определении научного должностного преступления или нарушения научной этики как "умышленной или грубо пренебрежительной фальсификации или фабрикации данных". Другими перечисленными серьезными должностными преступлениями являются введение в заблуждение, плагиат и ущерб исследованиям других. Возможные санкции включают лишение контрактов на исследования и аннулирование академических званий.  …  Правила о научных должностных преступлениях, о неэтичном поведении явились плодом многих разбирательств  после того, как основанная DFG группа нашла фальсификацию в дюжине статей, авторизированных парой исследователей рака Фридгельмом Германом  (Friedhelm Herrmann)  и Марион Брак (Marion Brach) (Science, 23 June 2000, p. 2106). Выявление умышленной или грубой небрежности при обработке или получении данных является трудным делом, как это печально известно. … По новым правилам, институты должны назначать независимого секретаря-омбудсмена, который будет инициировать проверки и в то же время прикрывать тех, кто поднял тревогу, "просигналил". Вдобавок, чтобы ускорить будущие расследования, новые правила устанавливают, что во всех случаях, когда это только возможно, первичные данные исследований должны сохраняться в течение десяти лет. Это "вероятно, одна из тех областей, где исследователи наиболее беспечны", говорит Иоханнес Дикганс  (Johannes Dichgans),  нейролог и омбудсмен в Университете в Тюбингене. Пренебрежение архивированием записей данных исследований или их умышленное разрушение должно было бы осуждаться как грубая небрежность и потому быть наказуемым». 

В этой связи уместно задаться вопросом о том, кем и каким образом, с какой периодичностью должен контролироваться уровень публикаций в научных журналах включенных в упомянутый Перечень? Обеспечивает ли институт рецензирования поступающих рукописей приемлемый уровень контроля качества публикуемого научного знания в журналах данного Перечня? Научные исследования и публикация их результатов производится за счет средств налогоплательщика, и потому общество вправе ожидать рационального расходования этих средств. С учётом нынешних экономических реалий вопрос этот становится все более актуальным, поскольку всякая недостоверная информация, в том числе и та, которая произведена в сфере науки и далее публикуется в научных журналах, является экономической категорией. Полагаю, что низкое качество публикуемой научной информации является одной из многих причин недостаточного вклада науки в отечественную экономику, о чем говорил президент РФ Путина В.В. на заседании объединенного Совета при Президенте России по науке, технологиям и образованию в октябре с.г.

Глубокоуважаемый Владимир Никитич! 22 июня с.г. в редакции журнала "Наука и жизнь", выступая в дискуссии на тему «ЗДОРОВЬЕ КАК НАЦИОНАЛЬНАЯ ИДЕЯ», Вы сказали (http://www.informnauka.ru/rus/2004/2004-07-02-041_138_r.htm): «Я считаю, что наше будущее - создание специализированных служб …, сейчас - время высоких технологий, и требования совсем иные». Полагаю, что это Ваше утверждение в полной мере можно отнести и к такой специфичной деятельности, как статистический анализ результатов экспериментальных наблюдений в биологии и медицине. Позвольте привести цитату из Вашей обзорной статьи «Стволовые клетки в медицине» опубликованной на сайте (http://www.medbiocomp.com/news/nospec.htm) «Консультационный центр "Стволовые клетки"». «Процедура официальной оценки результатов, полученных в доклинической фазе работы над препаратом, и получения разрешений на ограниченные и широкие клинические испытания, на использование препарата в клинической практике и на расширение показаний к его применению должна быть объектом государственного регулирования. Принятие соответствующих решений целесообразно поручить комиссии, состоящей из специалистов. Работа такой комиссии заключается в объективном рассмотрении представленных авторами препарата данных и принятии соответствующих решений, таких как разрешение начать ограниченные клинические испытания, решение о переходе к широким клинических испытаний и т.п.». Очевидно, что «объективное рассмотрение данных», которые по своей сути являются экспериментальными наблюдениями, требует использования методов статистического анализа.

В связи с этим позвольте задать Вам третий вопрос: Имеются ли в настоящее время действующие отраслевые документы, в которых содержатся требования об использовании государственных или отраслевых стандартов по статистике, со ссылками на номера и названия таких стандартов, при выработке «официальной оценки результатов», о которой идет речь в начале приведенной выше цитаты? Год назад, в интервью газете «Медицинский вестник» (http://www.medvestnik.ru/Gazeta/2003/13-14/p12.html), говоря о клеточных технологиях, Вы использовали очень верное выражение «Фактически мы вывели эту проблему из тени, из зоны кулуарных разговоров…». Мой четвертый, и последний, вопрос к Вам, будет такой: «Считаете ли Вы, как ректор РГМУ, эксперт ВОЗ и член ВАК РФ,  что пора «выводить из тени» проблему некачественного использования методов статистики в отечественной биологии и медицине»?

Глубокоуважаемый Владимир Никитич!

Многолетние усилия привлечь внимание руководителей отечественной биомедицинской науки и образования к обсуждаемой проблеме пока не принесли должных результатов. В настоящее время я готовлю новую публикацию на эту же тему в одном из центральных российских изданий. В этой публикации я хотел бы обсудить и ответы на аналогичные обращения направленные ряду должностных лиц, которые имеют самое прямое отношение к обсуждаемой проблеме, либо прокомментировать отсутствие таких ответов от них.

Учитывая Ваш многолетний опыт как ректора РГМУ, эксперта ВОЗ и члена ВАК РФ, и считая Вас лицом, заинтересованным в повышении качества медицинской науки и образования, я счёл возможным направить данное обращение и в Ваш адрес, задав в нём четыре конкретных вопроса. Буду искренне Вам благодарен, если Вы сочтете приемлемым для себя не проигнорировать моё обращение, а дать исчерпывающие и аргументированные ответы на эти вопросы. Полагаю, что Ваши ответы будут также интересны и читателям журнала БИОМЕТРИКА.

С уважением,                                 

Леонов В.П.

634050, г. Томск, пр. Ленина, 36,
Томский государственный университет,
факультет информатики.