Результаты аналогичных исследований других авторов

Результаты аналогичных исследований других авторов

Нам неизвестны аналогичные ни отечественные, ни зарубежные исследования, выполненные на материале диссертаций и монографий в области медицины и биологии. Однако исследования на материале журнальных публикаций периодически проводятся как отечественными, так и зарубежными авторами. Ниже мы приведем результаты нескольких подобных отечественных исследований. Так, достаточно известны два детальных исследования журнальных статей, инициированные известным российским статистиком, философом и методологом науки профессором МГУ В.В. Налимовым. Результаты первого из этих исследований были опубликованы в [69]. В работе изучалось состояние математизации в психиатрии. Авторы обсудили содержание обзора по использованию математических методов в психиатрии, и провели сравнение содержания "Журнал невропатологии и психиатрии им. С.С. Корсакова" за 1979-1981гг. и за 1987г. с 597 статьями, опубликованными в 1980г. в трех ведущих англоязычных психиатрических журналах (АПЖ): American Journal of Psychiatry, British Journal of Psychiatry и Archives of General Psychiatry. Основные результаты этого сравнения приводятся в табл.4. Делается вывод о том, что существенно различаются по степени математизации англоязычные и русскоязычные статьи по психиатрии.
Для иллюстрации этого утверждения мы приводим ниже одну из таблиц данной работы. Приведенные результаты сравнения столь очевидны, что не нуждаются в дополнительных комментариях. Обращает на себя внимание, что для отечественных публикаций структура распределения осталась практически неизменной на протяжении всего периода с 1979 по 1987гг. Отметим, что в группе 4 под "методом Фишера" подразумевается разработанный им дисперсионный анализ (ANOVA), а в группе 8 при наборе видимо была допущена опечатка: вместо "некоррекционными" должно быть "некорреляционными". В пользу этого предположения говорит и тот факт, что в статье [70] в аналогичной таблице авторы использовали слово "некорреляционными".

Таблица 4. Распределение публикаций в психиатрических журналах по годам [69]

Категория статей
Характеристики статей и используемые в них статистические методы
АПЖ
Журнал невропатологии психиатрии им. С.С.Корсакова

1980 1979 1980 1981 1987

1 Описательные и обзорные сообщения 28 94 101 95 93

2 Краткие сообщения без статистических данных 129 37 50 43 47

3 Описательная статистика: таблица, графики, средние, вариабельность 90 35 45 43 55

4 Хи-квадрат, t-тесты, метод Фишера 236 30 29 38 52

5 Корреляционные методы 94 3 7 7 10

6 Частотный анализ, F-тест 79 1 0 0 1

7 Непараметрические ранговые методы 36 0 0 0 1

8 Измерение связей некоррекционными методами 32 0 1 0 0

9 Регрессионный анализ 25 0 0 0 2

10 Дискриминантный и факторный анализ 17 1 2 1 1

11 Оценки максимальной вероятности, интервальные оценки 5 0 0 0 0

12 Кластер-анализ, классификации 2 0 1 0 1

13 Анализ "выживаемости" 3 0 0 0 0

14 Сериальный и спектральный анализ 3 0 0 0 0

15 Планирование эксперимента: латинские квадраты, иерархические модели 4 0 0 0 0

16 Байесовы методы 1 0 0 0 0

Спустя 6 лет данное исследование было продолжено уже в другом авторском составе и его результаты приведены в [70]. "В настоящее время в России существует уже несколько новых психиатрических журналов, существенно расширился диапазон публикаций, исследовательская психиатрия оснастилась компьютерами, с помощью которых легко использовать пакеты стандартных статистических программ. Можно было ожидать существенного расширения использования математических методов. Проверка этого предположения и стала главной целью настоящего исследования"[70]. Для проведения исследования авторами был выбран журнал "Социальная и клиническая психиатрия" (СКП). "Главная трудность анализа использования количественных методов в СКП лежит вне математики, в смысловой организации большей части работ, в их семантике. Это, прежде всего - нечеткость формулировки цели и задач, как работы в целом, так и отдельных ее фрагментов, в частности статистических, которые часто даются без какой-либо мотивировки и последующего обсуждения, то есть, используются формально. Последнее, особенно наглядно в тех работах, где существовал раздел "материалы и методы". В этом разделе иногда не было даже упоминаний о методах математической статистики, которые затем появлялись в тексте без какого-либо объяснения. Если же указания на такие методы и были, ни в одной работе не встретилось объяснения, почему выбраны именно эти методы, а не другие, и что с их помощью предполагалось получить"[70]. Результаты этого достаточно глубокого и беспристрастного анализа представлены авторами в виде графика и таблицы, которая приведена ниже.

Таблица 5. Использование статистических методов в публикациях психиатрических журналов [70]

АП ЖК СКП Отличие от АП

Характер методов 1980 1979-1981 и 1987 1991-1995 ЖК
P <
СКП
P <

1 Описательные сообщения и обзоры 157 500 225 0,0001 0,0001

2. Описательная статистика: таблицы, графики, средние, вариабельность 90 178 113 0,0001 0,0001

3. хи-квадрат, t-тесты, метод Фишера 236 149 67 0,0001 0,0001

4. Корреляционные методы 94 27 6 0,0001 0,0001

5. Частотный анализ, F-тест 79 2 1 0,0001 0,0001

6. Непараметрические ранговые методы 36 1 0 0,0001 0,0001

7. Измерение связей некорреляционными методами 32 1 0 0,0001 0,0001

8. Регрессионный анализ 25 2 5 0,0001 0,001

9. Дискриминантный и факторный анализ 17 5 2 0,05 0,05

10. Оценки максимальной вероятности, интервальные оценки 5 0 1 0,01 ____

11. Кластер-анализ, классификации 2 2 0 ------ ------

12. Анализ "выживаемости" 3 0 0 0,05 0,05

13. Сериальный и спектральный анализ 3 0 0 0,05 0,05

14. Планирование эксперимента: латинские квадраты, иерархические модели 4 0 0 0,01 0,05

15. Байесовы методы 1 0 0 ------ ------

16. Всего статей 784 867 420

АП - англоязычные журналы (Amer. J. Psychiat., Archives Gen. Psychiat.)

ЖК - Журнал невропатологии и психиатрии им. С.С.Корсакова

СКП - Социальная и клиническая психиатрия

"Прежде всего, обращает внимание резкое доминирование t-оценок в статьях СКП, которые почти полностью исчерпывают категорию 3 (см. таблицу) в отличие от АП, где широко используется метод хи - квадрат и дискриминантный анализ. Существенно отметить и то, что метод Стьюдента используется в статьях СКП без какого-либо его анализа его приложимости. Между тем этот метод разработан для показателей, имеющих нормальное... распределение, тогда как количественные данные некоторых статей показывают, что это условие не выполняется. А это значит, что неприменима не только t-статистика, но также вычисление средней величины... . Большинство статей, где используется t-статистика, имеет многофакторную структуру. В подавляющей части таких работ предполагалось обнаружить зависимость одного (например, прогноза) или нескольких явлений (например, диагностические группы) от каких-либо нескольких факторов (клинических, лабораторных, социальных и других или от типов течения определенной нозологической формы). Казалось, было очевидным решить эти задачи с помощью многофакторных математических методов, таких, например, как дисперсионный, факторный, дискриминантный, кластерный анализ или множественная регрессия. Однако за редчайшим исключением авторы опираются на t-статистику, иногда умножая ошибки, указанные в пункте "а"[70]. Далее авторы обращают внимание читателей на то, что "...поражает разрыв между трудоемкостью ... исследования и простотой статистической обработки многопараметрических результатов, основанной на t-статистике, которая не вполне адекватна задаче исследования". В качестве иллюстрации этого утверждения приведем пример из нашего исследования, содержащий ссылки всего лишь на две докторские диссертации. Так, в диссертации "Роль гемопоэзининдуцирующего микроокружения в регуляции кроветворения при действии на организм миелоингибирующих факторов. Принципы фармакологической коррекции"(14.00.16 - пат. физиология, 1994г.) автор сообщает "Всего было использовано 1418 мышей-самцов линии СВА и 120 мышей-самцов линии С57В1/6". Однако все выводы построены только на использовании t-критерия Стьюдента без проверки возможности его использования. В другой диссертации "Влияние нарушения кислотно-щелочного равновесия на динамику раннего постреанимационного периода" (14.00.16 - пат. физиология, 1993г.) автор сообщает, что в работе было использовано 692 беспородных крысы и 531 кролик. И вновь все выводы построены только на применении t-критерия Стьюдента без проверки возможности его использования. Список подобных примеров мог бы занять несколько страниц. Авторы [70] отмечают, что "... большую группу составили работы, в которых статистика или вовсе не использовалась или была представлена только числовой характеристикой некоторых показателей. ... В одной из работ описывается воздействие 9 факторов и 24 возможных исхода для выявления связи между ними. Однако статья не содержит ни количественных данных, ни тем более их статистической обработки. Совершенно ясно, что научная ценность такой работы исчезающе мала - не потому, что ее описательные выводы неверны, но, будучи недоказательными, становятся научным балластом"[70]. В последующем обсуждении результатов исследования авторы приходят к выводу что "компьютеризация исследовательских учреждений в последние годы не повлияла на расширение измерительных или количественных подходов. Как в прошлом веке, в российской психиатрии доминируют описательные, качественные методы"[70]. Продолжая анализ, авторы делают вывод о том, продвижение математических методов в разделы психиатрии будет по сути дела обусловлено экономическими категориями. В качестве аргумента авторы приводят пример с зарубежной психофармакологией. "Это обусловлено, прежде всего, ответственностью ее практических решений, а также дороговизной ее производства и конкуренцией на рынке сбыта. Жесткость всех этих отношений заставила психофармакологов насытить математикой не только теоретический, но и прикладной раздел этой дисциплины (клиническое испытание новых препаратов). Почти тотальное обеспечение психофармакологии математикой стало одним из способов повышения ее эффективности и минимизации неудач. ... Анализ литературы, предпринятый в настоящей работе, свидетельствует, что аналогичная задача еще не возникла перед российской психиатрией в середине 1990-х гг. Более того, часть российских статей по изучению эффективности психотропных препаратов или их сравнительному изучению, даже содержащие количественные данные, обходятся без статистического анализа, лишь изредка используется t-статистика"[70]. В качестве примера подобной работы мы можем привести докторскую диссертацию "Хронобиологические основы нейротропных эффектов солей лития", 14.00.17 - нормальная физиология, 14.00.25 - фармакология, 1997г. В диссертации приведено 34 таблицы содержащих порядка 1000 выражений "M ± m" и "р < 0,05", полученных с помощью t-критерия Стьюдента без проверки условий возможности его использования. В этой же работе проверялись гипотезы о равенстве средних с помощью критерия Стьюдента для признака, который оценивался по 4-х балльной системе.

Подобные же результаты сравнения российских и англоязычных публикаций получены и авторами [71], где сообщены выводы наукометрического анализа статей журналов "ECOLOGY" и "ЭКОЛОГИЯ". Результаты анализа основаны на данных об индивидуальной и совместной частоте встречаемости в этих публикациях экологических и математических терминов. Некоторые результаты этой работы приведены ниже в табл.6.

Таблица 6. Доля публикаций, использующих разные группы математических методов (в % от числа статей из данного журнала) [71]

Математические методы Журнал
"ECOLOGY"
Журнал
"ЭКОЛОГИЯ"

Описательные и обзорные сообщения без статистических данных 4 24

Стандартные методы 77 69

Многомерные методы 60 13

Непараметрические методы 35 0

Категоризованные данные 15 0

Марковские процессы 2 0

Дифференциальные уравнения 2 0

Как видно из табл. 5, наблюдается значительное различие в частоте применения многомерных и непараметрических методов статистики в статьях сравниваемых журналов. Многие из перечисленных выше недостатков отмечались ранее и автором [83]. Немало интересного и поучительного относительно ошибок применения статистики в биологии можно найти и в работах известного пропагандиста биометрии Александра Александровича Любищева, который выделил две группы ошибок: "Ошибки от недостатка осведомленности" и "Ошибки, связанные с избытком энтузиазма"[72-74].

Возврат на главную страницу.

Возврат в КУНСТКАМЕРУ.