Яндекс.Метрика Статистика в гипертонии

Каждый слышит то, что понимает. Гете


"Люди перестают мыслить,
когда перестают читать
".
Д. Дидро

Статистика посещаемости БИОМЕТРИКИ Яндекс
цитирования
Индекс цитирования

Наш адрес:

Выбрав любое изображение, кликните по нему мышкой, и Вы узнаете о статистике ...


Редактор БИОМЕТРИКИ
В. Леонов

  • 385
data-counter data-url="http://www.biometrica.tomsk.ru/">
Яндекс
цитирования
Яндекс цитирования
 

16.05.2011 г. на сайт пришло 2561 человек, открывших 3205 страниц
14.11.2011 г. на сайт пришло 2106 человек, открывших 3250 страниц
14.12.2011 г. на сайт пришло 2640 человек, открывших 3452 страницы
17.01.2012 г. на сайт пришло 2439 человек, открывших 3097 страниц
03.03.2012 г. на сайт пришло 2219 человек, открывших 3019 страниц
30.05.2012 г. на сайт пришло 3512 человек, открывших 4706 страниц
06.03.2014 г. на сайт пришло 2556 человек, открывших 3179 страниц
08.02.2015 г. на сайт пришло 2341 человек, открывших 2682 страницы

Если приходят, значит полезное находят...


Введение
Наши возможности. О возможностях статистического анализа
Леонов В.П. Ошибки статистического анализа биомедицинских данных. Международный журнал  медицинской практики, 2007, вып. 2, стр.19-35
Список научных и учебных изданий по биометрике и статистике
Материалы по науковедению
История биометрики
Статистическое рецензирование статей и диссертаций

Долгое прощание с лысенковщиной...
Семинар по биометрике в Красноярске



Если Вы сторонник использования
статистики, разместите на своём сайте
HTML-код нашего баннера:

BIOMETRICA - журнал для сторонников доказательной биологии и медицины
25 наиболее популярных ссылок, посещаемых нашими читателями
http://www.biometrica.tomsk.ru/comp_aver.htm
http://www.biometrica.tomsk.ru/erevan_8.html
http://www.biometrica.tomsk.ru/student.htm
http://www.biometrica.tomsk.ru/UNESCO%202010.pdf
http://www.biometrica.tomsk.ru/zakaz.htm
http://www.biometrica.tomsk.ru/zakaz_28.htm
http://www.biometrica.tomsk.ru/kk.htm
http://www.biometrica.tomsk.ru/erevan_3.html
http://www.biometrica.tomsk.ru/stat_cardio1.htm
http://www.biometrica.tomsk.ru/error.htm
http://www.biometrica.tomsk.ru/STAT_CARDIO_2014.pdf
http://www.biometrica.tomsk.ru/logit_9.htm
http://www.biometrica.tomsk.ru/stat_cardio7.htm

http://www.biometrica.tomsk.ru/potencial.htm
http://www.biometrica.tomsk.ru/percent_00.htm
http://www.biometrica.tomsk.ru/lis.htm
http://www.biometrica.tomsk.ru/kamchat.htm
http://www.biometrica.tomsk.ru/biometrica_15.htm
http://www.biometrica.tomsk.ru/zakaz_15.htm
http://www.biometrica.tomsk.ru/ftp/dict/cult/gramm.htm
http://www.biometrica.tomsk.ru/biometrica_15.htm
http://www.biometrica.tomsk.ru/stat_cardio5.htm
http://www.biometrica.tomsk.ru/krasnojarsk.htm http://www.biometrica.tomsk.ru/erevan_3.html
http://www.biometrica.tomsk.ru/logit_6.htm

НАУКОМЕТРИЧЕСКИЙ АНАЛИЗ СТАТИСТИЧЕСКОЙ ПАРАДИГМЫ ЭКСПЕРИМЕНТАЛЬНОЙ БИОМЕДИЦИНЫ 
(ПО МАТЕРИАЛАМ ПУБЛИКАЦИЙ)

В.П.Леонов. Томский государственный университет

 

Последнее десятилетие для отечественной биомедицины характеризуется бурным внедрением в исследовательскую практику персональных компьютеров. Однако совпадение этого внедрения  по времени с экономическим спадом и отечественная специфика финансирования биомедицинской науки деформировали этот процесс. В результате чего широкое использование  компьютеров в отечественной биомедицине не привело к качественному скачку в статистической методологии этих исследований [1-5, 9]. За рубежом данный процесс происходил порядка 20-25 лет назад и в настоящее время результаты его достаточно очевидны. 

Приведем несколько цитат из книги С.Гланца "Primer of  Biostatistics", недавно переведенной в России. "С тех пор многое изменилось. Важность грамотного использования статистических методов осознается все шире. И, хотя ошибки не исчезли, все больше журналов прилагают усилия к их искоренению. Во многих из них рецензирование включает отдельный этап проверки статистической правильности предлагаемых работ. Приведу подтверждение, наиболее ощутимое для меня. Я являюсь внештатным редактором Journal of the American College of Cardiology, и моя работа состоит в выявлении статистических ошибок в поступающих статьях. Доля статей, содержащих ошибки, как и раньше, составляет около половины, но теперь уже половины предлагаемых к публикации, а не опубликованных работ." Представляет несомненный интерес сравнение статистических технологий отечественных исследователей и их зарубежных коллег. Не менее важно попытаться на основе этого анализа сформулировать доминирующую в отечественной биомедицине статистическую парадигму. 

 В данной работе приведены результаты наукометрического анализа 1540 отечественных и 392 зарубежных журнальных статей биомедицинской тематики. Все статьи были опубликованы в один и тот же период - в последние 10 лет. Были изучены 34 ведущих отечественных биомедицинских журнала, среди которых был и "Сибирский медицинский журнал". 392 англоязычные статьи были опубликованы в журналах "Journal of Experimental Medizine", "Journal of Immunology", "Nature Genetics", "Journal of Cell Biology", "American Journal of Cardiology", "American Journal of Hypertension", "American Journal of Pathology", "American Journal of Clinical Pathology", "Biologische Medizin", "Biomedicine and Pharmacotherapy", "BMJ", "British Journal of Radiology", "Cancer", "Epidemiologie, Microbiologie, Immunologie", "European Psychiatry", "Immunology and Cell Biology", "JAMA", "Ecology", "General Physiology and Biophysics", "New England Journal of Medicine". Целью  анализа была оценка относительных частот применения авторами русско- и англоязычных журналов различных методов статистики, сравнение этих частот между собой, а также реконструкция модели статистической парадигмы доминирующей в отечественной биомедицине на основе анализа структуры этих частот.

Статистические аргументы или … статистические гитики?

Статистические методы использовались в 82% отечественных статей (R-статьи), в зарубежных публикациях (E-статьи) эта доля составила 87%. Однако в 52% R-статей авторы вообще никак не описывали используемые ими методы статистики. О том, что авторы применяли методы статистики, можно было догадаться только по выражениям вида "р < 0,05" и (М ± m), поскольку выражения типа "р<0,05" или "p<0,01" могут быть получены только при использовании конкретных статистических критериев. Напротив, в 83%  E-статей сообщается, с помощью каких именно статистических критериев производилась проверка конкретных гипотез.

Для многих R-статей характерно наличие в описании методов статистики бессмысленных и абсурдных выражений, представляющих собой комбинации так называемых "мемов" - клише, заимствованных из других работ. Детальный анализ этих мемов обнаруживает их камуфляжный характер, вследствие чего несколько лет назад нами было введено понятие "камуфляжного мема". По своему языку и стилю такие описания созвучны речи героев произведений А. Платонова "Котлован" и "Чевенгур", или высказываниям экс-премьера Черномырдина В.С. ("У меня нет вопросов к русскому языку", "…моя специальность и жизнь проходили в атмосфере нефти и газа"). Примеры таких описаний даны в работе "Долгое прощание с лысенковщиной".  Приведем лишь два из них: "Вероятность случайности различий соответствует достоверности", "Различие считалось достоверным при p < 0,05, т.е. в тех случаях, когда вероятность различия составляла больше 95%". Обилие подобных недостатков  в текстах биомедицинских статей и диссертаций свидетельствует как минимум о четырех вероятных причинах этого явления. 

Во-первых, низкая статистическая культура исследователей. Причины этого достаточно очевидны: в медицинских вузах готовят врачей, а не исследователей, и поэтому выпускники этих вузов не имеют необходимой для исследователя статистической подготовки. Этот же вывод можно сделать и на основе содержания Приложений 14 и 15 к приказу Минздрава РФ от 25.12.97 № 380 [7]. Во всех аналогичных квалификационных характеристиках в разделе "Знание смежных дисциплин" вообще отсутствует упоминание математики. И это вполне разумно, поскольку медицинский вуз не может, да и не должен обеспечивать своим выпускникам профессиональный уровень владения биометрикой. Его задача подготовить хороших врачей, лекарей, а не специалистов по биостатистике. Сказывается до сих пор и  последствия периода "лысенковщины", когда математика, и особенно статистика, активно изгонялись из биологии и медицины.

Во-вторых, это отсутствие в структурах биомедицинских НИИ и вузов специализированных лабораторий биостатистики, призванных обеспечить исследователю квалифицированный статистический анализ наблюдений. Немногочисленные лаборатории имеющиеся в таких НИИ и вузах (ЦНИЛ), комплектуются в основном теми же выпускниками медвузов. Редко где в них работают специалисты с соответствующим образованием. Помимо всего прочего, отсутствие таких лабораторий не позволяет дать основы системного подхода с грамотной формулировкой статистических гипотез аспирантам и докторантам, проводящим свои исследования в этих НИИ и вузах.

Третья причина - отсутствие отраслевой нормативной базы (отраслевые стандарты, стандарты предприятий и т.п.) регламентирующей этап статистического анализа. Парадоксально, но сегодня анализ крови или мочи выполняется в лабораториях по утвержденным Минздравом документам, и только людьми со специальным образованием. Тогда как статистический анализ экспериментальных данных - завершающий этап кропотливой работы многих специалистов, в большинстве случаев выполняется самоучками, людьми не имеющими профессиональной подготовки в этой области. 

Четвертая причина - отсутствие квалифицированной статистической экспертизы в редакциях журналов, диссертационных и экспертных советах ВАК, что говорит об отсутствии в них специалистов владеющих данными технологиями [4]. Впрочем, это отсутствие может быть и не случайным, поскольку повышение уровня требований к статистической корректности статей и диссертаций сразу же приведет к их уменьшению. Нетрудно догадаться, чем это грозит для периодических изданий и диссертационных советов. 

Наличие этой проблемы уже начинают признавать наиболее прогрессивные редакторы отечественных медицинских журналов. Так в статье "СТАТИСТИКА УМЕЕТ МНОГО ГИТИК", [5] президент издательства "МедиаСфера", издающего около 20 отечественных медицинских журналов, С.Е. Бащинский, пишет: "По сути, эти клише представляют собой магические заклинания, служащие, по мысли авторов, "пропуском в науку". … Статистике в биомедицинских исследованиях отводится роль "гитик", звучные и непонятные авторам термины нужны для достижения основной цели — придания работе научного "веса", достаточного для опубликования в журнале или для защиты диссертации. Редакторы научных журналов, публикующие подобные статьи, вольно или невольно становятся соучастниками игры в научный "фокус": в надежность результатов исследования изначально никто не верит, свидетельством его научности становится сам факт публикации, а важнейшим условием публикации —упоминание о статистических "гитиках". Так будет происходить до тех пор, пока редакторы, устанавливающие правила игры, не объявят о серьезности своих намерений отбирать и публиковать только действительно научные статьи".

Какие статистические методы и критерии предпочитают авторы R-статей

Ниже в табл.1 приведены результаты сравнения относительных частот использования статистических методов и критериев в русскоязычных и англоязычных журналах. Общее количество статистических методов и критериев, использованных в англоязычных статьях, составило более 100. Из этого многообразия мы выбрали только наиболее известные, объединив их в 53 группы. После оценки относительных частот использования того или иного метода в R- и Е-статьях, производилась проверка статистической гипотезы о равенстве этих пропорций с использованием Z-критерия [6]. Для 51 группы достигнутые уровни значимости "р" имели значение гораздо меньшие 5%, что позволяет утверждать статистически значимое различие этих частот. Только для парных коэффициентов корреляции Пирсона (р=0,1445) и нелинейных преобразований переменных (р=0,0961) были приняты нулевые гипотезы о равенстве частот использования этих методов в R- и Е-статьях. Для всех остальных групп сравнения эти частоты отличались статистически значимо (р << 0,05). Для сравнения приоритетов в группах полученные результаты в табл.1 отсортированы по убыванию относительных частот. 

Табл. 1. Частота использования статистических методов и критериев в R- и Е-статьях

Метод проверки
стат. гипотез или критерий по
убыванию относительной
частоты в R-статьях. 
Относи
тельная частота исполь
зования в R-статьях 
Относи
тельная частота исполь
зования E-статьях

Отно-шение частот E/R

Метод проверки 
стат. гипотез или критерий по 
убыванию относительной 
частоты в 
Е-статьях.
Относи
тельная частота исполь
зования E-статьях
Относи
тельная частота исполь
зования в R-статьях
Отно-шение частот E/R Метод проверки 
стат. гипотез или критерий по 
убыванию 
отношения 
частот в E- 
и  R-статьях
1 Оценка
дескриптивных статистик 
0,86 0,7679 0,8925 Использование выражений вида 
"р < …." 
0,8725 0,8227 1,0604 Оценка частных коэффициентов корреляции 
2 Использование выражений вида
"р < …."
0,82 0,8725 1,0604 Оценка 
дескриптивных статистик 
0,7679 0,8604 0,8925 Проверка гипотез 
о равенстве 
дисперсий с 
помощью 
F-критерия 
3 Проверка гипотез о равенстве средних
t критерием 
Стьюдента
0,5805 0,1097 0,1890 Критерий 
Пирсона 
хи-квадрат
0,1939 0,0727 2,6659 Проверка гипотез 
о равенстве 
нескольких 
дисперсий
4 t-критерий
Стьюдента
0,5662 0,0816 0,1442 Дисперсионный 
анализ (ДА), 
0,1709 0,0396 4,3150 Проверка гипотез 
о равенстве относительных 
частот (долей)
5 Оценка парных коэффициентов корреляции
Пирсона
0,0812 0,0995 1,2257 Непараметрические критерии 0,1454 0,0221 6,5862 Проверка гипотез 
о равенстве 
нескольких коэффициентов корреляции
6 Критерий Пирсона хи-квадрат 0,0727 0,1939 2,6659 Оценка 
коэффициентов корреляции
Спирмэна или 
Кендалла
0,1174 0,0045 25,817 Построение доверительного интервала для относительной 
частоты (доли)
7 Дисперсионный 
анализ 
0,0396 0,1709 4,3150 Проверка гипотез 
о равенстве двух средних 
t-критерием
Стьюдента
0,1097 0,5805 0,1890 Ковариационный анализ
8 Множественный регрессионный
анализ
0,0396 0,0816 2,0608 F-критерий 
Фишера
0,1097 0,0234 4,6923 Критерий знаков Диксона-
Муда
9 F-критерий
Фишера
0,0234 0,1097 4,6923 Оценка 
коэффициентов корреляции 
Пирсона
0,0995 0,0812 1,2257 Проверка гипотез 
об отношении 
шансов
10 Непараметрические критерии 0,0221 0,1454 6,5862 Оценка закона распределения вероятностей 0,0867 0,0078 11,130 Сравнение двух 
кривых 
выживаемости
11 Критерий
Манна-Уитни
0,0201 0,0714 3,5485 Анализ таблиц 
дожития и оценка уравнений кривых выживаемости 
0,0867 0,0026 33,391 Логистическая регрессия с биномиальной переменной 
отклика
12 Нелинейный регрессионный
анализ
0,0110 0,0587 5,3148 t-критерий 
Стьюдента
0,0816 0,5662 0,1442 Критерий Зигеля и Тьюки
13 Оценка закона распределения вероятностей 0,0078 0,0867 11,130 Множественный регрессионный
анализ
0,0816 0,0396 2,0608 Сравнение 
пропорций в нескольких
выборках
14 Анализ главных компонент 0,0078 0,0485 6,2203 Критерий 
Манна-Уитни
0,0714 0,0201 3,5485 Многомерное шкалирование
15 U-критерий 
Вилкоксона
0,0071 0,0587 8,2138 Нелинейный регрессионный
анализ
0,0587 0,0110 5,3148 Построение доверительного интервала для отношения 
шансов
16 Множественные линейные
контрасты в ДА
0,0052 0,0587 11,294 U-критерий
Вилкоксона
0,0587 0,0071 8,2138 Логистическая регрессия с мультиномиальной переменной 
отклика
17 Оценка 
коэффициентов ранговой 
корреляции 
0,0045 0,1174 25,817 Множественные линейные 
контрасты в ДА
0,0587 0,0052 11,2940 Логлинейный 
анализ
18 Факторный анализ 0,0045 0,0383 8,4194 Проверка нормальности распределения вероятностей 0,0536 0,0006 82,4979 Использование байесовских 
оценок
19 Дискриминантный анализ 0,0039 0,0459 11,786 Анализ главных компонент 0,0485 0,0078 6,2203 Анализ
соответствий 
в таблицах сопряженности
20 Анализ таблиц сопряженности 0,0039 0,0383 9,8226 Дискриминантный анализ 0,0459 0,0039 11,786 H-критерий Краскела-
Валлиса 
21 Кластерный
анализ
0,0039 0,0306 7,8566 Факторный анализ 0,0383 0,0045 8,4194 Проверка нормальности распределения вероятностей
22 Оценка кривых "Доза-Эффект" 0,0032 0,0306 9,4279 Анализ таблиц сопряженности 0,0383 0,0039 9,8226 Анализ таблиц 
дожития и оценка уравнений кривых выживаемости 
23 Анализ таблиц 
дожития и оценка уравнений кривых выживаемости 
0,0026 0,0867 33,391 Методы теории планирования экспериментов 0,0357 0,0019 18,331 Оценка 
коэффициентов ранговой 
корреляции 
24 Методы теории планирования экспериментов 0,0019 0,0357 18,331 Оценка частных коэффициентов корреляции  0,0357 0,0000 -------- Оценка аллометрических уравнений 
25 Критерий Колмогорова-
Смирнова
0,0019 0,0179 9,1681 Кластерный 
анализ
0,0306 0,0039 7,8566 Последовательный анализ Вальда
26 Нелинейные преобразования переменных 0,0019 0,0077 3,927 Оценка кривых "Доза-Эффект" 0,0306 0,0032 9,4279 Анализ временных рядов 
27 Последовательный анализ Вальда 0,0013 0,0281 21,606 Проверка гипотез 
о равенстве 
дисперсий с 
помощью 
F-критерия
0,0306 0,0000 -------- Анализ 
канонических корреляций
28 Анализ временных рядов 0,0013 0,0281 21,6062 Последовательный анализ Вальда 0,0281 0,0013 21,606 Методы теории планирования экспериментов
29 Оценка отношения шансов 0,0013 0,0230 17,679 Анализ временных рядов  0,0281 0,0013 21,606 Оценка 
отношения шансов
30 Проверка равенства двух законов распределения вероятностей 0,0013 0,0153 11,789 Оценка отношения шансов 0,0230 0,0013 17,6792 Проверка 
равенства двух законов распределения вероятностей
31 Проверка нормальности распределения вероятностей 0,0006 0,0536 82,498 Проверка гипотез 
о равенстве 
нескольких дисперсий 
0,0230 0,0000 -------- Дискриминантный анализ
32 Оценка аллометрических уравнений  0,0006 0,0153 23,577 Проверка гипотез 
о равенстве
нескольких относительных
частот 
0,0230 0,0000 -------- Множественные линейные 
контрасты а ДА
33 Анализ канонических корреляций 0,0006 0,0128 19,650 Проверка гипотез 
о равенстве 
нескольких коэффициентов корреляции
0,0204 0,0000 -------- Оценка закона распределения вероятностей
34 Оценка частных коэффициентов корреляции  0,0000 0,0357 -------- Критерий Колмогорова-
Смирнова
0,0179 0,0019 9,1681 Анализ 
двухвходовых 
таблиц сопряженности
35 Проверка гипотез 
о равенстве дисперсий с помощью F критерия 
Фишера
0,0000 0,0306 -------- Построение доверительного интервала для относительной частоты  0,0179 0,0000 -------- Оценка кривых "Доза-Эффект"
36 Проверка гипотез
о равенстве нескольких дисперсий
0,0000 0,0230 -------- Ковариационный анализ 0,0179 0,0000 -------- Критерий Колмогорова-
Смирнова
37 Проверка гипотез 
о равенстве относительных частот 
0,0000 0,0230 -------- Критерий знаков Диксона-Муда 0,0179 0,0000 -------- Факторный 
анализ
38 Проверка гипотез 
о равенстве коэффициентов корреляции
0,0000 0,0204 -------- Проверка гипотез о равенстве двух законов распределения вероятностей 0,0153 0,0013 11,789 U-критерий Вилкоксона
39 Построение доверительного интервала для относительной частоты 0,0000 0,0179 -------- Оценка аллометрических уравнений  0,0153 0,0006 23,577 Кластерный 
анализ
40 Ковариационный анализ 0,0000 0,0179 -------- Проверка гипотез об отношении шансов 0,0153 0,0000 -------- Использование непараметрических критериев
41 Критерий знаков Диксона-Муда 0,0000 0,0179 -------- Сравнение двух кривых выживаемости 0,0153 0,0000 -------- Анализ главных компонент
42 Проверка гипотез об отношении шансов 0,0000 0,0153 -------- Анализ канонических корреляций 0,0128 0,0006 19,650 Нелинейный регрессионный анализ
43 Сравнение двух кривых выживаемости 0,0000 0,0153 -------- Логистическая регрессия с биномиальной переменной отклика 0,0128 0,0000 -------- F-критерий Фишера
44 Логистическая регрессия с биномиальной переменной отклика 0,0000 0,0128 -------- Критерий Зигеля 
и Тьюки
0,0128 0,0000 -------- Дисперсионный анализ 
45 Критерий Зигеля 
и Тьюки
0,0000 0,0128 -------- Сравнение пропорций в нескольких выборках 0,0102 0,0000 -------- Нелинейные преобразования переменных
46 Сравнение пропорций в нескольких независимых выборках 0,0000 0,0102 -------- Многомерное шкалирование 0,0102 0,0000 -------- Критерий Манна-
Уитни
47 Многомерное шкалирование 0,0000 0,0102 -------- Нелинейные преобразования переменных 0,0077 0,0019 3,927 Критерий 
Пирсона хи-квадрат
48 Построение доверительного интервала для отношения 
шансов
0,0000 0,0077 -------- Построение доверительного интервала для отношения шансов 0,0077 0,0000 -------- Множественный регрессионный анализ
49 Логистическая регрессия с мультиномиальной переменной отклика 0,0000 0,0077 -------- Логистическая регрессия с мультиномиальной переменной отклика 0,0077 0,0000 -------- Оценка коэффициентов корреляции Пирсона
50 Логлинейный анализ 0,0000 0,0077 -------- Логлинейный анализ 0,0077 0,0000 -------- Использование выражений 
вида "р < …." 
51 Использование байесовских 
оценок
0,0000 0,0077 -------- Использование байесовских 
оценок
0,0077 0,0000 -------- Оценка дескриптивных статистик 
52 Анализ соответствий в таблицах сопряженности 0,0000 0,0051 -------- Анализ соответствий в таблицах сопряженности 0,0051 0,0000 -------- Проверка равенства 
средних t критерием Стьюдента
53 H-критерий Краскела-
Валлиса 
0,0000 0,0051 -------- H-критерий Краскела-
Валлиса 
0,0051 0,0000 -------- t-критерий Стьюдента

Сложные проблемы всегда имеют простые, легкие для понимания неправильные решения

Итак, согласно табл.1 после дескриптивных статистик и выражений типа "р < …." отечественные исследователи предпочитают проверку гипотез о равенстве двух средних с использованием t-критерия Стьюдента. Практически во всех работах вообще не проверяются условия возможности применения этого критерия, что приводит к сомнительности полученных авторами выводов. С многочисленными примерами таких работ читатели могут познакомиться в разделе "КУНСТКАМЕРА". (Аналогичный раздел КУНСТКАМЕРА появился и в журнале ТИРОНЕТ, редакция которого решила, что "... терпеть “ТИРОБРЕД” сил больше нет.") 

Разница между значениями частот в третьей и четвертой строках (0,5805 и 0,5662) таблицы объясняется тем, что в ряде статей авторы просто упоминали об использовании t-критерия Стьюдента, но не приводили его значения. Отметим также, что следующий за критерием Стьюдента метод - оценка коэффициентов корреляции Пирсона, имеет частоту почти в 7 раз меньше, чем у предшествующего метода. Иными словами, скачок в 48,5% между частотой применения критерия Стьюдента и корреляцией по Пирсону, означает дискретность нашего распределения и безусловное доминирование сравнения двух средних по Стьюденту по отношению ко всем остальным методам и критериям. 

Обратим также внимание на то, что частота проверки нормальности распределения, которую необходимо проводить в обязательном порядке при использовании критерия Стьюдента, примерно в 944 раза меньше, чем частота использования критерия Стьюдента. Тогда как проверка равенства двух генеральных дисперсий, также обязательное условие при использовании критерия Стьюдента, в R-статьях вообще не проводилась. Сумма всех прочих методов и критериев, кроме критерия Стьюдента и дескриптивных статистики, составляет 0,3773. 

 Рис. 1. Распределение относительных частот 
статистических  методов в R-статьях

 

На рис. 1 отчетливо виден дискретный характер распределения частоты, в котором доминируют 4 метода. Первые два из них имеют частоту 86% и 82%, а третий и четвертый методы, соответственно, 58% и 56,6% . Тогда как следующий, шестой метод, имеет относительную частоту всего лишь 8%. Коварная простота вычисления t-критерия Стьюдента, а также его наличие в большинстве статистических пакетов, привели к широкому его использованию даже в тех условиях, когда применять его нельзя. В течение 5-ти лет мы провели опрос более 300 медиков и биологов, занятых научными исследованиями. Задавался вопрос: “Каковы достаточные и необходимые условия использования t-критерия Стьюдента при сравнении групповых средних”? Ни один из опрашиваемых не смог полностью и правильно ответить на него.

  Около 50% говорили о нормальности распределения, однако не могли при этом объяснить, как реально проверить нормальность распределения. О необходимости выполнения второго обязательного условия вообще никто из опрашиваемых не говорил...

За последние 10 лет нами был выполнен статистический анализ более 200 массивов реальных биомедицинских данных. Эти исследования показали, что в 50 -70% случаев биомедицинские количественные показатели не подчиняются нормальному распределению. Наиболее характерно это для групп больных пациентов или экпериментальных образцов исследуемых объектов. К чему приводит игнорирование условий применения этого критерия мы показали в работах [1] и  [9]. Между тем, с упорством достойным лучшего применения, многочисленные отечественные исследователи продолжают эту порочную практику. Особенно характерно это для авторов "Бюллетеня экспериментальной биологии и медицины", для которых в КУНСТКАМЕРЕ даже открыта специальная экспозиция . Проведенный нами анализ публикаций в выпусках этого журнала за 2000г. показал, что подавляющее большинство статей содержат сомнительные результаты, полученные именно вследствие некорректного применения t-критерия Стьюдента! Наиболее типичен в этом отношении 10-й выпуск этого журнала за 2000г.

Какие статистические методы и критерии предпочитают англоязычные авторы

Из данных табл.1 мы видим, что характер распределения частот используемых методов и критериев в 
англоязычных статьях имеет совершенно иной характер. Если учесть, что выражение типа "p < " не является конкретным методом проверки статистических гипотез, то вместо ярко выраженного унимодального распределения в R-статьях, мы имеем плавное экспоненциально уменьшающееся распределение относительных частот по всем 52 методам и критериям. Сумма относительных частот по этим методам составляет 2,3265, что означает в среднем по 2-3 метода или критерия на одну E-статью. Отметим, что наиболее часто используются критерий Пирсона хи-квадрат, дисперсионный анализ, непараметрические критерии и коэффициенты корреляции Спирмэна и Кендалла. И только на 5-м месте располагается t-критерий Стьюдента. Частота использования критерия Стьюдента равна частоте применения множественного регрессионного анализа.

Важным моментом этого распределения частот является достаточно высокая доля 11 сугубо многомерных методов, таких как множественный регрессионный анализ (0,0816) , анализ главных компонент (0,0485), дискриминантный анализ (0,0459), факторный анализ (0,0383), теории планирования экспериментов (0,0357), оценка частных коэффициентов корреляции (0,0357), кластерный анализ (0,0306), ковариационный анализ (0,0179), анализ канонических корреляций (0,0128), многомерное шкалирование (0,0102), логлинейный анализ (0,0077) и анализ соответствий в таблицах сопряженности (0,0051). Общая доля этих многомерных методов составляет 0,3343, т.е. в каждой третьей E-статье используются многомерные методы. Из 11 перечисленных выше многомерных методов в R-статьях обнаружены только 7, суммарная доля которых составила 0,0322. Таким образом, зарубежные исследователи в 10 раз чаще используют многомерные методы, нежели авторы R-статей. Это говорит о том, что статистическая парадигма зарубежных исследователей содержит выраженный многомерный подход к исследованию изучаемых объектов.
 

Рис. 2. Распределение относительных частот 
статистических методов в Е-статьях

На рис. 2 отчетливо видно, что наблюдается монотонное уменьшение относительной частоты по всему спектру методов используемых в E-статьях. Из табл. 1 следует также, что 21 метод и критерий, используемый в E-статьях, не был обнаружен в R-статьях. Далее, весьма примечательно, что наибольшее отношение частот наблюдается для процедуры проверки нормальности распределения вероятностей - более 82. Из этого можно сделать вывод, что зарубежные исследователи больше внимания уделяют этапу выбора между параметрическими и непараметрическими критериями.Далее, в 33 раза чаще зарубежные исследователи используют методы анализа таблиц дожития и оценки кривых выживаемости. Что позволяет высказать предположение о том, что конечной целью многих биомедицинских исследований является не столько обнаружение локального эффекта, сколько оценка совокупной связи этого эффекта с длительностью жизни пациентов.

Ниже на рис.3 в осях относительных частот по каждой из сравниваемых групп представлено распределение частот используемых статистических методов.


Рис. 3 Распределение относительных частот статистических методов в Е- и R-статьях

 Используя результаты данного наукометрического анализа, попытаемся сформулировать  доминирующую в российской биомедицинской науке статистическую парадигму, которая проявляет себя как латентная, скрытая закономерность только при анализе достаточно большого количества публикаций [2-5]. Суть этой парадигмы, названной нами СДВИГОВОЙ, заключается в доминировании у отечественных экспериментаторов в области биологии и медицины представления о том, что основное (а возможно и единственное!) различие между группами сравнения заключается в тривиальном, механическом сдвиге среднего значения исследуемой переменной. При этом игнорируются все остальные не менее важные параметры распределения признака, такие как меры рассеяния (дисперсия, размах и т.д.) и меры формы (эксцесс и асимметрия), корреляции между признаками и т.д. Более того, игнорируются возможные и весьма важные изменения  законов распределения вероятностей в сравниваемых группах, изменения структуры связей между объектами исследования. Можно идентифицировать такой подход как одномерный, механистический взгляд на сугубо многомерные взаимодействующие системы.

   Очевидно, что такой подход является деформацией нормальной научной методологии, базирующейся на системном анализе. Для иллюстрации ущербности такой парадигмы приведем искусственный пример. Предположим, что мы поставили задачу сравнить между собой температуру тела персонала больницы с температурой тела всех пациентов этой больницы. Проверка (статистически вполне корректная) показала, что средние температуры двух сравниваемых групп статистически значимо не различаются. Между тем эти две группы имеют принципиальное различие в вариации этого показателя. Действительно, если принять во внимание, что персонал больницы исполняет свои обязанности будучи здоровым, то разброс температуры персонала будет сравнительно мал. Иное дело пациенты этой больницы, среди которых будут находиться больные с повышенной температурой, выздоравливающие пациенты с нормальной температурой, и те, кто недавно поступил в морг. В результате средняя температура пациентов будет равна средней температуре персонала, однако существенное различие групп по этому показателю будет заключаться в минимальных и максимальных значениях. Несмотря на искусственный характер этого примера, в реальных исследованиях такая ситуация встречается достаточно часто. Причем именно эти минимальные и максимальные значения, как правило, и несут нередко важнейшую информацию о сравниваемых группах.

    Крайне редкое применение многомерных статистических методов говорит о том, что исследуемые признаки изучаются авторами в неявном предположении об изолированности отдельных подсистем объекта друг от друга. Несмотря на то, что исследователи изучают изначально многомерные системы, независимо от того, организменный или клеточный это уровень, их анализ фактически не поднимается выше одномерных подсистем. Более того, это еще и свидетельство того, что авторы подобных  публикаций, зная о существовании таких  взаимосвязей в исследуемых объектах, игнорируют этот аспект, и сужают тем самым собственное исследование до более утилитарных и коньюктурных целей. В результате применение статистики в исследовании становится не инструментом поиска нового знания, а средством онаучивания заранее продекларированного эффекта изменения среднего значения того или иного признака. Деструкция важнейшего элемента системного анализа - выделение структуры и исследование связей между частями этой структуры, и  приводит в итоге к "статистическим гитикам"...

    Игнорирование этой деформации научной методологии со стороны Минздрава РФ, РАМН, Минобразования РФ, ВАК РФ и руководителей НИИ РАМН и журнальных редакций приводит к воспроизведению одних и тех же статистических нелепиц в сотнях и тысячах статей и диссертаций биомедицинской тематики. Повышению экономической эффективности и качества экспериментальных биомедицинских исследований способствовало бы создание в биомедицинских НИИ и отделениях РАМН специализированных лабораторий биостатистики, разработка соответствующих отраслевых стандартов, а также введение независимой статистической экспертизы в редакциях биомедицинских журналов (что является обычной практикой за рубежом), в диссертационных и экспертных советах ВАК. 

Два года назад статьей "В новый век - с доказательной биомедициной" опубликованной 21 мая 1999 г. в 20 выпуске газеты "ПОИСК" было открыто обсуждение проекта нового "Положения ВАК РФ...". В ней, среди прочих предложений, была высказана идея об организации выпуска на лазерных компакт-дисках профилированных ежегодных сборников авторефератов и самих диссертаций, защищаемых в России в области биомедицины. При этом вполне естественным было бы введение требования о сдаче в диссертационные советы, и в ВАК или ВИНИТИ, электронных копий диссертаций. Вновь это же предложение прозвучало в статье "Куплю 500 диссертаций" ("Медицинская газета", 14 февраля 2001г.). Однако в обоих случаях руководство Минздрава и Минобразования РФ, РАН, РАМН и ВАК РФ так и не рискнуло обнародовать свое отношение к предложениям высказанным в этих статьях. Между тем за рубежом в марте 2001 г. под эгидой ЮНЕСКО был проведен уже 4-й международный симпозиум ETD 2001  по данной тематике, на котором присутствовали представители 15 стран. Уже организуется и международная сеть подобных библиотек, в которой более 100 членов.



   21-й век не без оснований называют веком биологии и медицины. Совершенно очевидно, что имея на своем вооружении одну лишь "сдвиговую парадигму" отечественная экспериментальная биомедицина будет все больше отставать от передовых стран. А Россия тем временем по прежнему будет служить испытательным полигоном для проверки новых зарубежных фармпрепаратов. Остается лишь надеяться на то, что новая команда руководителей биомедицинской науки, которая рано или поздно сменит нынешних руководителей, подобно тому, как это недавно произошло в силовых министерствах, осознает эти проблемы и примется за их решение.

Литература.

  1. Бащинский С.Е. Некоторые вопросы журнальной этики.// Кардиология. 1995; 35(6): 89-92 .
  2. Леонов В.П., Ижевский П.В. Применение статистики в статьях и диссертациях по медицине и биологии. Часть 1. Описание методов статистического анализа в статьях и диссертациях. // Международный журнал медицинской практики. - 1998. - вып. 4, с. 7-12.
  3. Леонов В.П. Применение статистики в статьях и диссертациях по медицине и биологии. Часть 2. История биометрии и ее применения в России.// Международный журнал медицинской практики. - 1999. - вып. 4, с. 7-19.
  4. Леонов В.П. Применение статистики в статьях и диссертациях по медицине и биологии. Часть 3. Проблемы взаимодействия АВТОР - РЕДАКЦИЯ - ЧИТАТЕЛЬ.// Международный журнал медицинской практики. - 1999. - вып. 12, с. 7-13.
  5. Бащинский С.Е. Статистика умеет много гитик. // Международный журнал медицинской практики. - 1998. - вып. 4, с. 12-15.
  6. Fleiss J.L. Statistical Methods for Rates and Proportions. Division of Biostatistics, School of Public Heath, Columbia University. 1981 by John Wiley&Sons, Inc.
  7. Квалификационная характеристика специалиста с высшим биологическим образованием. Приложение 15 к приказу Минздрава РФ от 25.12.97 № 380 // Здравоохранение, вып.7, 1998, с.91-102
  8. Квалификационная характеристика врача клинической лабораторной диагностики. Приложение14 к приказу Минздрава РФ от 25.12.97 № 380 // Здравоохранение, вып.7, 1998, с.77-90.
  9. Леонов В.П., П.В. Ижевский. Применение статистики в медицине и биологии: анализ публикаций 1990-1997 гг.//Сибирский медицинский журнал. - 1997. - вып. 3-4, с. 64-74.

© 31.03.2001.  В.Леонов

Центр БИОСТАТИСТИКА выполняет работы по статистическому анализу экспериментальных данных уже более 30 лет. В его составе исследователи России, США, Израиля, Англии, Канады и других стран. Услугами Центра пользуются аспиранты и докторанты в области медицины, биологии, социологии, психологии и т.д. (См. далее )

Отзывы заказчиков по статистическому анализу данных

Сравниваем средние, а также и ... В. Леонов. Исследователям в медицине и биологии весьма большую пользу приносит сравнение не только групповых средних, но также и иных параметров. Показано, что не нормальное распределение количественного признака, означает наличие взаимосвязей данного признака с другими признаками.


Проценты - статистический анализ? Или проценты - арифметический анализ? В. Леонов.


23 примера оформления данных, их описания и описания целей исследования


В ноябре 2013 года сайту БИОМЕТРИКА исполнилось 16 лет. А что было раньше? И что теперь?

БИОМЕТРИКЕ - 18 лет! 19 ноября 2015 года нашему сайту исполнилось 18 лет с момента его создания. За прошедший год произошло очень много общения со специалистами в медицине и биологии из разных городов и стран. По их просьбе была продолжена серия статей по логистической регрессии. Также было выполнено много работы по статистическому анализу собранных ими данных...

Примеры отличных результатов статистического анализа в диссертациях, дипломных работах и статьях, полученных с нашей помощью.

Д.С. Симанков. Применение метода логистической регрессии для факторов риска, влияющих на исход операции в условиях искусственного кровообращения. (статья)

В.В. Половинкин. Тотальная мезоректумэктомия — фактор повышения эффективности лечения среднеампулярного и нижнеампулярного рака прямой кишки.  (диссертация на соискание учёной степени доктора медицинских наук)

Н.Г. Веселовская.  Клиническое и прогностическое значение эпикардиального ожирения у пациентов высокого сердечно-сосудистого риска.  (диссертация на соискание учёной степени доктора медицинских наук)

О.Я. Васильцева. Закономерности возникновения, клинического течения и исходов тромбоэмболии легочной артерии по данным госпитального регистра патологии.  (диссертация на соискание учёной степени доктора медицинских наук)

В.А. Габышев.  Фитопланктон крупных рек Якутии и сопредельных территорий восточной Сибири.  (диссертация на соискание учёной степени доктора биологических наук)

М.И. Антоненко.  Гиперкортицизм без специфических клинических симптомов:
эпидемиология, клиника, диагностика
.  (диссертация на соискание учёной степени кандидата медицинских наук)

Попова Г.А. Сравнительное изучение подвидов LINUM USITATISSIMUM L . в условиях Западной  Сибири (диссертация на соискание учёной степени кандидата биологических наук).

А.Г. Сыркина. Ретроспективный анализ эффективности и безопасности тромболитической терапии острого инфаркта миокарда у больных пожилого и старческого возраста (диссертация на соискание учёной степени кандидата медицинских наук).


Роль «малых» доз ионизирующего излучения в развитии неонкологических эффектов: гипотеза или реальность? Бюллетень сибирской медицины, № 2, 2005, с. 63-70. Карпов А.Б., Семенова Ю.В., , Тахауов Р.М., Литвиненко Т.М., Попов С.В., Леонов В.П.

В. Леонов. Цели, возможности, и проблемы использования биостатистики в доказательной медицине. Доклад на Конференции по доказательной медицине в Ереване «От доказательной медицины к доказательному здравоохранению» (24 - 26 сентября 2015 года).

Фоторепортаж с семинара по биометрике в Ереване, прошедшего после конференции по доказательной медицине (24 - 26 сентября 2015 года).

Отзывы слушателей семинара по биометрике в Ереване в сентябре 2015 г.


Новые полезные книги...

(Заказать книгу можно через издательство)

Ланг Т., Сесик М. Как описывать статистику в медицине. Руководство для авторов, редакторов и рецензентов. Пер. с англ. В.П. Леонова. 2016 - 480 с.

Петри А., Сэбин К. Наглядная медицинская статистика. Учебное пособие. 3-е издание. Пер. с англ. В.П. Леонова. 2015. - 216 с.

Банержи А. Медицинская статистика понятным языком: вводный курс. Издательство "Практическая медицина", 2014. - 287 с. Пер. с англ. В.П. Леонова.

Т. Гринхальх. Основы доказательной медицины. Издательство "ГЭОТАР-Медиа", 2015. - 336 с. 4-е издание переработанное и дополненное. Пер. с англ. Под ред. И.Н. Денисова, К.И. Сайткулова, В.П. Леонова.

В.В. Мартиросян, Ю.А. Долгушева. Анализ влияния гелиогеофизических и метеорологических факторов на инсульты с учётом фаз солнечного цикла. Ростовский государственный медицинский университет. – Ростов н/Д.: Изд-во"АкадемЛит" (ИП Ковтун С.А.) 2014г. 414 с.


ЮНЕСКО отмечает снижение вклада России в мировую науку. ЮНЕСКО после пятилетнего перерыва опубликовала доклад по науке до 2030 года. Статистические показатели для России ухудшились по сравнению с большинством ведущих научных стран, несмотря на то, что многие данные взяты из официальных российских источников.

Что губит российскую науку и как с этим бороться. Георгий Георгиев, академик РАН, координатор программы РАН «Молекулярная и клеточная биология». В этой статье рассматривается вопрос, почему все эти виды открытой науки в нашей стране отстают и что надо сделать для их прогресса.

«РОССИЯ БЕЗ НАУКИ — ТРУБА». 29 мая 2015 года в Москве прошла третья сессия Конференции научных работников. Публикуем несколько выступлений, прозвучавших на этом форуме.

Георгий Базыкин. Неолысенковщина, финансируемая государством. При принятии решений о том, что является наукой, а что — лженаукой, государству стоило бы посоветоваться с учёными.

Плохая наука.
НЕКОРРЕКТНЫЕ ИССЛЕДОВАНИЯ
ПРИВОДЯТ К ЛОЖНОМУ ЗНАНИЮ, ИНОГДА —
ГИБЕЛИ ЛЮДЕЙ

ПОЛОВИНУ ОТКРЫТЫХ НАУЧНЫХ ЖУРНАЛОВ НАЗВАЛИ «МУСОРОМ» ... Результат был ошеломляющим: 157 журналов приняли заведомо «бракованные» статьи к публикации, причем около 80 из них даже не подвергали их должной проверке. Отвергли статьи 98 журналов, а остальные к настоящему моменту не успели принять решения. ...«Журналы без контроля качества деструктивны, особенно для развивающихся стран, где правительственные учреждения и университеты заполнены людьми с фальшивыми научными званиями»

Отзывы на
диссертации

Диссертационные войны. Как борьба с плагиатом в диссертациях переместилась из науки в политику

ВЛАДИМИР ФИЛИППОВ. «Закрутим гайки – и пена уйдет». Интервью с председателем ВАК Владимиром Филипповым.

Доказательная медицина: история, эволюция, роль в медицине

В.В. Фадеев. Представление данных в оригинальных работах и их статистическая обработка.
Проблемы эндокринологии – 2002 - Т. 48, N 3. – С. 47 – 48.

Авторский ресурс Зорина Н.А.


После взрыва на СХК в 1993г. в Томске и Северске увеличилась частота рождения детей с пороками развития

В новый век - с доказательной биомедициной
Газета ПОИСК, № 20 (522)
21 мая 1999
г.


Долгое прощание
с
лысенковщиной 

История науки не ограничивается перечислением успешных исследований. Она должна сказать нам о безуспешных исследованиях и объяснить, почему некоторые из самых способных людей не могли найти ключа знания, и как репутация других дала лишь большую опору ошибкам, в которые они впали.

Дж. Максвелл 

Функциональный кризис отечественной науки, переживаемый в последнее десятилетие, вынуждает беспристрастно анализировать основные причины этого явления [1-2, 45-47]. Последние результаты библиометрического анализа говорят о том, что вклад России в мировую науку по основным направлениям составляет уже порядка 5-8% [1-2]. По данным того же источника вклад США составляет 32-41%. 

Коммунистическая идеология, уродовавшая многие направления отечественной науки на потребу вождей, породила и такое явление, как лысенковщина. Для большинства читателей фамилия Лысенко ассоциируется с августовской сессией ВАСХНИЛ 1948 г. и разгромом генетики. Однако лысенковщину нельзя сводить только к запрету на генетику. Достигнув своего апогея в середине текущего века, и став воистину периодом средневековья в отечественной биологии и медицине, лысенковщина изуродовала и методологию этих наук, изгнав из них в частности математику, и в первую очередь статистику. Последствия этого уродства и по сей день не позволяют биологии и медицине приблизиться к статусу точных наук. В статье описаны основные этапы этого явления и особенности методологии применения статистики в биологии и медицине, полученные автором при анализе нескольких сот диссертаций и монографий а также более 1500 статей в области экспериментальной биомедицины. 


Автор понимает, что поднятая им проблема достаточно обширна и не может быть полностью освещена в одной статье, содержащей лишь малую часть материалов готовящейся к изданию монографии, посвященной проблемам применения статистики в медицине и биологии. Автор будет признателен читателям, которые выскажут свой взгляд на эту проблему, а также смогут дополнить авторские материалы новыми примерами.  Обсуждаемая в данной статье проблема может быть решена только общими усилиями всех заинтересованных в этом специалистов.

Работая над этой статьей, мне довелось несколько раз встречаться с одним из ректоров медицинского вуза. Обсуждая с ним предлагаемые в статье меры, направленные на исправление этого неприглядного положения, я с изумлением услышал от него такой ответ: "Как ученый - я "За", а как ректор - "Против"! И если так мыслит и говорит ректор, доктор медицинских наук, член-корреспондент РАМН, то несложно понять отношение к этой проблеме рядовых сотрудников такого вуза. Не потому ли многие из них представлены в разделе КУНСТКАМЕРА, вместе с моим собеседником, своими диссертациями и статьями...

За те несколько лет, что прошли с момента публикации этой статьи, а также статей  "В новый век - с доказательной биомедициной"(ПОИСК, N 20 (522) 21 мая 1999) и "Куплю 500 диссертаций! (Медицинская Газета N10 за 14.02.2001)", практически ничего не изменилось. Да, в России стали писать и говорить о доказательной медицине, проводить конференции по этой тематике, а в некоторых медицинских вузах даже открыли центры доказательной медицины. Однако откроем биомедицинские журналы и диссертации, и станет ясно, что это не более чем дань моде... 

Материалы по науковедению

В новый век - с доказательной биомедициной

Кунсткамера
Один из моих коллег по Томскому госуниверситету долгое время собирал коллекцию под названием "Бредотека". В ней он коллекционировал разнообразные примеры бредовых идей, сообщений и высказываний. Другие собирают аналогичные коллекции под названием "Абсурдотека". Свою коллекцию образцов статистической некорректности, а подчас и невежества, мы решили назвать "Кунсткамера".
Открыт зал экспонатов журнала "Бюллетень экспериментальной биологии и медицины". Подведены итоги конкурса на эпиграфы к этому разделу

Новый экспонат КУНСТКАМЕРЫ: Диссертация Порываевой О.В., Барнаул, 2004 г. "...Полагаю, что отмеченных выше недостатков уже более чем достаточно, чтобы обратиться в ВАК РФ с предложением о повторном изучениии данной работы в экспертном совете ВАК.

Обновление раздела КУНСТКАМЕРА - диссертации "Содержание микронутриентов у школьников г. Сургута", "Организационно-методические условия оздоровительных занятий студенток специальной медицинской группы с диагнозом нейроциркуляторная дистония", Сургутский государственный университет.


Как две капли воды... Удивительные совпадения встречаются подчас в текстах журнальных статей, диссертаций и книг разных авторов. Этому феномену и посвящён данный раздел, который открывает ЭКСПЕРИМЕНТАЛЬНО-МЕДИЦИНСКАЯ ГАВРИЛИАДА".
Вы ко мне писали... (Переписка с нашими читателями)
- Выпуск 2
- Выпуск 1


1997 - 2018.© Василий Леонов. E-mail:

Доказательная или сомнительная? Медицинская наука Кузбасса: статистические аспекты.

Отклики читателей статьи "Доказательная или сомнительная?"

Возврат на главную страницу.

Возврат в КУНСТКАМЕРУ

Т. Кун "Структура научных революций"