Яндекс.Метрика А. И. Орлов. О применении статистических методов в медико-биологических исследованиях.
Каждый слышит то, что понимает. Гете

Часть учебно-методических материалов сайта, в том числе электронная библиотека, доступны только заказчикам работ по анализу данных для кандидатских и докторских диссертаций, а также слушателям системы дистанционного обучения и консультаций. Запрос на выполнение анализа данных, обучение и консультации направляйте на мэйл E-Mail редактора БИОМЕТРИКИ

Логистическая регрессия в медицине и биологии

Доказательная или сомнительная? Медицинская наука Кузбасса: статистические аспекты.

Почему и как надо учить медиков статистике?
Доклад на Международной конференции по доказательной медицине в Ереване (18 - 20.10.2012)

20 наиболее популярных ссылок, посещаемых читателями нашего сайта

http://www.biometrica.tomsk.ru/logit_8.htm
http://www.biometrica.tomsk.ru/erevan_4.html
http://www.biometrica.tomsk.ru/potencial.htm
http://www.biometrica.tomsk.ru/logit_1.htm
http://www.biometrica.tomsk.ru/Cardiology_1998_1.pdf
http://www.biometrica.tomsk.ru/freq2.htm
http://www.biometrica.tomsk.ru/erevan_3.html
http://www.biometrica.tomsk.ru/kamchat.htm
http://www.biometrica.tomsk.ru/student.htm
http://www.biometrica.tomsk.ru/kk.htm

http://www.biometrica.tomsk.ru/stat_cardio1.htm
http://www.biometrica.tomsk.ru/kuzbass6.htm
http://www.biometrica.tomsk.ru/leonov_2.pdf
http://www.biometrica.tomsk.ru/error.htm
http://www.biometrica.tomsk.ru/cluster_1.htm
http://www.biometrica.tomsk.ru/k_s.htm
http://www.biometrica.tomsk.ru/edu_1.htm
http://www.biometrica.tomsk.ru/principals.htm
http://www.biometrica.tomsk.ru/lis.htm
http://www.biometrica.tomsk.ru/PROON_2013_RU.pdf

Дисперсия жизни...
;Регистрационный код (если есть) 
; Открывать в новом окне?  ;Имя нового окна 
; Разрешение (1-8)  ; Скорость смены (1-255)  ; Задержка (миллисекунд)  ; Смена рисунков со спецэффектами ("YES" или "NO")  ;Произвольный рисунок поверх апплета  ;X смещение наложенного рисунка  ;Y смещение наложенного рисунка  ;Задержка освобождения памяти  ;Приоритет задачи (1..10)  ; Мин. время синхр. кадра (мс); Sorry, your browser doesn't support Java ; Сообщение для браузеров без поддержки Java (tm) 

Кликните по фотографии,
и вы сможете ...

О применении статистических методов в медико-биологических исследованиях

А. И. Орлов.

ВНИИ стандартизации Государственного комитета СССР по стандартам, Москва .

«Вестник Академии медицинских наук СССР». 1987. No.2. С.88-94.

Статистические методы применяются в большинстве научных работ в области медицины и биологии. Началом современного этапа теории статистических методов - математической статистики - можно считать основание К. Пирсоном (К. Pearson) в 1900 г. журнала “Biometrika”. В настоящее время в медико-биологических исследованиях используются статистические методы, разработанные в основном в первой трети XX века. Однако математическая статистика бурно развивалась и в последующие 50 лет [II]. Кроме решения новых задач, изучались свойства традиционных статистических методов, предлагались новые методы для применения в классических постановках.

СТАТИСТИЧЕСКИЙ АНАЛИЗ ДАННЫХ ДЛЯ ДИССЕРТАНТОВ

Центр БИОСТАТИСТИКА выполняет работы по статистическому анализу экспериментальных данных уже более 30 лет. В его составе исследователи России, США, Израиля, Англии, Канады и других стран. Услугами Центра пользуются аспиранты и докторанты в области медицины, биологии, социологии, психологии и т.д. Стандартные сроки анализа данных: для статей и докладов - 5-10 дней, для кандидатских диссертаций 1 месяц, для докторских диссертаций 1,5 месяца. (См. далее)

Отзывы заказчиков по статистическому анализу данных

Дистантное обучение биостатистике с помощью IP-телефонии. Информация о специализированных курсах и семинарах по прикладной биостатистике для студентов, аспирантов, докторантов и научных сотрудников НИИ и вузов работающих в области биологии, медицины, социологии, психологии и т.д. (См. далее)

Отзывы по дистантному обучению статистике

 

1. Задача проверки однородности

В ряде ситуаций назрела необходимость перехода от классических методов к современным. В качестве примера, разбор которого составляет основное содержание настоящей статьи, рассмотрим задачу проверки однородности двух выборок. Типичная постановка задачи в медицинских терминах такова: “Обследовано 75 больных с острым аппендицитом. Из них у 40 больных был катаральный аппендицит, а у 35 - флегмонозный. Необходимо определить, соответствует ли увеличение лейкоцитоза степени поражения аппендикса” [8].

В математико-статистических терминах постановка задачи такова: имеются две выборки x1, x2,...,xm и y1, y2,...,yn (т. е. наборы из m и п действительных чисел), требуется проверить их однородность. Термин “однородность” уточняется ниже. Противоположным понятием является “различие”. Можно переформулировать задачу: требуется проверить, есть ли различие между выборками. Если различия нет, то для дальнейшего изучения часто выборки объединяют.

В процитированном примере с аппендицитом первая выборка - значения лейкоцитоза у больных с катаральным аппендицитом, m=40, вторая - его значения у больных с флегмонозным аппендицитом, n=35.

2. Традиционный метод проверки однородности (критерий Стьюдента)

Для дальнейшего критического разбора опишем традиционный статистический метод проверки однородности. Вычисляют средние арифметические в каждой выборке

 

затем выборочные дисперсии

 

и статистику Стьюдента t, на основе которой принимают решение,

      (1)

По заданному уровню значимости к a и числу степеней свободы (m+n-2) из таблиц распределения Стьюдента находят критическое значение tкр. Если |t|>tкр, то гипотезу однородности (отсутствия различия) отклоняют, если же |t|<tкр, то принимают. (При односторонних альтернативных гипотезах вместо условия |t|>tкр проверяют, что t>tкр; эту постановку рассматривать не будем, так как в ней нет принципиальных отличий от обсуждаемой нами.)

Рассмотрим условия применимости традиционного метода проверки однородности, основанного на использовании статистики t Стьюдента, а также укажем более современные методы.

3. Вероятностная модель порождения данных

Для обоснованного применения математико-статистических методов необходимо прежде всего построить и обосновать вероятностную модель порождения данных. При проверке однородности двух выборок общепринята модель, в которой x1, x2,...,xm рассматриваются как результаты m независимых наблюдений некоторой случайной величины Х с функцией распределения F(x), неизвестной статистику, а y1, y2,...,yn - как результаты п независимых наблюдений, вообще говоря, другой случайной величины Y с функцией распределения G(x), также неизвестной статистику. Предполагается также, что наблюдения в одной выборке не зависят от наблюдений в другой.

Возможность применения модели в конкретной реальной ситуации требует обоснования. Независимость и одинаковая распределенность результатов наблюдений, входящих в выборку, могут быть установлены или исходя из методики проведения конкретных наблюдений, или путем проверки статистических гипотез независимости и одинаковой распределенности с помощью соответствующих критериев [1, 2, 5].

Бели наблюдались (т+п) различных больных, то описанную выше модель, как правило, можно применять. Если же, например, xi и yi - результаты наблюдения одного и того же больного до и после определенного лечебного воздействия, то рассматриваемую модель применять нельзя. (В этом случае Обычно строят выборку zi=xi-yi и используют статистические методы анализа одной выборки, а не двух.)

При дальнейшем изложении принимаем описанную выше вероятностную модель двух выборок.

4. Уточнения понятия однородности

Понятие “однородность”, т. е. “отсутствие различия”, может быть формализовано в терминах вероятностной модели различными способами.

Наивысшая степень однородности достигается, если обе выборки взяты из одной и той же генеральной совокупности, т. е. справедлива нулевая гипотеза

H0 : F(x)=G(x) при всех х.

Отсутствие однородности означает, что верна альтернативная гипотеза

H1 : F(x0)не равно G(x0)

хотя бы при одном значении аргумента x0. Если гипотеза H0  принята, то выборки можно объединить в одну, если нет-то нельзя.

В некоторых случаях целесообразно проверять не совпадение функций распределения, а совпадение некоторых характеристик случайных величин Х и Y-математических ожиданий, медиан, дисперсий, коэффициентов вариации и др. Например, однородность математических ожиданий означает, что справедлива гипотеза

H'0 : E(X)=E(Y),

где Е(Х) и E(Y)-математические ожидания случайных величин Х и Y, результаты наблюдений над которыми составляют первую и вторую выборки соответственно. Различие между выборками в рассматриваемом случае- это справедливость альтернативной гипотезы

H'1 : E(X)не равно E(Y),

Если гипотеза H0  верна, то и гипотеза H'0 верна, но из справедливости H'0  не следует справедливость H0 . В частности, если в результате обработки выборочных данных принята гипотеза H'0, то отсюда не следует, что две выборки можно объединить в одну. Однако в ряде ситуаций целесообразна проверка именно гипотезы H'0. Например, пусть изучается эффективность лечения определенного заболевания двумя препаратами; результаты наблюдения - число дней нетрудоспособности, а показатель эффективности лечения - среднее число дней нетрудоспособности на одного больного. Тогда для сравнения эффективности препаратов достаточно проверить гипотезу H'0 .

5. Классические условия применимости критерия Стьюдента

Пусть выполнены два классических условия применимости критерия Стьюдента, основанного на использовании статистики t, заданной формулой (1):

а) результаты наблюдений имеют нормальные распределения

F(x)=N(x; m1, s12) и G(x)=N(x; m2, s22)

с математическими ожиданиями m1 и m2 и дисперсиями s12 и s22 в первой и во второй выборках соответственно;

б) дисперсии результатов наблюдений в первой и второй выборках совпадают:

D(X)=s12=D(Y)=s22.

Если условия а) и б) выполнены, то нормальные распределения F(x) и G(x) отличаются только математическими ожиданиями, а поэтому обе гипотезы H0  и H'0  сводятся к гипотезе

H"0 : m1=m2,

а обе альтернативные гипотезы H1 и H'1 сводятся к гипотезе

H"1 : m1 не равно m2,

Если условия а) и б) выполнены, то статистика t при справедливости H"0имеет распределение Стьюдента с (т+п-2) степенями свободы. Только в этом случае описанный в п. 2 традиционный метод обоснован безупречно. Если хотя бы одно из условий а) и б) не выполнено, то нет оснований считать, что статистика t имеет распределение Стьюдента, поэтому применение традиционного метода, строго говоря, не обосновано.

6. О проверке условия нормальности

Предполагать нормальность распределения результатов медико-биологических наблюдений априори нет оснований. Следовательно, нормальность надо проверять. Разработано много статистических критериев для проверки нормальности распределения результатов наблюдений [2]. Однако проверка нормальности - более сложная и трудоемкая статистическая процедура, чем проверка однородности (как с помощью статистики t Стьюдента, так и с использованием непараметрических критериев, рассматриваемых ниже).

Для достаточно надежного установления нормальности требуется весьма большое число наблюдений. Так, чтобы гарантировать, что функция распределения результатов наблюдений отличается от некоторой нормальной не более чем на 0,01 (при любом значении аргумента), требуется порядка 2500 наблюдений. В большинстве медико-биологических исследований число наблюдений существенно меньше.

Есть и одна общая причина отклонений от нормальности: любой результат наблюдения записывается конечным (обычно 2-5) количеством цифр, а с математической точки зрения вероятность такого события равна 0.

Из сказанного выше следует, что распределение результатов медико-биологических наблюдений всегда более или менее отличается от нормального.

7. Последствия нарушения условия нормальности

Если условие а) не выполнено, то распределение статистики t не является распределением Стьюдента. Однако при справедливости H'0  и условии б) распределение t при росте объемов выборок приближается к стандартному нормальному распределению Ф(х)=N(x; 0, 1). К этому же распределению приближается распределение Стьюдента при возрастании числа степеней свободы. Другими словами, традиционный метод (критерий Стьюдента) можно использовать для проверки гипотезы H'0 при больших объемах выборок. При этом вместо таблиц распределения Стьюдента достаточно пользоваться таблицами стандартного нормального распределения Ф(х).

Сформулированное в предыдущем абзаце утверждение справедливо для любых функций распределения F(x) и G(x) таких, что E(X)=E(Y), D(X)=D(Y) и выполнены некоторые условия, обычно считающиеся справедливыми в реальных задачах [6, 18]. Если же E(X)¹E(Y), то при больших объемах выборок

P(t<x)»Ф(x-amn),             (2)

 где

.               (3)

Формулы (2) - (3) позволяют приближенно вычислять мощность t-критерия (точность возрастает при увеличении т и п).

8. О проверке условия равенства дисперсий

Иногда условие б) вытекает из методики получения результатов наблюдений, например, когда с помощью одного и того же прибора m раз измеряют характеристику первого объекта и п раз-второго, а параметры распределения погрешностей измерения при этом не меняются. Однако ясно, что в постановках задач типа рассмотренной в п. 1 (первая выборка - больные с катаральным аппендицитом, вторая - с флегмонозным) нет основании предполагать априори равенство дисперсий.

Целесообразно ли проверять равенство дисперсий статистическими методами, например с помощью F-критерия Фишера? Этот критерий основан на нормальности распределений результатов наблюдений, от которой неизбежны отклонения (см. п.6), причем в отличие от t-критерия его распределение сильно меняется при малых отклонениях от нормальности [3, 18]. Кроме того, F-критерий отвергает гипотезу D(X)=D(Y) лишь при большом различии выборочных дисперсий. Так, для данных о больных с острым аппендицитом [8] отношение выборочных дисперсий равно 1,95, т.е. существенно отличается от 1. Тем не менее, гипотеза о равенстве теоретических дисперсий принимается на 1% уровне значимости. Следовательно, при проверке однородности применение F-критерия для предварительной проверки равенства дисперсий нецелесообразно.

Итак, в большинстве медико-биологических задач условие б) нельзя считать выполненным.

9. Последствия нарушения условия равенства дисперсий

Если объемы выборок т и п велики, то распределение статистики t описывается с помощью только математических ожиданий Е(Х) и E(Y), дисперсий D(X), D(Y) и отношения объемов выборок:

P(t<x)»Ф(bmnx-amn),             (4)

где amn определено формулой (3),

.                  (5)

Если bmn¹1, то распределение статистики t отличается от заданного формулой (2), полученной в предположении равенства дисперсий. Когда bmn=1? В двух случаях - при m=n и при D(X) =D(Y). Таким образом, при больших и равных объемах выборок требовать выполнения условия б) нет необходимости. Если объемы выборок мало различаются, то bmn близко 1. 'Так, для данных о больных с острым аппендицитом [8] bmn= 0,987, где bmn - оценка bmn, полученная заменой в формуле (5) теоретических дисперсий на выборочные. 

10. Область применимости традиционного метода проверки однородности с помощью критерия Стьюдента

Подведем итоги рассмотрения t-критерия. Он позволяет проверять гипотезу H'0 о равенстве математических ожиданий, но не гипотезу H0 о том, что обе выборки взяты из одной и той же генеральной совокупности. Классические условия применимости критерия Стьюдента в подавляющем большинстве медико-биологических задач не выполнены. Тем не менее при больших и примерно равных объемах выборок его можно применять. При конечных объемах выборок традиционный метод носит неустранимо приближенный характер.

11. Критерий Крамера равенства математических ожиданий

Вместо критерия Стьюдента предлагаем для проверки H'0  использовать критерий Крамера [7], основанный на статистике

.                  (6)

При справедливости H'0 и больших объемах выборок распределение статистики Т приближается с помощью стандартного нормального распределения Ф(х), из таблиц которого предлагаем брать критические значения.

При т=п, как следует из формул (1) и (6), t=T. При т¹п этого равенства нет. В частности, при sx2 в (1) стоит множитель (m-1), а в (6)- множитель п.

Если E(X)¹E(Y), то при больших объемах выборок

P(T<X) » Ф(x-cmn),           (7)

где

.               (8)

При т=п или D(X)=D(Y), согласно формулам (3) и (8), amn = cmn, в остальных случаях равенства нет.

Применение критерия Крамера не менее обосновано, чем применение критерия Стьюдента. Дополнительное преимущество - не требуется равенства дисперсий D(X)=D(Y). Распределение статистики Т не является распределением Стьюдента, однако и распределение статистики t, как показано выше, не является таковым в реальных ситуациях.

Распределение статистики Т при объемах выборок т=п=6, 8, 10, 12 изучено нами совместно с Ю.Э.Камнем и Я.Э.Камнем методом статистических испытаний (Монте-Карло). Рассмотрены различные варианты функций распределения F(x) и G(x). Результаты показывают, что даже при таких небольших объемах выборок точность аппроксимации предельным стандартным нормальным распределением удовлетворительна.

12. Непараметрические методы. проверки однородности

В большинстве медико-биологических задач представляет интерес не проверка равенства математических ожиданий, а обнаружение различия генеральных совокупностей, из которых извлечены выборки, т.е. проверка гипотезы H0. Методы проверки гипотезы H0 позволяют обнаружить не только изменение математического ожидания, но и любые иные изменения функции распределения результатов наблюдений при переходе от одной выборки к другой: увеличение разброса, появление асимметрии и т. д. Как установлено выше, методы, основанные на использовании статистик t и Т, не позволяют проверять гипотезу H0. Поскольку априорное предположение о принадлежности функций распределения F(x) и G(x) к какому-либо определенному параметрическому семейству (например, семействам нормальных, логарифмически нормальных, гамма-распределений) обычно нельзя достаточно надежно обосновать, то для проверки H0 следует использовать методы, пригодные при любом виде F(x) и G(x), т.е. непараметрические методы. (Термин “непараметрический метод” означает, что при использовании этого метода нет необходимости предполагать, что функции распределения результатов наблюдений принадлежат какому-либо определенному параметрическому семейству.)

Для проверки гипотезы H0  разработано много непараметрических методов - критерии Смирнова, омега-квадрат (Лемана-Розенблатта), Вилкоксона (Манна-Уитни), Ван-дер-Вардена, Сэвиджа, хи-квадрат и др. [2, 5, 16]. Распределения статистик всех этих критериев при справедливости H0 не зависят от конкретного вида совпадающих функций распределения F(x)ºG(x). Следовательно, таблицами точных и предельных (при больших объемах выборок) распределений статистик этих критериев и их процентных точек [2, 16] можно пользоваться при любых непрерывных функциях распределения результатов наблюдений.

13. Каким из непараметрических критериев пользоваться?

Как известно [З], для выбора одного из нескольких критериев необходимо сравнить их мощности, определяемые видом альтернативных гипотез. Сравнению мощностей критериев посвящена обширная литература [10].

Хорошо изучены свойства критериев при альтернативной гипотезе сдвига

H1c : G(x)=F(x-d), d не равно 0.

Критерии Вилкоксона, Ван-дер-Вардена и ряд других ориентированы для применения именно в этой ситуации. Если m раз измеряют характеристику одного объекта и п раз - другого, а функция распределения погрешностей измерения произвольна, но не меняется при переходе от объекта к объекту (это более жесткое требование, чем в п.8), то рассмотрение гипотезы H1c оправдано. Однако в большинстве медико-биологических исследований, в частности при анализе данных о больных с острым аппендицитом (п.1), нет оснований считать, что функции распределения, соответствующие выборкам, различаются только сдвигом.

Естественно потребовать, чтобы рекомендуемый для массового использования в медико-биологических исследованиях критерий однородности был состоятельным [З], т.е. чтобы при любых отличных друг от друга функциях распределения F(x) и G(x) (другими словами, при справедливости H1) вероятность отклонения гипотезы H0 стремилась к 1 при увеличении объемов выборок т и п. Из перечисленных выше критериев состоятельными являются только критерии Смирнова и омега-квадрат. В частности, критерий Вилкоксона не позволяет отвергнуть гипотезу H0 для таких функций распределения F(x) и G(x), что

.                (9)

Если F(x) и G(x) не совпадают, но удовлетворяют соотношению (9), то при больших т и п гипотеза H0 принимается столь же часто, как и в случае совпадающих F(x)ºG(x).

Проведенное нами совместно с Ю.Э.Камнем и Я.Э.Камнем исследование мощности (методом статистических испытаний) первых четырех из перечисленных выше критериев подтвердило преимущество критериев Смирнова и омега-квадрат и при объемах выборок 6-12.

14. Критерий Смирнова однородности двух выборок

Он предложен членом-корр. АН СССР Н.В.Смирновым в 1939 г. [15]. Единственное ограничение - функции распределения F(x) и G(x) должны быть непрерывными. Напомним, что значение эмпирической функции распределения в точке х равно доле результатов наблюдений в выборке, меньших х. Критерий Смирнова основан на использовании эмпирических функций распределения Fm(x) и Gn(x), построенных по первой и второй выборкам соответственно. Значение статистики Смирнова

сравнивают с соответствующим критическим значением [2] и по результатам сравнения принимают или отклоняют гипотезу Н0. Практически значение статистики Dm,п рекомендуется [2] вычислять по формулам

,

,

,

где x'1<x'2<…x'm - элементы первой выборки x1,x2,…,xm , переставленные в порядке возрастания, а y'1<y'2<…y'm  - элементы второй выборки y1,y2,…,ym , также переставленные в порядке возрастания.

Недавно разработаны новые алгоритмы и программы для ЭВМ, позволяющие гораздо быстрее, чем раньше, рассчитывать точные распределения, процентные точки и достигаемый уровень значимости [5] для статистики Смирнова [17]. Для критерия омега-квадрат такого алгоритмически-программного обеспечения пока нет. Поэтому мы рекомендуем для проверки однородности применять статистику Смирнова. По нашему мнению, статистики Стьюдента, Вилкоксона и др. допустимо использовать лишь в отдельных частных случаях, рассмотренных выше.

15. О внедрении современных методов прикладной статистики в практику медико-биологических исследований

Даже из проведенного выше разбора лишь одной из типичных статистических задач-задачи проверки однородности двух выборок - можно сделать вывод о целесообразности организации работ по критическому анализу сложившейся в медико-биологических исследованиях практики статистической обработки данных и по внедрению накопленного арсенала методов прикладной статистики [13]. По нашему мнению, широкого внедрения заслуживают, в частности, методы многомерного статистического анализа [4], статистики объектов нечисловой природы [12, 14]. Очевидно, рассматриваемые работы должны быть плановыми, организационно оформленными, проводиться мощными самостоятельными подразделениями. Целесообразно создание службы статистических консультаций [9] в системе научно-исследовательских учреждений медико-биологического профиля.

ЛИТЕРАТУРА

1. Айвазян С.А. Статистическое исследование зависимостей. - М., 1968.

2. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. - 3-е изд. - М., 1983.

3. Боровков А.А. Математическая статистика. - М. 1984.

4. Волынский Ю.Д; Курочкина А.И. // Кардиология. - 1980. - № 5.-С. 88-91.

5. Гаек Я., Шидак 3. Теория ранговых критериев: Пер. с англ.-М., 1971.

6. Елисеев В.Г. // Прикладная статистика. - М., 1983. - С. 265-267.

7. Крамер Г. Математические методы статистики: Пер. с англ. - 2-е изд. - М., 1975.

8. Мисюк Н.С., Мастыкин А.С., Гришков Е.Г. Основы математического прогнозирования заболеваний человека. - Минск, 1972.

9. Налимов В.В. Теория эксперимента. - М., 1971.

10. Никитин Я.Ю. // Теория вероятностей и ее применения. - 1984. - Т.29, №1. - С.79-92.

11. Орлов А.И. // Современные проблемы кибернетики: (Прикладная статистика). - М., 1981.-С. 3-14.

12. Орлов А.И. // Анализ нечисловой информации в социологических исследованиях. - М., 1985.-С. 58-92.

13. Прикладная статистика. - М., 1983.

14. Раушенбах Г.В., Филиппов О.В. Экспертные оценки в медицине. - М., 1983.

15. Смирнов Н.В. // Бюл. МГУ. Сер.А. - 1939. - Т.2, №2. - С.3-14.

16. Холлендер М., Вулф Д.А. Методы непараметрической статистики. Пер. с англ. - М., 1983.

17. Черномордик О.М. Непараметрические критерии проверки однородности нескольких выборок: Дис... канд. физ.-мат. наук. - М., 1984.

18. Шеффе Г. Дисперсионный анализ: Пер. с англ. - 2-е изд. - М., 1980.


1997 - 2017.© Василий Леонов

Доказательная или сомнительная? Медицинская наука Кузбасса: статистические аспекты.

Возврат на главную страницу

Возврат в КУНСТКАМЕРУ

Т. Кун "Структура научных революций"