Яндекс.Метрика Мнимые повторности (pseudoreplications) в экологических исследованиях: проблема, не замеченная российскими учеными
Каждый слышит то, что понимает. Гете

Часть материалов сайта доступна только подписчикам. На период подписки они имеют возможность оперативной консультации по статистическому анализу биомедицинских данных. Запрос на подписку направляйте редактору БИОМЕТРИКИ.

Дисперсия жизни...
;Регистрационный код (если есть) 
; Открывать в новом окне?  ;Имя нового окна 
; Разрешение (1-8)  ; Скорость смены (1-255)  ; Задержка (миллисекунд)  ; Смена рисунков со спецэффектами ("YES" или "NO")  ;Произвольный рисунок поверх апплета  ;X смещение наложенного рисунка  ;Y смещение наложенного рисунка  ;Задержка освобождения памяти  ;Приоритет задачи (1..10)  ; Мин. время синхр. кадра (мс); Sorry, your browser doesn't support Java ; Сообщение для браузеров без поддержки Java (tm) 

Кликните по фотографии,
и вы сможете ...

Мнимые повторности (pseudoreplications) в экологических исследованиях: проблема, не замеченная российскими учеными

М. В. Козлов
Секция экологии, Биологический факультет, Университет г. Турку,
20014 Турку, Финляндия

Журнал общей биологии, 2003,
том 64, № 4, с. 292-307.

Использование статистических методов для выявления эффекта эксперимента в тех случаях, когда (1) воздействие применялось в одной повторности (хотя из единственной повторности обычно было взято несколько выборок, ошибочно рассматривавшихся как повторности), либо (2) экспериментальные повторности не были статистически независимыми, представляет собой серьезную методическую ошибку. Такого рода ошибки, детально проанализированные Хёлбертом (Hurlbert, 1984), получили название мнимых повторностей (pseudoreplication). По не вполне понятным причинам проблема мнимых повторностей, с которой международное научное сообщество успешно борется уже почти двадцать лет, выпала из поля зрения большинства российских экологов. В результате доля статей, основывающихся на мнимых повторностях, в российских академических журналах в 1997 - 2017 годах оказалась почти вдвое выше (47 %), чем в англоязычной периодике в 1960-1980 годах, то есть до появления статьи Хёлберта (27 %). Такую ситуацию вряд ли можно считать нормальной, тем более что проблема мнимых повторностей возникает не только из-за ошибок в планировании эксперимента, но и вследствие некорректного применения статистического анализа к результатам хорошо спланированного исследования. С использованием примеров, взятых из статей российских экологов, я кратко излагаю основные причины, приводящие к появлению мнимых повторностей различного рода, а также привожу рекомендации по планированию экологических экспериментов и корректной интерпретации их результатов.

В 1984 году Стюарт Хёлберт (Hurlbert, 1984) опубликовал критический анализ 156 экспериментальных экологических статей, опубликованных в течение 1960-1980 гг. в ведущих англоязычных журналах. Оказалось, что в 27 % случаев исследуемое воздействие применялось в одной повторности, либо использовавшиеся повторности не были статистически независимыми; тем не менее, для доказательства эффекта экспериментального воздействия использовались статистические методы. Ошибки такого рода получили название мнимых повторностей (pseudoreplication) (Hurlbert, 1984).


В англоязычной литературе статья Хёлберта произвела ошеломляющий эффект – многие ученые с изумлением обнаружили, что ранее опубликованные материалы в принципе не способны ни подтвердить, ни отвергнуть проверяемую гипотезу из-за некорректного планирования эксперимента и/или ошибочного толкования термина "независимая повторность". Указанная публикация стала классической уже к середине 1990х годов (Heffner et al., 1996). База данных (Science Citation Index) Института научной информации (Institute for Scientific Information) за 1987-2001 годы включает 2105 ссылок на статью Хёлберта (Hurlbert, 1984). Термин "pseudoreplication" прочно вошел в лексикон как экологии, так и прикладной статистики; проблема мнимых повторностей в экологических исследованиях широко обсуждается (Riley, Edwards, 1998; Morrison, Morris, 2000; Ramirez et al., 2000; Kroodsma, 2001; Mantgeim et al., 2001; Oksanen, 2001), а количество публикаций, основанных на мнимых повторностях, стало уменьшаться, особенно в престижных журналах (Heffner et al., 1996; Kroodsma et al., 2001).


При подготовке курса лекций по теории планирования эксперимента (прочитанных осенью 2000 года в Кольском научном центре РАН) я неожиданно обнаружил, что понятие мнимых повторностей совершенно неизвестно подавляющему большинству российских экологов. Просмотр доступной русскоязычной литературы по прикладной статистике (более 20 учебников и учебных пособий, изданных после 1987 года) показал, что термин "pseudoreplication" (либо его аналог) не встречается ни в одном из изданий. Более того, по данным Института научной информации, в базу данных которого включены ведущие журналы Российской АН, работа Хёлберта ни разу не цитировалась в русскоязычной периодике, что на фоне более чем двух тысяч ссылок в англоязычных журналах выглядит несколько неожиданно. Такое положение вещей вряд ли можно считать удовлетворительным, поскольку (как будет показано ниже) значительное число публикаций российских ученых основывается на мнимых повторностях.
Главная задача настоящей статьи – обратить внимание российских экологов на важность тщательного планирования экспериментальных работ и, в частности, привлечь особое внимание к проблеме мнимых повторностей. С этой целью я кратко излагаю основные положения, содержащиеся в статье Хёлберта (Hurlbert, 1984), и иллюстрирую их примерами типичных ошибок, преимущественно взятыми из статей российских ученых.

Поскольку русские варианты многих терминов нельзя считать общепринятыми, в тексте статьи приведены также английские варианты ключевых понятий. К сожалению, объем журнальной публикации не позволяет даже кратко изложить информацию, необходимую для планирования экологических экспериментов и корректной обработки их результатов. Инструментом для борьбы с проблемой мнимых повторностей служат знания по прикладной статистике; в качестве базового справочника можно рекомендовать любое издание пособия Сокала и Рольфа (Sokal, Rohlf, 2000). Кроме того, важная методологическая информация содержится в учебнике Андервуда (Underwood 1997) и в сборнике статей под редакцией Шейнера и Гуревич (Scheiner, Gurevitch, 1993); второе издание этого сборника вышло в свет в 2001 году.


Настоящая статья охватывает гораздо меньший круг вопросов, чем обзор Хёлберта (Hurlbert, 1984), ознакомиться с которым было бы крайне полезно всем экологам – тем более что журнал Ecological Monographs (в котором статья опубликована) имеется во многих подразделениях Библиотеки РАН. Проблема мнимых повторностей – общая проблема мирового научного сообщества, и отнестись к ней следует со всей возможной серьезностью.

ГЕНЕРАЛЬНАЯ СОВОКУПНОСТЬ, ВЫБОРКА, И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ЭКСПЕРИМЕНТА

       Как правило, экологи распространяют (экстраполируют) свои выводы на более широкий круг объектов, чем объекты, непосредственно изученные в ходе эксперимента. Реакция индивидуального дерева ели на применение удобрений вряд ли представляет научный либо практический интерес; то же самое можно сказать и об отдельно взятом участке елового леса. Постановка задачи, как правило, предполагает, что выводы можно будет применять к генеральной совокупности – например, ко всем еловым лесам (с возможными ограничениями по географическому распространению, возрасту и другим параметрам). Поставить эксперимент на генеральной совокупности мы, как правило, не в состоянии; поэтому для проведения эксперимента используется некая выборка.


Поскольку выводы, полученные при изучении выборки, будут логически распространены на всю генеральную совокупность, получение (или невозможность получения) адекватной выборки, как правило, определяет дальнейший ход работы. Одна из наиболее обычных ошибок – неоправданное обобщение частного (при заданной методике получения выборки) результата. Здравый смысл подсказывает, что изучение сосновых лесов Подмосковья не позволяет делать выводы о всех лесах мира; тем не менее изучение растений, посеянных на одной грядке, часто служит основой для выводов об экологических особенностях вида в целом.


Пример 1. Малышева и Малаховский (2000) озаглавили свою статью "Пожары и их влияние на растительность сухих степей". Авторы использовали множественное число ("пожары"), в то время как статья описывает последствия одного пожара. Более того, авторы не располагают данными о состоянии выгоревшего участка степи до пожара -  они лишь предполагают, что сравниваемые участки "до пожара относились к одной ассоциации и составляли один контур". Таким образом, авторы не только приписали различия между одновременно изученными участками степи воздействию пожара (основываясь лишь на предположении, а не на объективных данных), но и распространили свои выводы (основанные на наблюдении без повторностей) на воздействие всех пожаров на растительность всех сухих степей. Замечу, что статистический анализ эффектов, вызванных пожарами, довольно сложен; существуют различные точки зрения на то, что именно считать независимыми повторностями (Mantgeim et al., 2001).


Пример 2 (из Hurlbert, 1984, p. 188, с изменениями). Задача: оценить скорость разложения березовых листьев на глубинах около 1 м в озерах Кольского полуострова. Метод: 40 мешков из капроновой сетки наполняют березовыми листьями, взвешивают, помещают на дно в прибрежной части озера, вынимают через год и определяют потерю веса. Существуют четыре возможных варианта экспериментальных планов, которым соответствуют различные генеральные совокупности (то есть границы, в пределах которых можно обобщать полученные результаты):

  1. Все 40 мешков опущены в оз. Большой Вудъявр на участке, примыкающем к ботаническому саду. Результаты можно применять только к исследованному участку озера.
  2. Все 40 мешков опущены в оз. Большой Вудъявр по всему периметру с примерно равными интервалами. Результаты можно применять к исследованному озеру в целом.
  3. Мешки опущены на дно четырех озер, ближайших к г. Кировск, по 10 мешков в одно озеро. Результаты (по-видимому) можно применять к озерам центральной (горной!) части Кольского полуострова, но они вряд ли могут быть распространены на равнинные озера.
  4. Мешки опущены на дно десяти озер, выбранных случайным образом из всех озер Кольского полуострова (составлен пронумерованный список; выбор осуществлен с помощью таблицы случайных чисел), по 4 мешка в одно озеро. Результаты можно применять к озерам Кольского полуострова в целом.

       Очевидно, что только план (4) позволяет корректно решить поставленную задачу (то есть распространить вывод на все озера Кольского полуострова); тем не менее, на практике (в лучшем случае!) будет применен план (3). Основной недостаток этого плана – получение пространственно скоррелированных наблюдений и, как результат, заниженная оценка изменчивости изучаемых параметров (Laberge et al., 2000).


Возникает закономерный вопрос: что делать, если исследователь просто не в состоянии реализовать план (4)? Ответ прост: переформулировать задачу так, чтобы она соответствовала возможностям исследователя, например плану (3). Тогда, сделав вероятностный вывод о скорости разложения листьев в озерах центральной части Кольского полуострова, исследователь может обсудить применимость (или неприменимость) результата к озерам других регионов – однако этот вывод будет уже не вероятностным (статистическим), а интуитивным.


Хотя любое выборочное исследование ставится с целью получения информации о генеральной совокупности, очевидно, что полная достоверность достигается только при изучении всей генеральной совокупности. Таким образом, выборочные параметры выступают в качестве приближенных оценок генеральных параметров; однако при корректном планировании эксперимента методы математической статистики позволяют строго определить интервал, в который (с заданной степенью достоверности) попадет значение генерального параметра. Если эксперимент спланирован некорректно, исследователь лишается возможности применить статистические методы и, как следствие, не может делать вероятностные выводы о генеральной совокупности.

ПОВТОРНОСТЬ В КОНТРОЛИРУЕМОМ ЭКСПЕРИМЕНТЕ

       Центральным понятием при планировании контролируемого (manipulative) эксперимента служит экспериментальная единица (experimental unit) – наименьшее подразделение исходного материала, которое может быть подвергнуто воздействию изучаемого фактора независимо от воздействия на другие экспериментальные единицы. Такая независимая экспериментальная единица рассматривается как истинная повторность (true replicate) при статистическом анализе данных. В русском языке экспериментальная единица часто обозначается словом "повторность" (replication). Замечу, что повторность далеко не всегда совпадает с выборкой; ошибки в разграничении этих понятий наиболее часто приводят к серьезным просчетам при интерпретации результатов экологических исследований.


Пример 3. Смирнов (2001) сравнивал различные характеристики растительности внутри огороженного участка леса (ограда использовалась для того, чтобы исключить влияние лосей) и вне этого участка. В каждом из двух вариантов опыта (огороженный и неогороженный участки) было заложено 35 площадок (=выборок); однако эти площадки нельзя считать независимыми друг от друга. Использование данного экспериментального плана действительно позволяет установить различия между двумя участками леса; однако автор не вправе делать вывод о том, что причиной наблюдаемых различий стало огораживание. С равной вероятностью я могу предположить, что обнаруженные автором различия между двумя участками леса вызваны различиями в микрорельефе, химизме почвы и множестве других неучтенных факторов – ведь двух идентичных участков леса просто не существует!

Представьте себе, что Вы один раз подбросили пятак и копейку; выпали орел и решка. Станете ли Вы делать вывод о том, что пятак всегда падает орлом вверх и этим отличается от копейки? (Замечу, что 35 площадок в пределах огороженного участка эквивалентны 35 наблюдениям различных участков однократно подброшенной монеты, а вовсе не 35 подбрасываниям монеты).
Предыдущий пример наглядно показывает, что исследователи обычно осознают необходимость проведения более чем одного наблюдения, однако далеко не всегда понимают различие между зависимыми и независимыми наблюдениями. Следовательно, один из первых этапов планирования эксперимента – определение того, что считать повторностью в конкретном исследовании, и обеспечение как минимум двух (лучше – больше) независимых повторностей для каждой градации применяемого воздействия. Так, в примере 3 для решения поставленной автором задачи необходимо было использовать как минимум 2 различные огороженные площадки (=независимые повторности) и 2 контрольные площадки. Необходимо четко представлять себе, что "физическое содержание" понятия "независимая повторность" определяется как задачами исследования, так и методикой проведения эксперимента. Так, при изучении влияния удобрений на рост сосны отдельно взятое дерево может быть как независимой повторностью (если удобрения вносили под случайным образом выбранные деревья), так и мнимой повторностью (если удобрения вносили на экспериментальные площадки, на каждой площадке изучали несколько деревьев, и характеристики индивидуальных деревьев использовали в статистическом анализе); в последнем случае истинной повторностью будет экспериментальная площадка.


Мнимые повторности возникают не только из-за некорректного планирования эксперимента, но и при анализе эффектов уже произошедших воздействий. Так, в примере 1 площадки, заложенные в пределах выгоревшего (либо контрольного) участка,  представляют собой мнимые повторности: поскольку изучаемое воздействие (пожар) произошло однократно, то истинная (независимая) повторность для данного воздействия одна – выгоревший участок степи.


Сказанное выше не следует понимать как запрет на взятие нескольких выборок в пределах одной повторности. Такой экспериментальный план повышает точность оценки интересующего нас параметра, однако количество выборок никак не влияет на число степеней свободы статистической модели. На практике это означает, что значения, полученные при анализе нескольких выборок из одной повторности, следует усреднить: одной повторности должно соответствовать одно значение интересующей исследователя переменной (вопрос подробно рассматривается на одном из сайтов Интернета, посвященном прикладной статистике: http://www.stat.vt.edy/~olover/Subsampl.html). Другой способ анализа подобных данных – использование иерархических (nested) статистических моделей.

ИСТОЧНИКИ ОШИБОК В КОНТРОЛИРУЕМОМ ЭКСПЕРИМЕНТЕ

       Все контролируемые эксперименты подвержены различного рода влияниям (как случайным, так и закономерным), и эти влияния (классифицированные в таблице 1) могут послужить причиной получения ошибочных выводов. Успех эксперимента, таким образом, зависит от способности исследователя уменьшить воздействие этих факторов настолько, чтобы они не могли повлиять на конечный результат, либо учесть воздействие этих факторов и отделить его от изучаемого эффекта. В таблице 1 указаны некоторые способы устранения  возможных последствий путем составления соответствующего плана эксперимента.

Таблица 1. Возможные источники ошибок и способы их устранения в контролируемом эксперименте (из: Hurlbert. 1984. р. 191. с изменением)

№ п/п

Источник ошибок

Способы устранения

1

Изменение объекта с течением

Наличие контроля.

2

Эффект процедуры

Наличие контроля.

3

Эффект экспериментатора

Случайное соотнесение экспериментальных единиц с комбинациям изучаемых факторов (воздействиями).
Рандомизация в проведении всех процедур. Слепой тест.

4

Случайная ошибка экспериментатора

Наличие более чем одной повторностн для каждой комбинации изучаемых факторов.

5

Исходные различия между экспериментальными единицами

Наличие более чем одной повторностн для каждой комбинации изучаемых факторов.

6

Случайные неконтролируемые события в ходе эксперимента

Наличие более чем одной повторностн для каждой комбинации изучаемых факторов. Перемешивание комбинаций изучаемых факторов

Большинство из этих способов следует считать обязательными - даже если экспериментатор убежден в том, что некоторый источник помех отсутствует либо его эффект пренебрежимо мал. К числу критических параметров экспериментального плана относятся:

  1. наличие контрольных повторностей;
  2. наличие более чем одной повторности для каждой комбинации изучаемых факторов (replication);
  3. независимость повторностей;
  4. случайное соотнесение каждой из комбинаций изучаемых факторов с определенной экспериментальной единицей (randomization);
  5. «перемешивание» изучаемых воздействий (interspersion).

       В экспериментах с биологическими системами необходимость использования контроля диктуется в первую очередь тем, что система всегда претерпевает некоторые изменения с течением времени, и эти изменения могут быть учтены только при наличии контроля. Если имеется твердая уверенность в неизменности объекта, для демонстрации эффекта достаточно провести замеры до и после воздействия; однако эксперименты такого типа имеют крайне ограниченное применение в экологии.


Пример 4. Остроумов (2000) изучал влияние химических сигналов на количество поднимающихся по ручью самок и самцов кеты. До применения экстрактов семенников и овариальной жидкости рыбы не выходили из пруда в ручей, однако стали заплывать в поток через 40 мин после внесения в него экстракта. В данном случае мы имеем дело с наблюдением без повторностей и без контроля, в котором связать наблюдаемый эффект (первый заход рыб в ручей) с применением экстракта можно только логически, но отнюдь не статистически – схема опыта не исключает возможности случайного совпадения событий. Кроме того, (1) последовательность внесения различных веществ также могла повлиять на результат, (2) поднимавшиеся по ручью рыбы не возвращались обратно в пруд к началу следующего эксперимента, то есть второй эксперимент ставился на популяции рыб, которые по каким-либо причинам  не отреагировали на вещество, внесенное в ходе первого эксперимента. Следовало не повторять один и тот же опыт в единственном ручье, а провести одинаковые опыты в различных ручьях.


Пример 5. Ильяшук и Ильяшук (2000) провели палеоэкологический анализ остатков комаров-звонцов в одном озере в зоне промышленного загрязнения. Различия в структуре сообщества до и после пуска комбината авторы интерпретировали как результат загрязнения. В данном случае мы также имеем дело с наблюдением без повторностей и без контроля, в котором связать изменение состава сообщества с промышленным загрязнением даже логически крайне сложно. Наблюдаемые изменения можно, например, объяснить глобальным потеплением; для проверки гипотезы о влиянии загрязнения следовало бы проанализировать как минимум два загрязненных и два незагрязненных озера, хотя для выявления эффектов загрязнения может потребоваться существенно бoльшая выборка. В частности, исследование комаров-звонцов в 22 Канадских озерах с различным уровнем загрязнения показало, что ни видовое разнообразие, ни численность не зависели от кислотности воды; абиотические параметры среды в целом объясняли лишь 9 % наблюдаемой изменчивости (Halvorsen et al., 2001).

ПОВТОРЯЕМОСТЬ, РАНДОМИЗАЦИЯ, И НЕЗАВИСИМОСТЬ ВЫБОРОК

       Наличие более чем одной повторности (replication) для каждой комбинации изучаемых факторов, равно как и случайное соотнесение каждой из комбинаций изучаемых факторов с определенной экспериментальной единицей (randomization), выполняют двоякую функцию: увеличивают точность результата и позволяют применять статистические методы для получения логических выводов. Таблица 1 отражает только первую функцию – очевидно, что с увеличением числа повторностей (объема выборки) снижается вероятность случайного отклонения от истинного (генерального) значения параметра. Рандомизация уменьшает возможное влияние экспериментатора на результат эксперимента, тем самым приближая выборочное значение к истинному (существующему в генеральной совокупности) значению. Необходимо подчеркнуть, что рандомизация требуется не только при соотнесении воздействия с определенной экспериментальной единицей, но и при определении последовательности проведения всех процедур.


Пример 6 (экспериментальный план автора). Оценивали влияние промышленного загрязнения на эффективность фотосинтетической системы II у березы извилистой. Изучаемые участки в зоне действия комбината цветной металлургии расположены вдоль шоссе, пересекающего загрязненную территорию по направлению с юга на север. Известно, что один из замеряемых параметров (t1/2 – время нарастания ответа до половины максимального значения) сильно зависит от температуры воздуха. Исследователь начинает работу утром на одной из крайних (контрольных) точек (южная граница зоны воздействия выбросов), в течение первой половины дня движется по шоссе к комбинату, делает остановку на обед в городе, а затем удаляется от него и к вечеру прибывает на другую контрольную точку (на северной границе зоны воздействия выбросов). В этом случае есть все основания считать, что полученная зависимость t1/2 от расстояния до комбината по крайней мере частично вызвана суточными колебаниями температуры, поскольку все замеры на наиболее загрязненных площадках проводились в середине дня, когда температура воздуха в среднем значительно выше, чем утром и вечером. Полностью рандомизированный план требует посещения экспериментальных площадок в порядке, определенном с помощью таблицы случайных чисел; однако при больших размерах зоны загрязнения (расстояние между крайними точками 63 км) такой план крайне непрактичен (средний ожидаемый пробег машины около 450 км). Промежуточный вариант – для каждой точки случайным образом (например, подбрасыванием монеты) определяют принадлежность к первой либо второй серии измерений; первая серия наблюдений выполняется в течение первой половины дня при движении с юга на север, вторая – во второй половине дня при движении с севера на юг (пробег машины 126 км); при проведении следующей серии замеров порядок посещения площадок изменяется на противоположный.


Со статистической точки зрения, только рандомизация (то есть случайный выбор из всех возможных вариантов) позволяет корректно оперировать с вероятностями, которыми определяется то или иное событие. Это и только это условие дает возможность вычисления значений статистических критериев и точного определения альфа (type I error: вероятность ошибки первого рода – отклонение истинной гипотезы). Если принцип рандомизации нарушен, то есть выбор экспериментальной единицы для заданного воздействия не случаен, значение альфа определить нельзя; в этом случае интерпретация результатов приобретает оттенок субъективности.

ПРОСТРАНСТВЕННОЕ РАЗМЕЩЕНИЕ (ПЕРЕМЕШИВАНИЕ) ПОВТОРНОСТЕЙ

       В измерительных (mensurative) полевых исследованиях повторности исходно изолированы друг от друга, и их пространственную приуроченность мы изменить не в силах. Так, в примере 6 мы не можем «перемешать» площадки так, чтобы участки с сильным и слабым загрязнением чередовались. Если же мы планируем контролируемый (manipulative) эксперимент (например, внесение тяжелых металлов в почву), то первоочередной задачей исследователя становится правильное размещение экспериментальных площадок; некорректный экспериментальный план может свести на нет всю работу. Очевидно, что загрязняемые и контрольные площадки должны быть определенным образом перемешаны (interspersed).


Во многих случаях перемешивание достигается более или менее автоматически, путем случайного (randomized) соотнесения объекта (experimental unit) и воздействия (treatment). Следует помнить, что с практической точки зрения перемешивание важнее рандомизации: рандомизация описывает процесс, который устраняет возможные погрешности и позволяет корректно определить вероятности ошибки первого рода (альфа), в то время как перемешивание выдвигает требования к физической структуре эксперимента, проще говоря – к тому, как объекты должны быть расположены в пространстве (или времени).


Пример 7 (по мотивам примеров 4-5 из Hurlbert, 1984, p. 193). Необходимо изучить влияние загрязнения тяжелыми металлами на скорость разложения листьев берез. Мы собрали листья с 5 берез в грязном месте и 5 берез в чистом месте, упаковали навески в капроновые сетки, и выбрали способ размещения наших экспериментальных единиц (сеток) в природе.

  1. Мы выбрали две «идентичные» площадки (А и Б), на одной (А) разложили все пакеты с загрязненными листьями, на другой (Б) – все пакеты с чистыми листьями. Поскольку "грязные" и "чистые" пробы не перемешаны, мы не сможем отличить эффект загрязнения от эффекта площадки; вывод может звучать только так: на площадке А загрязненные листья разлагались медленнее чем / с той же скоростью как / быстрее чем чистые листья на площадке Б. Помимо этого недостатка (ошибка № 5, табл. 1), эксперимент не застрахован против случайных событий (ошибка № 6).
  2. Мы выбрали одну площадку (В) и в пределах неё случайным образом разложили все пакеты. Поскольку "грязные" и "чистые" пробы перемешаны, но площадка всего одна, вывод может звучать только так: на площадке В загрязненные листья разлагались медленнее чем / с той же скоростью как / быстрее чем чистые листья. Ошибка № 5 устранена, и если нас интересовало исключительно сравнение выборок в конкретных экспериментальных условиях, такой экспериментальный план позволяет решить поставленную задачу (смотри, например, Шварц и др., 1999). Однако эксперимент по-прежнему не застрахован против случайных событий (ошибка № 6). Кроме того (и это более важно!), выводы нельзя распространить за пределы нашей площадки.
  3. Мы выбрали несколько площадок в интересующем нас районе (в определенном типе леса, при определенном уровне загрязнения…) и в пределах каждой площадки случайным образом разложили пробы как загрязненных, так и чистых листьев. В этом случае вывод можно распространить на интересующий нас класс объектов: в интересующем нас районе загрязненные листья разлагались медленнее чем / с той же скоростью как / быстрее чем  чистые листья. Помимо прочих достоинств, этот экспериментальный план устраняет ошибку № 6: даже если что-то произойдет с одной из площадок, мы всё равно получим некоторый результат.

       Рисунок 1 иллюстрирует три приемлемых (П) и четыре неприемлемых (Н) способа пространственного размещения экспериментальных единиц, к которым применены два типа воздействия. Отмечу, что вариант Н-5 повторяет вариант Н-4 по числу независимых экспериментальных единиц, поэтому неприемлемых вариантов всего четыре, а не пять.

Рис. 1. Схематическая иллюстрация приемлемых (класс П) и неприемлемых (класс Н) способов пространственного размещения (перемешивания) экспериментальных единиц (квадратов), к которым применены два типа воздействия (черные и белые квадраты). Из Hurlbert (1984) с изменениями; пояснения в тексте.


Полностью рандомизированная схема (completely randomized design; П-1). Простейшая рандомизация – наиболее последовательный способ соотнесения воздействий с экспериментальными единицами. Этот способ в полевых исследованиях применяется относительно редко, особенно когда экспериментальные единицы достаточно велики (озера, поля, выделы площадью 1 гектар). В подобных случаях исследователь обычно использует небольшое (2-4) число повторностей, а при работе с малым числом повторностей рандомизация часто приводит к вариантам типа Н-1 (реальные примеры приводит Hurlbert, 1984, fig. 2). Легко подсчитать, что для 8 площадок (как на рис. 1) вероятность случайного выпадения варианта Н-1 составляет около 3%; для 6 площадок – около 10%; для четырех площадок – 50%. В этих случаях произвольный выбор, учитывающий требование перемешивания, предпочтительнее случайно полученного, но не перемешанного, варианта.


Рандомизированная блочная схема (randomized block design; П-2). Этот способ дает хорошие результаты и часто используется в полевых экспериментах. В приведенном на рис. 1 примере восемь площадок разбиты на четыре блока, а в пределах каждого блока воздействия распределены случайным образом. Такой способ «ограниченной рандомизации» существенно уменьшает вероятность выбора пространственно сгруппированных площадок (Н-1, Н-2) при малом числе повторностей, служит страховкой против природных градиентов (уклон к реке, близость к лесу, смена типа почвы…), и предохраняет от случайных вмешательств в ходе эксперимента. Недостаток схемы - ограниченная применимость непараметрических методов: для двух – пяти блоков критерий Вилкоксона в принципе не может доказать достоверность различий (при Р = 0.05), в то время как в схеме П-1 тест Манна - Уитни применим уже при наличии четырех повторностей.


Систематическая схема (systematic design; П-3). Этот способ приводит к хорошему перемешиванию повторностей, однако всегда остается вероятность того, что расстояние между площадками совпадет с некоторым периодическим изменением окружающей среды. Хотя этот риск весьма мал, его всё же следует принимать во внимание.


В блочной (П-2) и систематической (П-3) схемах при соотнесении площадок с экспериментальными воздействиями можно ориентироваться не только на пространственное размещение площадок, но и на некоторые их особенности, существовавшие до начала эксперимента. Например, если мы планируем изучить изменения плотности жужелиц при вытаптывании площадок, мы можем оценить исходную плотность жужелиц, пронумеровать площадки в порядке возрастания / убывания исходной плотности, а затем вытоптать площадки с четными либо нечетными номерами. При таком подходе мы можем получить сгруппированное распределение площадок, но этот риск уменьшается с ростом числа повторностей.


Комбинированный подход, при котором принимаются во внимание как размещение экспериментальных единиц, так и их состояние до эксперимента, ведет к крайней степени субъективизма; задачей исследователя становится выбор такого варианта, при котором достигаются как наилучшее перемешивание, так и наименьшее различие в свойствах объектов, к которым будут применены различные воздействия. При малом числе объектов и большой их изменчивости (например, 11 прудов с различной плотностью планктона: Hurlbert, Mulla, 1981) такой подход становится не только предпочтительным, но часто и единственно возможным.
Простое и групповое разделение (simple and clumped segregation; Н-1, Н-2). В полевых экспериментах такие типы распределения повторностей достаточно редки; по-видимому, подавляющее большинство исследователей интуитивно чувствует необходимость перемешивания. Напротив, в лабораторных экспериментах групповое распределение встречается весьма часто.
Опасность группировки повторностей в том, что она повышает вероятность обнаружения различий между сравниваемыми воздействиями – как за счет не замеченных нами различий, существовавших до начала эксперимента, так и за счет случайных событий в ходе эксперимента.


Пример 8 (из Hurlbert, 1984, p. 195). Для оценки влияния ДДТ на планктон исследователь расположил в ряд на лабораторном столе 8 одинаковых аквариумов, наполнил их водой с планктоном (из некой исходной емкости), и добавил ДДТ в четыре левых аквариума (схема Н-1). Освещенность, температура и прочие условия были одинаковы для всех аквариумов. Однако при проведении некоторых работ лаборант на пару часов оставил на «контрольном» краю стола открытую бутыль с формальдегидом. В результате экспериментатор не без удивления констатировал стимулирующее воздействие ДДТ на рост планктона. Очевидно, что даже при систематическом перемешивании шансы сделать подобное «открытие», вызванное случайным неконтролируемым воздействием (ошибка № 6, табл. 1) сильно уменьшаются.


Изолирующее разделение (isolative segregation; Н-3). Такое разделение типично для лабораторных экспериментов, однако крайне редко встречается в полевых исследованиях. Например, при изучении эффектов температуры, фотопериода, газового состава среды и т. п., используются камеры с контролируемым микроклиматом. В силу дороговизны такие камеры часто не имеют повторностей. Можно, конечно, утверждать, что камеры идентичны и различаются лишь температурным режимом – но, как правило, различия в других параметрах всегда удается обнаружить при достаточно тщательном исследовании; более подробно эту проблему обсуждает Потвин (Potvin, 1993). Если мы изучаем влияние температуры на растения разных видов (сортов), то в качестве экспериментальной единицы выступает индивидуальное растение. Когда несколько растений одного вида или одного сорта помещены в одну камеру (теплицу), мы приходим к схеме Н-3; однако если мы изучаем воздействие различных температур на одинаковые растения, то экспериментальной единицей становится климатическая камера, и мы приходим к схеме Н-5 – отсутствие повторностей. Очевидно, что в данном случае резко возрастает вероятность получения некоторого эффекта в результате случайных событий: перегоревшая лампочка или пролитый в одной из камер формальдегид гарантируют такой эффект.

Физически связанные повторности (physically interdependent replicates; Н-4). Во всех рассмотренных выше случаях пространственное перемешивание экспериментальных единиц выступало как способ достижения статистической независимости наших повторностей. Однако такое перемешивание не всегда приводит к желаемым результатам. Например, если четыре аквариума имеют общую систему подогрева и аэрации, их пространственное перераспределение (Рис. 1, вариант Н-4) ничуть не улучшит план эксперимента по сравнению с изолирующим разделением (Н-3), поскольку любое случайное событие затронет все четыре сосуда, вызвав появление различий между опытом и контролем (смотри также Пример 10). Следовательно, в подобных опытах каждая экспериментальная единица должна иметь независимую «систему жизнеобеспечения», либо все экспериментальные единицы должны быть включены в общую цепь (что, безусловно, плохо – но все же лучше, чем схема Н-4).

МНИМЫЕ ПОВТОРНОСТИ (PSEUDOREPLICATION)

       В тех случаях, когда повторности сгруппированы в пространстве или во времени (Рис. 1, варианты Н-1, Н-2, Н-3), либо все повторности связаны друг с другом (вариант Н-4), либо все «повторности» представляют собой выборки, полученные в пределах одной экспериментальной единицы (Н-5), нарушается одна из основных предпосылок корректного статистического анализа –независимость выборок. При этом попытка тестирования гипотезы приведет к некорректным выводам, поскольку будет основана на зависимых (мнимых) повторностях (pseudoreplication). Так, несколько площадок, заложенных в пределах одного выгоревшего участка степи (пример 1) либо одного огороженного участка леса (пример 3), представляют собой мнимые повторности (схема Н-5).

Следует отметить, что план эксперимента с единственной повторностью либо неудовлетворительным распределением повторностей сам по себе нельзя считать ошибочным (Hurlbert, 1984): например, в некоторых случаях бывает гораздо важнее оценить величину эффекта, чем доказать его связь с некоторым воздействием. Более того – в силу объективных причин некоторые гипотезы не могут быть проверены в экспериментах с независимыми повторностями (например, в пределах Земли имеется всего одна повторность тропической зоны). Отчасти в связи с этим так много споров вокруг парникового эффекта: мы не только имеем единственную "экспериментальную повторность", но и не имеем контроля! Принципиальными моментами здесь становится корректное применение статистических методов и логика автора (Mantgeim et al., 2001; Oksanen, 2001) – четкое понимание ограниченности выводов и отсутствие неоправданных попыток генерализации.


Интересно отметить, что проблема мнимых повторностей возникла на заре развития прикладного эксперимента; даже выдающиеся статистики иногда публиковали работы, основанные на мнимых повторностях. По мнению Хёлберта (Hurlbert, 1984), первым такую ошибку совершил Фишер. В одном из его экспериментов изучалось влияние калиевых удобрений (3 типа) и навоза на урожайность 12 сортов картофеля. Экспериментальное поле было разделено на две равные части, одна из которых была удобрена навозом (схема Н-5); остальные факторы (калийные удобрения и сорта картофеля) были случайным образом распределены по экспериментальным площадкам в пределах обеих половин поля (Fisher, Mackenzie, 1923). Такой план эксперимента не позволяет статистически оценить влияние навоза, однако Фишер применил дисперсионный анализ для выявления эффекта. Он вскоре осознал ошибочность такого плана и в своей книге (Fisher, 1925) привел в качестве примера только результаты, полученные на удобренной навозом половине поля, умолчав о существовании второй половины.

МНИМЫЕ ПОВТОРНОСТИ В РАБОТАХ РОССИЙСКИХ УЧЕНЫХ

       Для определения частоты встречаемости мнимых повторностей в работах российских экологов я проанализировал экспериментальные статьи, опубликованные в течение последних лет (1997 - 2017) в 6 журналах, издаваемых Российской Академией наук (табл. 2). Я считал эксперимент экологическим, если исследователь изменял среду обитания живых организмов – независимо от того, какие характеристики этих организмов (либо среды) изучались. Я просмотрел все статьи экологического профиля, опубликованные в течение одного – трех лет; продолжительность периода зависела от частоты публикации экспериментальных работ в конкретном издании, поскольку я ставил своей задачей проанализировать минимум 10 экспериментальных статей из каждого журнала . Я классифицировал статью как экспериментальную в том случае, если исследователь имел принципиальную возможность случайным образом (randomly) выбрать экспериментальные единицы для намеченного воздействия (Примеры 2-4, 7, 8). Статья не считалась экспериментальной в тех случаях, когда воздействие уже произошло и исследователь лишь изучает его последствия (Примеры 1, 5 и 6).


Поскольку понятие мнимых повторностей связано как с ошибками в планировании эксперимента, так и с некорректным использованием статистического анализа, все экспериментальные статьи (как и в работе Hurlbert, 1984) были разделены на четыре группы по сочетанию двух признаков: включал ли экспериментальный план независимые повторности и использовался ли статистический анализ для сравнения между различными воздействиями. Расчет средних значений в сочетании с некоторой оценкой изменчивости (стандартная ошибка, доверительный интервал) рассматривался как применение статистического анализа в тех случаях, когда автор считал приведение таких результатов достаточным для доказательства наличия либо отсутствия некоторого эффекта (см. ниже, скрытые мнимые повторности).


Статья классифицировалась как основанная на мнимых повторностях если хотя бы в одном из описанных в ней экспериментов было нарушено требование случайного выбора экспериментальных единиц для планируемого воздействия, либо повторности, на основании которых делался вывод об эффекте воздействия, нельзя было считать независимыми. В тех случаях, когда приведенной в статье информации было недостаточно для оценки экспериментального плана (24 из 86 статей), я обращался к авторам за дополнительной информацией. Поскольку авторы 10 из 24 статей не ответили на мои вопросы в течение более чем двух месяцев, эти статьи я классифицировал как предположительно основанные на мнимых повторностях. Такое предположение я считаю достаточно обоснованным, поскольку в 12 из 14 случаев представленная авторами информация подтвердила мое исходное подозрение о том, что статья основана на мнимых повторностях.     

Таблица 2. Наличие повторностей, использование статистического анализа и встречаемость мнимых повторностей в публикациях российских авторов (курсивом выделены работы, предположительно основывающиеся на мнимых повторностях).

 

Журнал

Период
(года и номера журналов)

Просмот
рено
статей*

Экспери
менталь
ные
статьи

Наличие
повторностей (П)
и использование
статистики (С) в
экспериментальных
статьях

Число
экспериментальных
статей с
различными
типами
мнимых
повторностей**

П+С-

П+С+

П-С+

П-С-

Прос
тые

После
довате
льные

Втори
чные

Скры
тые

Истинные повторности

Мнимые повторности

Ботанический журнал

1998(1)-2000(6)

114

10

5

2

0

0

3

0

0

0

0

Журнал общей биологии

1998(1)-2001(6)

55

14

0

6

3

2

2

1

4

3

2

Зоологический журнал

1999(1)-2000(12)

94

11

0

4

4

3

0

2

1

4

0

Известия АН, сер. биол.

1999(1)-2001(6)

82

18

2

6

1

8

1

8

1

2

5

Лесоведение

2001(1-6)

61

11

1

1

2

5

2

5

0

2

4

Экология

2000(1)-2001(6)

156

22

2

5

3

9

3

8

2

3

0

ВСЕГО

 

562

86

10

25

13

27

11

24а

14в

11г

*Включены только статьи экологического профиля
**Одна статья может содержать более одного типа мнимых повторностей
а Еремина, Баканова (1999); Каргатова и др. (1999); Кулаковский, Лезин (1999); Осадчук (1999); Васильев (2000); Зялалов, Авдуевский (2000); Крюков (2000); Лаптева, Солнцева (2000); Руднева, Жерко (2000); Пашкова, Коротнева (2000); Руднева и др. (2000); Сидельников, Степанов (2000); Бобринев, Иванова (2001); Гродницкая, Гукасян (2001); Еськов, Левин (2001); Ложникова, Кондратьева (2001); Мартинович и др. (2001); Мудрик, Вильчек (2001); Орехова (2001); Полетаева и др. (2001); Попова и др. (2001); Рогожин и др. (2001); Смирнов (2001); Татарников (2001); Трубина (2001).

б Березина (1999); Фальцман, Бастаков (1999); Горб, Горб (2000); Крюков (2000); Никольский (2000); Пашкова, Коротнева (2000); Соколов, Гречкина (2000); Баскин, Скугланд (2001).

в Березина (1999); Жужиков (1999); Триселёва, Сафонкин (1999); Фальцман, Бастаков (1999); Горб, Горб (2000); Громов (2000); Кнорр и др. (2000); Никольский (2000); Ручин (2000); Сафонкин (2000); Еськов, Левин (2001); Маркова, Шестакова (2001); Позолотина (2001); Рогожин и др. (2001); Седых и др. (2001).


г Березина (1999); Каргатова и др. (1999); Зялалов, Авдуевский (2000); Пашкова, Коротнева (2000); Бобринев, Иванова  (2001); Маркова, Шестакова (2001); Мартинович и др. (2001); Ложникова, Кондратьева (2001); Орехова (2001); Попова и др. (2001); Рогожин и др. (2001).



Всего было просмотрено 562 статьи, из которых 86 (15.3 %) попали в раздел экспериментальных работ с применением статистического анализа. Из этого числа 30 статей (34.9 %) были несомненно основаны на мнимых повторностях; кроме того, 10 статей (11.6 %) предположительно основывались на мнимых повторностях. При проведении лабораторных экспериментов частота мнимых повторностей составила 42.9 % (24 из 56 статей),  при использовании мезокосмов - 60% (3 из 5 статей),  при проведении полевых экспериментов – 48.0 % (12 из 25 статей). Для сравнения укажу, что в англоязычных экологических публикациях 1960-1980 годов около 27% статей, описывающих результаты полевых экспериментов, были основаны на мнимых повторностях (Hurlbert, 1984); в 1991-1992 годах эта величина упала до 12% (Heffner et al., 1996). Если сравнивать только статьи, в которых применялся статистический анализ данных, то выборка Хёлберта содержит 48 % статей, основанных на мнимых повторностях, в то время как рассматриваемая выборка публикаций российских экологов содержит 62 % подобных статей.

ТИПЫ МНИМЫХ ПОВТОРНОСТЕЙ

Обычные мнимые повторности (simple pseudoreplication). Наиболее частая ошибка экологов - использование единственной повторности для каждого типа воздействия.


Пример 9. Руднева и Жерко (2000) изучали влияние полихлорированных бифенилов на биохимические характеристики черноморской скорпены. Рыб содержали в двух аквариумах, в один из которых был добавлен исследуемый препарат (схема Н-5). Из каждого аквариума отбирали 6 особей, и средние значения некоторых параметров сравнивали между собой. Установленные различия между двумя аквариумами, как и в примерах 1 и 3, могут объясняться множеством причин – для выявления эффекта токсиканта следовало сравнивать как минимум два экспериментальных и два контрольных аквариума.

Пример 10. Осадчук (1999) изучал влияние фотопериода на ритмы размножения серебристо-черных лисиц, используя четыре группы самок. Три группы подвергались действию различных режимов искусственного освещения, а четвертая содержалась при естественном освещении. Установленные различия между группами, как и в примерах 1, 3 и 9, нельзя статистически связать с различиями в режимах освещения. Более того, нельзя исключить дистантного воздействия химических стимулов, выделяемых самками при наступлении эструса, на других самок, находящихся в том же помещении - то есть три экспериментальные группы, содержавшиеся в одном шеде, скорее всего нельзя считать независимыми друг от друга (схема Н-3). И, наконец, из текста следует, что контрольная группа содержались вне специально оборудованного шеда, где размещались три экспериментальные группы; это означает, что все три экспериментальных группы могут отличаться от контроля из-за различных условий содержания (ошибка № 2, табл. 1). Таким образом, рассматриваемый эксперимент не только был поставлен в одной повторности, но и не имел контроля.

Таблица 3. Влияние дрейссены и молоди леща на биомассу микроорганизмов: экспериментальный план и один из замеренных параметров (составлено по Лаптевой и Солнцевой, 2000).


мезокосма

Грунт

Молодь леща

Дрейссена

Биомасса бактерий,
мкг С/л

1

-

-

-

27.3

2

+

-

-

39.5

3

+

+

-

30.4

4

+

-

+

24.8

5

+

+

+

23.0

6

+

-

+

24.9

7

+

+

+

20.2

Таблица 4. Влияние дрейссены и молоди леща на биомассу бактерий (двухфакторный дисперсионный анализ данных, представленных в табл. 3)

Источник изменчивости

Степени свободы

Критерий Фишера

Р

Наличие дрейссены

1

93.40

0.01

Наличие леща

1

25.91

0.04

Взаимодействие между эффектами,
вызванными дрейссеной и лещом

1

5.81

0.14

Остаточная изменчивость

2

   

Последовательные мнимые повторности (temporal pseudoreplication). Единственное отличие от рассмотренных выше примеров – не одновременное (как в рассмотренных выше примерах), а последовательное взятие выборок в пределах одной и той же экспериментальной единицы. Отсутствие независимости выборок в данном случае очевидно.

Пример 11. При изучении межпопуляционных различий в бдительности и пугливости северных оленей Баскин и Скугланд (2001) определяли дистанцию, на которой стадо оленей обнаруживало человека, а также дистанцию, при достижении которой стадо оленей обращалось в бегство. В данном эксперименте в качестве повторности следовало использовать стадо, то есть либо проводить один эксперимент с одним стадом, либо усреднять значения, полученные в ходе нескольких последовательных экспериментов с одним и тем же стадом. Другой способ обработки подобных данных – использование статистических методов, учитывающих зависимость последовательных наблюдений друг от друга (repeated measure analysis). Однако авторы рассматривают последовательные наблюдения за одним стадом как независимые повторности, а информацию о числе изученных стад не приводят вообще. В результате рассчитанная авторами достоверность межпопуляционных различий, несомненно, сильно завышена.


Пример 12. Лаптева и Солнцева (2000) изучали влияние дрейссены и молоди леща на микроорганизмы, используя 7 мезокосмов (=независимых повторностей). Однако авторы, судя по приводимой на рисунках и в таблицах информации, рассматривали в качестве повторностей индивидуальные пробы, взятые из мезокосмов (семь мезокосмов, семь дат проведения замеров, три замера в каждом мезокосме в каждую дату: 147 выборок = мнимых повторностей). Схема проведения эксперимента и средние значения одной из замеренных переменных приведены в таблице 3. Основной вывод статьи – "присутствие … дрейссены … привело к снижению обилия и активности микроорганизмов, тогда как молодь рыб стимулировала их развитие" (Лаптева, Солнцева, 2000, стр. 299). Проверим обоснованность этого вывода, применяя двухфакторный дисперсионный анализ (лещ есть - нет, дрейссена есть - нет) к средним значениям биомассы микроорганизмов (Табл. 3). При этом мезокосм 1 исключен из анализа как единственная повторность, не содержащая грунта.


Результаты анализа (Табл. 4) подтверждают выводы авторов – и дрейссена, и лещ влияют на биомассу микроорганизмов, причем влияние одного из видов не зависит от наличия другого вида в мезокосме (отсутствие взаимодействия между эффектами в табл. 4). Этот пример показывает, что далеко не всегда обнаружение мнимых повторностей в опубликованной статье заставляет пересматривать выводы авторов. Средняя биомасса микроорганизмов в четырех мезокосмах с дрейссеной (23.2 мкг С/л) была ниже, чем в двух мезокосмах без дрейссены (35.0 мкг С/л), что согласуется с указанной авторами направленностью эффекта. В то же время в трех мезокосмах с молодью леща средняя биомасса микроорганизмов (24.5 мкг С/л) была ниже, чем в трех мезокосмах без молоди леща (29.7 мкг С/л), что противоречит выводу авторов. Данная проблема, однако, не связана с наличием мнимых повторностей, - скорее, это результат подмены статистического анализа "интуитивным" сравнением между мезокосмами.


Пример 13. В таблице 2 приведены частоты публикации статей, основанных на мнимых повторностях, в различных академических журналах. Возникает закономерный вопрос: различаются ли журналы по частоте публикации статей, содержащих методические ошибки подобного рода? Если в качестве повторности взять один номер журнала, а в качестве исследуемой переменной – долю экспериментальных статей, основанных на мнимых повторностях, то мы получим схему с последовательными мнимыми повторностями. Корректный способ сравнения – проверка гетерогенности выборки посредством G-статистики (описание метода: Sokal, Rohlf, 2000, p. 715-718). Мы видим, что сравниваемые журналы отличаются по частоте публикации статей, основанных на мнимых повторностях; особенно велико различие между "Ботаническим журналом", не опубликовавшим за рассматриваемый период ни одной статьи такого рода, и всеми остальными изданиями. К сожалению, приходится констатировать, что это отличие возникло не вследствие лучшего планирования экспериментов, а исключительно благодаря отсутствию даже простейшей статистической обработки результатов в 8 из 10 экспериментальных статей, опубликованных "Ботаническим журналом" за рассматриваемый период. Однако и оставшиеся журналы достоверно (G = 40.56, d. f. = 4, P < 0.001) различаются по частоте публикации статей, основанных на мнимых повторностях: пальму первенства делят "Лесоведение" и "Зоологический журнал" (по 63.6 %), в то время как "Журнал общей биологии" публикует статьи, основанные на мнимых повторностях, реже других рассматриваемых журналов (35.7 %).


Необходимо отметить, что в ряде исследований последовательное взятие выборок служит неотъемлемым элементом экспериментального плана; однако методы обработки таких данных существенно отличаются от методов сравнения одновременно взятых независимых выборок (смотри, в частности, обзор Ende, 1993).

Вторичные мнимые повторности в корректно заложенном эксперименте (sacrificial pseudoreplication). Даже если эксперимент заложен в нескольких повторностях, исследователи часто "создают" мнимые повторности путем некорректного применения статистических методов. Типичная ошибка, частота которой вызывает удивление, - "дробление" истинных повторностей: из каждой экспериментальной единицы берут несколько выборок (=мнимых повторностей); затем выборки из "одинаковых" повторностей объединяют (теряя информацию о принадлежности выборок к определенным повторностям), и сравнивают между собой не истинные повторности, а группы выборок (мнимые повторности).


Пример 14. Седых и др. (2001) изучали воздействие различных концентраций загрязнителя на прорастание семян тополей. Эксперимент был заложен в нескольких повторностях (повторность = 50 семян тополя, помещенных в одну чашку Петри); однако при анализе длин 7-дневных проростков были замерены семь проростков в каждой повторности в пределах одного варианта опыта, и при анализе эти замеры были объединены: в итоге каждый вариант был представлен 28 проростками (=мнимыми повторностями), а не 4 чашками Петри (=истинными повторностями). Такой подход статистически неправомерен: следовало усреднить значения всех замеров в пределах каждой из повторностей (одна чашка Петри – одно среднее значение длины проростка), и последующее сравнение между вариантами опыта основывать на полученных средних значениях. Несомненно, что в этом случае достоверность различий между вариантами опыта сильно понизится или вовсе исчезнет.


Пример 15. Сафонкин (2000) выкармливал гусениц всеядной листовертки на различных видах растений. Из методики очевидно, что гусениц выращивали в группах на ветках кормовых растений; эти группы можно условно считать независимыми повторностями (хотя обычно в экспериментах такого рода независимыми повторностями считают группы личинок, выкармливаемых на различных особях кормового растения). Автор не приводит данных о числе истинных повторностей (=групп) и рассматривает гусениц / куколок как повторности, тем самым явно завышая достоверность различий между кормовыми растениями.

Cкрытые мнимые повторности (implicit pseudoreplication). Хёлберт (Hurlbert, 1984) в качестве четвертого типа выделяет скрытые (implicit) мнимые повторности - ситуации, когда исследователь не привел значения статистических тестов и уровни достоверности для сравнения, основанного на мнимых повторностях, однако опубликовал достаточно информации для проведения такого сравнения (например, на основе усреднения выборок из одной экспериментальной единицы рассчитал среднее значение и стандартную ошибку либо 95% доверительный интервал некоторой переменной). В этом случае применимость термина «мнимые повторности» зависит от того, насколько автор понимает ограниченность своих данных, вытекающую из структуры эксперимента. Если автор делает выводы о наличии либо отсутствии некоторого эффекта, то есть подразумевает возможность статистического сравнения, есть все основания говорить о скрытых мнимых повторностях. Очевидно, что в качестве противоположной группы должны рассматриваться явные мнимые повторности – ситуации, когда сравнение между мнимыми повторностями проводилось с использованием статистических методов; эти два типа мнимых повторностей могут быть выделены в пределах каждой из трех групп, рассмотренных выше.

       Пример 16. Орехова (2001) изучала биохимию и жизнеспособность семян кедра корейского при разных способах хранения. По крайней мере некоторые из условий хранения (например, типовой склад Арсеньевского лесхоза) не имели повторностей. Опубликованные данные (средние значения с ошибкой) в принципе позволяют провести статистический анализ; в тексте содержатся "интуитивные" сравнения между этими значениями по вариантам опыта. В данном случае можно говорить о простых скрытых мнимых повторностях.


Пример 17. Сидельников и Степанов (2000) изучали влияние плотности популяции на рост и регенерационную способность улитки Achatina fulica. В четырех террариумах были созданы четыре различные плотности улиток – то есть каждая плотность была представлена единственной повторностью. Авторы проводят статистический анализ и устанавливают достоверность различий в некоторых характеристиках улиток между террариумами. Эти результаты далее интерпретируются как эффект плотности, что некорректно; в данном случае можно говорить о простых явных мнимых повторностях.
Информация о среднем значении и изменчивости признака может представлять ценность даже при наличии единственной повторности. В этом случае лучше публиковать не стандартную ошибку, а среднеквадратичное отклонение и объем выборки, оговаривая в тексте ограниченность экспериментального плана (то есть четко указывая на отсутствие повторностей). Такая форма представления данных по крайней мере частично страхует от естественного желания оценить достоверность различий.

КЛЮЧ ДЛЯ КЛАССИФИКАЦИИ ЭКСПЕРИМЕНТАЛЬНЫХ ПЛАНОВ

  1. Статистические методы не применялись – ни в явной, ни в скрытой форме ………………………………………………………. Мнимых повторностей нет

-.   Применялись статистические методы - либо в явной, либо в скрытой форме ……………………………………………………………………………………. 2

  1. Для каждого воздействия (каждой величины воздействия) имелась единственная повторность, из которой было взято несколько выборок ……………………………………... Выборки = простые мнимые повторности

-.    Для каждого воздействия (каждой величины воздействия) имелись две или более повторности ……………………………………………………………... 3

  1. Повторности не были статистически независимыми (независимость определяется как характером изучаемого объекта, так и применявшимся способом обработки материала) ……………………………………….. ……………………….. Простые либо последовательные мнимые повторности

-.   Повторности были статистически независимыми ………………………..….. 4

  1. Исследователь "раздробил" имевшиеся у него истинные повторности на выборки, а потом объединил эти выборки в анализе материала ………………………………………………... Вторичные мнимые повторности

-.   Исследователь строго следовал принципу: одна повторность – одно значение анализируемого признака ……………………………. Истинные повторности

ЗАКЛЮЧЕНИЕ

       По не вполне понятным причинам проблема мнимых повторностей - одна из ключевых методических проблем, принципиальным образом влияющих на интерпретацию результатов исследований, - практически полностью выпала из поля зрения российских экологов. Во всяком случае мне известны лишь две группы московских исследователей, знакомых со статьей Хёлберта (Hurlbert, 1984); напротив, несколько десятков опрошенных мной экологов никогда не встречались с термином "pseudoreplication". В результате 47 % экспериментальных экологических статей, опубликованных в рассмотренных русских академических журналах в 1997 - 2017 годах, основаны на мнимых повторностях. Такую ситуацию вряд ли можно считать нормальной: публикации российских экологов и так незаслуженно редко цитируются в международных изданиях, а высокая частота использования мнимых повторностей (учитывая тот факт, что в англоязычных журналах появление слова "pseudoreplication" в отзыве рецензента ведет к немедленному отклонению рукописи редакцией) способна только усугубить ситуацию.


Рассматривая проблему в более широком контексте, не могу не отметить, что одной из причин сложившейся неблагополучной ситуации стала крайне низкая статистическая грамотность российских экологов (как авторов публикаций, так и рецензентов). В частности, особенно прискорбно "создание" мнимых повторностей при некорректном анализе хорошо спланированного эксперимента, вызванное исключительно отсутствием базовых знаний по прикладной статистике. Более того, неумение (или же нежелание) использовать статистические методы иногда приводит к публикации выводов (основывающихся на высказываниях типа "легко видеть"), которые не только не вытекают из приводимого авторами материала, но и прямо противоречат ему. В качестве примеров могу упомянуть ошибочное заключение о положительном влиянии молоди леща на микроорганизмы в рассмотренной выше работе Лаптевой и Солнцевой (2000), а также выводы Ильина и Смирнова (2000) о связи распространения летучих мышей с рельефом, критический анализ которых опубликован ранее (Козлов, 2001).


Проблема мнимых повторностей достаточно сложна – об этом, в частности, свидетельствует тот факт, что статьи, основанные на мнимых повторностях, по-прежнему появляются даже в престижных международных журналах, вызывая крайне эмоциональные отзывы типа "pseudoreplication is an insidious beast" (Heffnеr et al., 1996). Победить эту "коварную тварь" можно только совместными усилиями преподавателей математической статистики, экологов-экспериментаторов, рецензентов и редакционных коллегий. Недаром статья Хёлберта (Hurlbert, 1984) заканчивается обширными рекомендациями для редакторов;  основной смысл этих рекомендаций – будьте бдительны!

БЛАГОДАРНОСТИ

Автор признателен Е. Л. Зверевой, В. Е. Звереву, Ю. Г. Коричевой и А. В. Шевцовой за обсуждение проблемы и критические замечания по тексту рукописи, а также S. Neuvonen и K. Ruohomaki за помощь в анализе некоторых экспериментальных планов. С. Н. Горб, И. Д. Гродницкая, В. С. Громов, А. А. Залаялов, П. А. Лезин, В. Н. Ложникова, И. А. Маркова, В. Г. Онипченко, И. М. Пашкова, И. И. Руднева, А. Б. Ручин, В. Н. Седых, Н. М. Чернова , Т. А. Шестакова и E. C Шварц любезно ответили на мои вопросы об условиях проведения экспериментов и методах обработки результатов, опубликованных в рассмотренных статьях. Работа выполнена в рамках проекта “Vulnerability of Northern Ecosystems to Pollution and Climate Change”, поддержанного NorFA (Nordic Academy of Advanced Studies).

СПИСОК ЛИТЕРАТУРЫ

Баскин Л. М., Скугланд Т. Бдительность и пугливость северных оленей: популяционные различия // Журн. общ. биол. 2001. Т. 62. № 1. С. 78-84.
Березина Н. А. Особенности развития макрозообентосных сообществ под влиянием дрейссены (Dreissenapolymorpha Pall.) в экспериментальных мезокосмах //  Журн. общ. биол. 1999. T. 60. № 2. 189-198.
Бобринев В. П., Иванова Л. Н. Применение минеральных удобрений на постоянных лесосеменных плантациях сосны в Восточном Забайкалье // Лесоведение. 2001. № 4. С. 58-61.
Васильев В. Н. Особенности зимней спячки черношапочного сурка (Marmota camtschatica) в Якутии // Зоол. журн. 2000. Т. 79. № 9. С. 1114-1123.
Горб Е. В., Горб С. Н. Влияние некоторых составляющих мирмекохорного синдрома на скорости изъятия генеративных диаспор у Corydalis cava и Pulmonaria obscura муравьями Formica polyctena // Журн. общ. биол. 2001. Т. 62. № 2. С. 132-140.
Гродницкая И. Д., Гукасян А. Б. Использование микробного антагонизма в защите сеянцев от инфекционных заболеваний // Лесоведение. 2001. № 1. С. 38-42.
Громов В. С. Сравнительный анализ поведения монгольских песчанок (Meriones unguiculatus) в неволе и природных популяциях // Зоол. журн. 2000. Т. 79. № 11. С. 1344-1354.
Еремина О. Ю., Баканова Е. И. Изучение физиологических и биохимических показателей у насекомых в онтогенезе при воздействии солей тяжелых металлов // Известия АН, сер. биол. 1999. № 3. С. 343-354.
Еськов E. K., Левин В. И. Аттрактивность зерновой моли к гамма-облученным зерновкам пшеницы // Экология. 2001. № l. С. 67-69.
Жужиков Д. П. Адаптивные способности таракана Nauphoeta cinerea (Blattoptera, Blaberidae) при воздействии соевого ингибитора трипсина // Зоол. журн. 1999. Т. 78. № 11. С. 1292-1297.
Зялалов А. А., Авдуевский М. Л. Вклад градиента химического потенциала воды в среде в энергетический баланс надземных [sic!] сосудистых растений // Журн. общ. биол. 2000. T. 61. № 2. С. 173-180. 
Ильин В. Ю., Смирнов Д. Г. Особенности распространения оседлых видов рукокрылых (Chiroptera: Vespertilionidae) на востоке Русской равнины и в смежных регионах // Экология. 2000. № 2. С. 118-124.
Ильяшук Б. П., Ильяшук Е. А. Палеоэкологический анализ сообществ хирономид горного озера как информационныи источник для биомониторинга // Экология. 2000. № 5. С. 384-389. 
Каргатова Т. В., Максимова Е. Е., Крылова Т. Ю., Попова Л. Ю. Сравнительная характеристика роста вариантов рекомбинантного штамма Escherichia coli и представителей аборигенной микрофлоры водных микроэкосистем в селективных и неселективных условиях // Известия АН, сер. биол. 1999. № 2. С. 152-157.
Кнорр И. Б., Бишев А. Н., Алексеев А. А., Наумова Е. Н. Действие плотности популяции на экологические характеристики лугового мотылька Loxostege stictlcalis L. (Lepidoptera: Pyralidae) в градационном цикле // Известия АН, сер. биол. 2000. № 1. С. 75-83. 
Козлов М. В. Связано ли распространение летучих мышей с рельефом? (О статье В. Ю. Ильина и Д. Г. Смирнова) // Экология. 2001. № 2. С. 159-160.
Крюков В. И. Модифицирование импульсным электромагнитным полем индуцируемых свинцом частот микроядер в эритроцитах личинок бесхвостых амфибий // Экология. 2000. № 3. С. 238-240. 
Кулаковский Э. Е., Лезин П. А. Влияние морской звезды Asterias ruвens (Forcipulata, Asteriidae) на жизнедеятельность двустворчатого моллюска мидии (Mytilus edulis) (Mytilida, Mytilidae) // Зоол. журн. 1999. Т. 78. № 5. С. 596-600.
Лаптева Н. А., Солнцева И. О. Влияние дрейссены и молоди рыб на структурно-функциональные характеристики микроорганизмов в экспериментальных экосистемах // Экология. 2000. № 4. С. 295-299.
Ложникова В. Н., Кондратьева В. В. Содержание оксикоричных кислот и свободных ауксинов у табаков в процессе фотопериодической индукции // Известия АН, сер. биол. 2001. № 2. С. 187-190.
Малышева Г. С., Малаховский П. Д. Пожары и их влияние на растительность сухих степей // Ботан. журн. 2000. Т. 85. № 1. С. 96-103.
Маркова И. А., Шестакова Т. А. Лесокультурная оценка механизированной обработки перегнойно-торфянистых почв на вырубках в таежной зоне // Лесоведение. 2001. № 2. С. 33-40.
Мартинович Б. С., Якушев Б. И., Власов В. К., Сапожников Ю. А., Сак М. М., Голушко Р. М. Аккумуляция радионуклидов древесными растениями в зоне чернобыльских эмиссий // Лесоведение. 2001. № 3. С. 3-10.
Мудрик В. А., Вильчек Г. Е. Экофизиологические реакции подроста Larix sibirica L. и Pinus sibirica du Tour нa изменения климата // Экология. 2001. № 4. С. 267-273.
Никольский А. А. Влияние пространственно-временных факторов на вокальную активность степного сурка (Marmota bobak) // Зоол. журн. 2000. Т. 79. № 3. С. 338-347.
Орехова Т. П. Биохимия и жизнеспособность семян кедра корейского при разных способах хранения // Лесоведение. 2001. № 3. С. 46-51.
Осадчук Л. В. Влияние фотопериода на секрецию стероидных гормонов, сезонные ритмы размножения и плодовитость у самок серебристо-черных лисиц // Известия АН, сер. биол. 1999. № 2. С. 191-200.
Остроумов С. A. Роль химических сигналов в индукции нерестовой миграции кеты Oncorhynohs keta (Waldbaum) // Экология. 2000. № 3. С. 228-230.
Пашкова И. М., Коротнева Н. В. Влияние повышенной температуры на соотношение полов в популяции водяного ослика (Asellus aquaticus L.) // Известия АН, сер. биол. 2000. № 6. С. 758-761.
Позолотина В. Н. Исследование локальных ценопопуляций одуванчика (Taraxacum officinale s. l.) из радиоактивно загрязненных зон // Экология. 2001. № 2. С. 117-124. 
Полетаева И. И., Плескачева М. Г., Маркина Н. В.,  Перепелкина O. B., Шефран X., Вольфер Д. П., Липп X. П. Выживание в условиях средового стресса и изменчивость морфологических признаков мозга и поведения у домовой мыши // Экология. 2001. № 3. С. 231-236. 
Попова O. B., Попова Т. Н., Измайлов С. Ф. Некоторые особенности функционирования НАДФ-изоцитратдегидрогеназы листьев гороха при солевом стрессе  // Известия АН, сер. биол. 2001. № 2. С. 174-179.
Рогожин В. В., Верхотуров В. В., Курилюк Т. Т. Антиоксидантная система в прорастании семян пшеницы // Известия АН, сер. биол. 2001. № 2. С. 165-173.
Руднева И. И., Жерко Н. В. Действие полихлорированных бифенилов на антиоксидантную систему и перекисное окисление липидов в гонадах черноморской скорпены Scorpaena porcus L. // Экология. 2000. № 1. С. 70-73.
Руднева И. И., Чесалина Т. Л., Кузьминова Н. С. Ответные реакции молоди черноморской кефали на загрязнение мазутом // Экология. 2000. №  4. С. 304-306.
Ручин А. Б. Влияние колебаний освещенности на рост молоди некоторых видов рыб и личинок травяной лягушки (Rana temporariа) // Зоол. журн. 2000. Т. 79, № 11. С. 1331-1336.
Сафонкин А. Ф. Влияние перемены корма на развитие полифага Archips podana Sс. (Lepidoptera: Tortricidae) // Экология. 2000. № 3. С. 224-227.
Седых В. Н., Бакулин В. Т., Тараканов В. В. Оценка толерантности сибирских тополей по прорастанию семян на загрязненных отходами бурения почвах // Лесоведение. 2001. № 5. С. 72-75.
Сидельников А. П., Степанов И. И. Влияние плотности популяции на рост и регенерационную способность улитки Achatina fulica // Известия АН, сер. биол. 2000. № 5. С. 525-532.
Смирнов К. А. Влияние лося на формирование подроста и подлеска в ельниках южной тайги // Лесоведение. 2001. № 2. С. 46-52.
Соколов А. Я., Гречкина Л. И. Энергообмен и терморегуляция у северного оленя в раннем онтогенезе // Экология. 2000. № 5. С. 372-375.
Татарников Д. В. Индивидуальная реакция видов травяно-кустарничкового покрова южнотаежного березняка на ежегодное внесение различных форм минеральных удобрений // Экология. 2001. № 1. С. 8-13. 
Триселёва Т. А., Сафонкин А. Ф. Влияние питательной среды на биологические характеристики Cydia pomonella (Lepidoptera, Tortricidae) // Зоол. журн. 1999. Т. 78. № 4. С. 451-455.
Трубина М. Р. Эколого-генетическая структура изменчивости в популяциях скерды кровельной (Crepis tectorum L.) // Экология. 2001. № 1. С. 38-43.
Фальцман И. А., Бастаков В. А. Смещение в предпочтении цвета добычи у зеленой жабы Bufoviridis Laur. после пищевого насыщения //  Журн. общ. биол. 1999. T. 60. № 2. 199-206.
Шварц E. C., Попова Л. В., Чернова Н. М. Динамика населения сапробионтов в разных фракциях лесного опада // Зоол. журн. 1999. Т. 78. № 12. С. 1424-1433.
Ende C. N. von. Repeated-measures analysis: growth and other time-dependent measures. In: Schneider S. M., Gurevich J. (eds.) The design and analysis of ecological experiments. New York: Chapman and Hall, 1997. P. 113-137.
Fisher R. A. Statistical methods for research workers. London: Oliver and Boyd, 1925.
Fisher R. A., Mackenzie W. A. Studies in crop variation. II. The manurial response of different potato varieties // J. Agric. Sci. 1923. V. 13. P. 311-320.
Halvorsen G. A., Heneberry J. H., Snucins E. Sublittoral chironomids as indicators of acidity (Diptera: Chironomidae) // Water Air Soil Pollut. 2001. V. 130. P. 1385-1390.
Heffner R. A., Butler M. J. IV, Reilly C. K. Pseudoreplication revisited // Ecology. 1996. V. 77. P. 2558-2562.
Hurlbert S. H. Pseudoreplication and the design of ecological field experiments // Ecological Monopaphs. 1984. V. 54. P. 187-211.
Hurlbert S. H., Mulla M. S. Impacts of mosquitofish (Gambusia affinis) predation on plankton communities // Hydrobiologia. 1981. V. 83. P. 125-151. 
Kroodsma D. E., Byers B. E., Goodale E., Johnson S., Liu W.-C. Pseudoreplication in playback experiments, revisited a decade later // Animal Behaviour. 2001. V. 61. P. 1029-1033.
Laberge C., Cluis D., Mallory M. L., McNicol, D. K. Rationalization of a regional network designed for trend detection of lake water quality in presence of spatial correlation // Environmetrics. 2000. V. 12. P. 41-56.
Mantgeim P. van, Schwartz M., Keifer M. B. Monitoring fire effects for managed burns and wildfires: coming to terms with pseudoreplication // Natural Areas J. 2001. V. 21. P. 266-273.
Morrison D. A., Morris E. C. Pseudoreplication in experimental designs for the manipulation of seed germination treatments // Austral. Ecol. 2000. V. 25. P. 292-296.
Oksanen L. Logic of experiments in ecology: is pseudoreplication a pseudoissue? // Oikos. 2001. V. 94. P. 27-38.
Potvin C. ANOVA: experiments in controlled environments. In: Schneider S. M., Gurevich J. (eds.) The design and analysis of ecological experiments. New York: Chapman and Hall, 1997. P. 46-68.
Ramirez C.C., Fuentes C. E., Rodriguez L. C., Niemeyer H. M. Pseudoreplication and its frequency in olfactometric laboratory studies // J. Chem. Ecol. 2000. V. 26. P. 1423-1431.
Riley J., Edwards P. Statistical aspects of aquaculture research: Pond variability and pseudoreplication // Aquaculture Res. 1998. V. 29. P. 281-288.
Schneider S. M., Gurevich J. (eds.) The design and analysis of ecological experiments. New York: Chapman and Hall, 1997, xiv + 445 p. 
Sokal R. R., Rohlf F. J. Biometry: The principles and practice of statistics in biological research, 3rd edition. New York: W. H. Freeman and Co., 2000, 887 p.
Underwood, A. J.  Experiments in ecology: their logical design and interpretation using analysis of variance. Cambridge: Cambridge University Press, xviii + 504 p.



Pseudoreplication in ecological research: the problem overlooked by Russian scientists

M. V. Kozlov
Section of ecology, Department of Biology, University of Turku, 20014 Turku, Finland;
E-mail: mikoz@utu.fi

The use of inferential statistics to test for treatment effect with data from experiments where either treatments were not replicated (though samples may be) or replicates are not statistically independent leads to serious methodological problem. This problem, discovered by Hurlbert (1984), is called pseudoreplication. Due to unknown reasons, pseudoreplication issue was completely overlooked by the Russian ecologists, in spite of the fact that the international scientific community is aware of pseudoreplication for almost twenty years. As the result, up to 47 % of the experimental ecological papers, published in six Russian academic journals (Botanicheskij zhurnal, Ekologia, Izvestija RAN Ser. Biol., Lesoverenie, Zhurnal Obstchei Biologii, Zoologicheskij zhurnal) in 1997 - 2017, are pseudoreplicated; this proportion is nearly twice as high as the proportion of pseudoreplicated studies in international journals during 1960-1980, e. g. before the problem was discovered by Hurlbert (1984). This situation is alarming, especially because a substantial part of pseudoreplication arise from incorrect use of statistics, not from incorrect designing of experiments. By using several examples from the recent papers of Russian ecologists I shortly review the situations where pseudoreplication may occur and discuss some aspects of the experimental design, which are critical for correct processing and interpretation of ecological data.

См. примечание 1.

Поскольку подавляющее большинство (92.7 %) авторов публикуемых статей работает на территории Российской федерации (подсчет выполнен с использованием первого номера каждого из рассматриваемых журналов за 2001 год; объем выборки – 84 статьи, 152 автора), а большинство из оставшихся (6.6 %) – на территории других государств СНГ, рассматриваемая выборка позволяет делать выводы о российских экологах (понятие определено в сноске 1) в целом.

В контексте данной статьи я использую (за неимением лучшего) термин "российские экологи" для обозначения экологов бывшего СССР, которые в основном публикуют свои исследования на русском языке.


УЧЕБНЫЕ И НАУЧНО-ПОПУЛЯРНЫЕ ИЗДАНИЯ

БАНКОВСКАЯ И ФИНАНСОВАЯ СТАТИСТИКА, ИГРА НА БИРЖЕ, ТЕХНИЧЕСКИЙ АНАЛИЗ


Возврат на главную страницу.

Возврат в КУНСТКАМЕРУ.

1997 - 2017. ©Василий Леонов