Диплом: Индивидуально-приспособительная деятельность животных: ассоциативное обучение, когнитивные процессы
Notice: Undefined variable: ref_img in /home/area7ru/area7.ru/docs/referat.php on line 323
Индивидуально-приспособительная деятельность животных: ассоциативное обучение, когнитивные процессыЗорина Зоя Александровна, Полетаева Инга Игоревна Общая характеристика тех проявлений индивидуальной приспособительной деятельности, в основе которых лежит обучение. Краткое описание классических и инструментальных условных рефлексов. Примеры методов исследования процессов обучения, в частности анализируется формирование пространственных представлений. Ассоциативные процессы, отражающие механизм образования условных рефлексов, сопоставляются с основными видами когнитивной деятельности. Описание методов обучения (дифференцировки и их системы, выбор по образцу), по которым можно судить о способности животных к обобщению и умозаключению. Индивидуально-приспособительная деятельность животного, т.е. адаптация особи к конкретным условиям среды, позволяет ему с большим или меньшим успехом выживать, преодолевая трудности и опасности повседневного существования. Эта деятельность многообразна по составу и включает приобретенные компоненты разной природы. Рассмотрим виды индивидуально-приспособительного поведения, в основе которых лежат процессы обучения. 1. Обучение и пластичность.Из существующих в настоящее время определений феномена «обучение» предпочтение отдается определению У. Торпа (Thorpe, 1963). Обучение — это появление адаптивных изменений индивидуального поведения в результате приобретения опыта. На обучении основаны события естественной жизни животных, например формирование навыков отыскания определенной пищи, избегания опасных участков местности, выбора удобных троп, взаимодействия с сородичами и животными других видов и т.п. В лабораторных опытах можно наблюдать, как животное обучается действиям, заданным экспериментатором. Примерами могут быть «слюнные» условные рефлексы собаки, т.е. выделение слюны уже в момент попадания животного в комнату, где в процессе опытов оно получало подкормку; отыскание крысой выхода из лабиринта; избегание болевого раздражения; клевание птицей кнопки при действии определенных стимулов и т.п. Способность к обучению базируется на присущем центральной нервной системе свойстве пластичности. Пластичность — это свойство системы изменять свою реакцию на внешние воздействия как результат тех или иных внутренних преобразований на основе предшествующих воздействий. Она проявляется в способности системы изменять реакции на повторяющийся многократно раздражитель, а также в случаях его совместного действия с другими факторами. Пластичность может иметь разную направленность: чувствительность к раздражителю может повышаться — это явление называется сенсишизацией, или снижаться, тогда говорят о привыкании. По определению нейрофизиологов, анализирующих пластические изменения в мозге (Конорски, 1970; Котляр, 1986), пластичность — это относительно устойчивые функциональные изменения в системах нейронов, которые по длительности превышают время обычных синаптических процессов и определяют эффективность и направленность межнейронных связей. Это достаточно формальное определение показывает, что изменения ответа системы при повторном действии стимула можно описать на языке математики. 2. Классификация форм индивидуально-приспособительной деятельности.Формы обучения животных весьма разнообразны и обычно их подразделяют на три основные категории: неассоциативное обучение, ассоциативное обучение и когнитивные процессы. О. Меннинг (1982) и Д. Дьюсбери включали в свои классификации также и «инсайт-обуче-ние» (см. 3.4.5). Приводим систематизированный перечень этих феноменов (по данным разных авторов). Классификация включает некоторые сведения об элементах рассудочной деятельности, которым посвящена основная часть пособия. Ряд авторов выделяют в своих книгах раздел «Complex cognition», который соответствует разделу «Когнитивные процессы» настоящей главы, а также содержанию ряда следующих глав, где рассматривается формирование у животных понятий, усвоение языков-посредников и т.д. Для изучения механизмов обучения нередко используют различные модели, в том числе так называемые клеточные аналоги обучения или процесс посттетанической потенциации (см. гл. 9 и, например: Шеперд, 1987). Классификация форм обучения и когнитивных процессов [составлена нами на основе классификаций О. Меннинга (Manning, Dawkins, 1992), — Д. Дьюсбери (1981), Р. Томаса (Thomas, 1996), Дж. Пирса (Реагсе, 1998) и др.]. > Неассоциативное обучение: — привыкание. > Ассоциативное обучение: классические условные рефлексы; инструментальные условные рефлексы. > Когнитивные процессы: латентное обучение; выбор по образцу; обучение, основанное на представлениях о: * пространстве; * порядке стимулов; * времени (Обширный экспериментальный материал по восприятию и оценке животными параметров времени в книге не затронут, поскольку эти вопросы практически не имеют прямой связи с проблемой мышления животных); * числе. — элементарное мышление (Классификация видов мышления животных рассматривается в главе 4).. Далее рассматриваются основные формы обучения, приведенные в схеме классификации. 2.1. Неассоциативное обучение (привыкание).Неассоциативное обучение (привыкание) заключается в ослаблении реакции при повторных предъявлениях раздражителя. Изначально любой раздражитель (стимул), действующий на органы чувств животного, вызывает у него соответствующую ответную реакцию: поворот головы в сторону света или звука, отдергивание конечности и др., у моллюсков — втягивание жабр и т.д. При повторном систематическом предъявлении того же стимула реакция постепенно ослабевает и может исчезнуть совсем, т.е. происходит привыкание к раздражителю. Так, например, только что установленное в огороде чучело распугивает птиц, однако с течением времени их страх ослабевает и они перестают реагировать на этот предмет. Привыкание — наиболее примитивная форма обучения, отчетливо выраженная даже у низших организмов — беспозвоночных животных. Его успешно исследуют на имеющих простую нервную систему ки-шечно-полостных, червях, моллюсках, насекомых. Для изучения привыкания используются также модельные системы — так называемые клеточные аналоги привыкания или срезы мозга. Более строго привыкание определяют как снижение вероятности появления реакции или уменьшение интенсивности при неоднократном повторении вызывающего ее раздражителя. Ослабление ответной реакции можно считать истинным привыканием только в том случае, когда оно обусловлено изменениями в ЦНС, а не адаптацией рецепторов или утомлением. Применение какого-либо нового стимула прекращает процесс привыкания к прежнему раздражителю, и угасшая было реакция на исходный раздражитель полностью восстанавливается. Для привыкания характерно и так называемое спонтанное восстановление, если действие стимула временно прекращается. Более подробные сведения о свойствах процесса привыкания можно найти в учебниках Кэнделла (1987), Шеперда (1987) и Эккерта и др. (1991). 2.2. Ассоциативное обучение.При ассоциативном обучении в ЦНС формируется временная связь между двумя стимулами, один из которых изначально был для животного безразличен, а другой выполнял роль вознаграждения или наказания. Формирование этой связи обнаруживается в виде изменений в поведении животного, которые в зависимости от своей «структуры» называются либо классическими, либо инструментальными условными рефлексами. 2.2.1. Основные характеристики условнорефлекторной деятельностиВ 1902 году, анализируя нервную регуляцию процесса пищеварения у собак, И.П.Павлов обнаружил так называемое «психическое слюноотделение». Феномен заключался в выделении у животного слюны, которая стекала в пробирку через фистулу на щеке еше до попадания пищи в рот, т.е. заранее, «в опережающем режиме», как только собаку приводили в экспериментальную комнату и помещали в специальный станок (рис.1). Таким же образом повторное сочетание любого нейтрального для животного раздражения (например, звонка) с кормлением вызывает выделение слюны еще до того, как собака получит пищу. И. П. Павлов назвал звонок условным сигналом (УС), пищу — безусловным раздражителем (или стимулом), реакцию животного (слюноотделение) в ответ на предъявление пищи — безусловным рефлексом (БР), а в ответ на звонок — условным рефлексом (УР).  Рис. 1. Схема установки по выработке слюнных условных рефлексов в экспериментах И. П. Павлова. Через фистулу в щеке слюна поступает в устройство, измеряющее ее объем. Перед животным имеется панель, где расположены источники нейтральных раздражителей (света и звука), которые могут стать УС. Принцип образования условного рефлекса состоит в следующем: действие какого-либо нейтрального (или индифферентного) для животного раздражителя совместно со стимулом, вызывающим у него определенную реакцию (например, отдергивание конечности при болевой стимуляции), приводит к тому, что постепенно этот ранее нейтральный стимул начинает вызывать такую же реакцию. Предъявление безусловного стимула вслед за условным в процессе выработки УР называется его подкреплением. Если при выработке УР применяется подкрепление, соответствующее имеющейся у животного мотивации (например, пищевое подкрепление в состоянии голода), то оно называется положительным и вырабатываемый УР также называется положительным. Можно выработать УР и с применением отрицательного подкрепления (наказания), т.е. такого воздействия, которого животное стремится избежать. В эксперименте в качестве отрицательного подкрепления чаще всего применяют удар электрического тока, вызывающий отдергивание конечности или перебегание в безопасное отделение камеры. Используют также действие воздушной струи, направленной на роговицу глаза и вызывающей мигание. Динамика реакций мигательной перепоныки кролика при выработке такого УР показана на рис. 2А. Подкрепление, которое используется для выработки УР, оказывается эффективным, если оно применяется в период достаточно сильного мотивационного возбуждения. Так, удар воздушной струи, направленной на роговицу глаза, может стать отрицательным подкреплением, только если он действительно неприятен животному. Слюнной и мигательный УР относятся к категории классических («павловских») условных рефлексов (см. также 2.2.2).  Рис. 2. Изменения условной реакции мигания у кролика. Безусловный стимул — струя воздуха, направленная на роговицу; условный — звук; А — его угашение; Б — генерализация ответа при использовании в качестве УС тонов разных частот. По оси ординат — доля УР (в %), по оси абсцисс — число предъявлений (А) и частота тона (Б). На основе изучения слюнных УР у собак И. П. Павлов сформулировал основные общие правила образования УР: условный сигнал должен предшествовать безусловному раздражению, но не наоборот; действие условного и безусловного раздражителей должно частично перекрываться во времени; сочетание условного и безусловного раздражителей должно повторяться многократно. Эти правила приложимы не только к классическим, но и к инструментальным (см. ниже) УР. И формирование, и проявления уже выработанных слюнных УР у собак в значительной степени чувствительны к влиянию посторонних раздражителей. В лаборатории И. П. Павлова было обнаружено, что любой посторонний и достаточно сильный стимул, подействовавший в течение эксперимента, уменьшает условнорефлекторное слюноотделение у собаки, как бы «отвлекает» ее. Павлов объяснял это явление на основе своего понимания механизма формирования УР: вмешательство постороннего стимула вызывает в коре головного мозга собаки сильный очаг возбуждения, который в силу природы условнорефлекторньгх связей подавляет уже сформированный УР, «индуцируя» торможение участка коры, ответственного за этот УР. Такое торможение И. П. Павлов назвал внешним. Помимо внешнего торможения в лаборатории Павлова было описано и внутреннее торможение. Одно из проявлений этого процесса можно наблюдать в опытах, когда предъявление УС перестает сопровождаться подкреплением. Отмена подкрепления ведет к постепенному исчезновению внешних проявлений УР, к его угашению (ход угашения мигательного УР у кролика представлен графически на рис. 2А). Однако этот УР не разрушается, не исчезает и при возобновлении подкрепления восстанавливается. Для восстановления требуется значительно меньшее число сочетаний УС с подкреплением, чем при первоначальном обучении. По Павлову, отмена подкрепления не разрушает УР, а лишь подавляет его в связи с формированием очага внутреннего торможения. Следует отметить, что для проявления условной связи между двумя стимулами подкрепление не всегда необходимо. В работах И. П. Павлова было показано, что и сами УС в определенных условиях могут действовать как подкрепление. Можно провести опыт, в котором какой-либо УС (УС-1) всегда сочетается с подкреплением и вызывает, например, слюноотделение. Затем некий второй УС (УС-2) многократно применяется вместе с УС-1 (без сочетания с безусловным раздражением). Если после этого применить только УС-2, можно убедиться, что он также вызывает условную реакцию. Это явление было названо условным рефлексом второго порядка. Несколько отличается от описанного другой опыт, который также показывает, что для формирования УР подача подкрепления не всегда обязательна. Если два УС предъявлять животному совместно (УС-1 + УС-2) много раз еще до применения безусловного стимула, а затем предлагать только сочетание УС-1 и безусловного раздражения, то затем условная реакция проявится при даче одного лишь УС-2. Таким образом, хотя УС-2 никогда сам по себе не подкреплялся, между УС-1 и УС-2 сформировалась связь, которая позволила проявиться условной реакции при действии только УС-2. Процесс формирования связи между индифферентными раздражителями иногда называют сенсорным предобуславливанием {sensory preconditioning, Мак-Фарленд, 1987). Вряд ли это можно считать правильным, потому что обнаружить наличие подобной связи можно лишь с помощью соответствующего тестирования — путем выявления реакции на второй индифферентный стимул. На основе огромного опыта изучения условных рефлексов у собак И. П. Павлов и его ученики создали учение о высшей нервной деятельности. Оно базировалось на ряде постулатов, которые довольно хорошо соответствовали накопленным к тому времени экспериментальным данным. Концепция Павлова содержала следующие положения: высшая нервная деятельность (т.е. образование условных рефлексов) есть результат взаимодействия двух основных нервных процессов — возбуждения и торможения; при действии УС в коре головного мозга формируется очаг возбуждения; из этого очага возбуждение иррадиирует (распространяется) по коре; внешнее проявление иррадиации возбуждения — процесс генерализации, т.е. появление УР не только на данный стимул, но и на близкие к нему по параметрам раздражители (например, не только на звуковой тон определенной высоты, который использовался при обучении, но и на другие звуки близких диапазонов) (см. рис. 3.2Б); свойством генерализации обладает и тормозный процесс; очаги возбуждения и торможения обладают свойством отрицательной индукции, благодаря которому на периферии очага возбуждения в коре появляется очаг торможения (таким же свойством обладают очаги торможения); процессы возбуждения и торможения взаимодействуют на основе не только их иррадиации, но и концентрации; если иррадиации нервных процессов соответствует явление генерализации, то концентрация процесса возбуждения проявляется в формировании дифференцировочных условных рефлексов (см. 3.3); формирование УР заключается в образовании связи между двумя очагами возбуждения, вызванными условным и безусловным раздражителями. Фундаментальное значение открытия И. П. Павловым условных рефлексов заключается в том, что такой вид психической активности, как ассоциативное обучение, стал предметом экспериментальных физиологических исследований (ранее психологи изучали его только на основе интроспективных заключений). Павловская концепция физиологии высшей нервной деятельности логично описывала полученные в тот период и теми методами экспериментальные данные. Она сыграла большую роль в науке, объясняя механизм формирования целого ряда сложных поведенческих реакций. Однако постепенно, с расширением методической базы, а также с переходом к экспериментам на других животных, стала очевидной ее ограниченная применимость для объяснения многих фактов, прежде всего потому, что упомянутые закономерности нервных процессов далеко не всегда подтверждались прямыми нейрофизиологическими исследованиями функций головного мозга. Так, например, представления об иррадиации и концентрации нервных процессов не подтвердились при использовании в качестве моделей других УР. В настоящее время отдельные ученые продолжают использовать положения павловской концепции при трактовке результатов изучения высшей нервной деятельности, получаемых традиционными методами павловской школы. В этом нет ничего парадоксального, так как в любой теории, прошедшей проверку временем, основная идея сохраняется. Сущность павловского учения составляет идея об условных рефлексах как элементарной единице приспособительной деятельности. Методологический подход к изучению высшей нервной деятельности базируется на четырех принципах: детерминизм, анализ и синтез, приуроченность функции к структуре. Ассоциативное обучение, включающее классические и инструментальные условные рефлексы, интенсивно исследовалось на протяжении всего XX века. Рассмотрим более подробно основные типы условных рефлексов. 2.2.2. Классические условные рефлексыУсловнорефлекторное слюноотделение, которому уделялось основное внимание в лаборатории Павлова, относится к классическим УР. При выработке классического УР последовательность событий в опыте никак не зависит от поведения животного. Она устанавливается либо экспериментатором, либо специальной программой, в соответствии с которой включаются те или иные стимулы, в ответ на них можно наблюдать образование условных реакций. В настоящее время в связи с использованием разнообразных экспериментальных животных (не только традиционных собак), а также благодаря разнообразным методам регистрации изучаемых реакций на смену павловской методике классических слюнных УР пришли другие, более удобные лабораторные модели, которые продолжают быть предметом многочисленных исследований (см. также Мак-Фарленд, 1987; Реагсе, 1998). Разнообразные классические условнорефлекторные реакции можно наблюдать в экспериментах на животных, если проводить полиграфическую регистрацию ряда физиологических процессов организма (ЭКГ, ЭЭГ, плетизмог-рамму и др.). Как и в случае слюнного рефлекса, сочетание положительного (например, пищевого) безусловного раздражения с нейтральным приведет к тому, что последний начнет вызывать изменения в вегетативных функциях организма, которые до этого провоцировались только непосредственно самим безусловным воздействием. Полиграфическая регистрация обычно используется при изучении отрицательных (аверсивных) классических УР. Много работ такого рода проводится также для оценки реактивности нервной системы к действию стрессорных агентов и ее устойчивости к стрессу. В настоящее время классические УР наиболее часто исследуют на моделях, использующих вкусовое отвращение и реакцию третьего века (мигательной перепонки). Было, например, обнаружено, что классические УР образуются с разной скоростью в зависимости от того, какие физиологические системы вовлечены в их формирование. Так, УР избегания пищевого яда у крыс (как правило, используют хлорид лития) формируется легко, если введение его в организм сочетается с предложением животному пищи определенного вкуса. Однако УР избегания яда формируется с трудом или не образуется совсем, если его введение сочетается, например, со звуковым раздражением. На схеме (рис. 3.3) показано, как авторы (Garcia et al., 1970) представляют себе гипотетический механизм формирования такого УР вкусового отвращения. Вкусовой стимул, сочетающийся с пищевым отравлением, ведет к образованию УР вкусового отвращения. При сочетании звука с ударом тока образуется УР на боль. В то же время иное сочетание, например вкусового и болевого стимулов, не ведет к образованию УР. Классический УР — сокращение мигательной перепонки при действии тактильного или звукового УС — обычно изучают на кроликах. При действии на роговицу глаза безусловного раздражителя — воздушной струи (или слабого удара тока) — мигательная перепонка сокращается. Это сокращение можно регистрировать специальным прибором и оценивать его интенсивность. Если безусловное раздражение сочетать с каким-либо нейтральным стимулом, например звуком, то после нескольких сочетаний мигательная перепонка будет сокращаться уже при изолированном действии этого звука, который становится условным сигналом (см. рис. 2).  Рис. 3. Схема, показывающая избирательность ассоциаций между УС и подкреплением при формировании классических УР.
2.2.3. Инструментальные условные рефлексы (или обучение методом проб и ошибок) Начало исследований инструментальных УР связано с именем Э. Торндайка (см. 4.1), хотя их анализ проводился и в лаборатории И. П. Павлова. В лаборатории И. П. Павлова «классические» УР носили название условных рефлексов 1-го рода, а инструментальные — условных рефлексов 2-го рода. В монографии Ю. Конорски (1969) на большом экспериментальном материале дается анализ сходства и различия между ними. В опытах с «проблемными ящиками» Торндайк наблюдал, как посаженная в ящик кошка ищет выход, пытаясь открыть дверцу разными способами (рис. 3.4А) (для этого нужно было нажать на задвижку или потянуть за пружину). Кошка сначала совершает много разных действий (проб), которые в своем большинстве бывают неверными (ошибки), пока случайно не откроет яшик. При повторении опытов она выходит из ящика все быстрее и быстрее. Идея эксперимента была подсказана Торндайку К. Ллойдом-Морганом, наблюдавшим, как его собака манипулирует с задвижкой калитки, чтобы «улизнуть» из дома (рис. 3.5). Такое обучение Торндайк и назвал «методом проб и ошибок». В дальнейшем обучение животного подобным действиям получило название инструментальных (или оперантных) УР. Торндайк первым предложил количественную оценку динамики обучения животного инструментальному навыку. Для этого он ввел так называемые «кривые научения», примеры которых приведены на рис. 4Б. Между классическими и инструментальными УР существуют определенные различия.  Рис. 4. Инструментальные УР. А — один из вариантов «проблемного ящика», предложенный Э. Торндайком для исследования способности животного к решению.задачи методом «проб и ошибок»; Б — примеры кривых научения при использовании этого метода. По оси ординат — время, затраченное на решение задачи, по оси абсцисс — последовательные предъявления теста. При классических УР временная связь между условным сигналом и безусловной реакцией возникает непроизвольно при действии безусловного раздражителя (подкрепления). При инструментальных УР подкрепление, например пища, дается только после того, как животное совершает определенное действие, которое не имеет прямой связи с безусловным раздражителем. В классическом УР выделение слюны происходит в ответ на контакт пищи с рецепторами полости рта, и эта реакция может стать услов-норефлекторной. В отличие от этого при выработке инструментального УР пищевое подкрепление изначально никак не связано ни с протягиванием лапы, ни с побежкой в лабиринте. Однако мы можем давать животному пищу сразу после того, как оно сделало такое движение, и вскоре животное будет его совершать, чтобы получить подкрепление. К категории инструментальных УР относится формирование навыка нажатия на рычаг (или клевания кнопки, как на рис. 3.6) для получения порции пищи. После работ Б.Скиннера этот УР стал основным в исследованиях бихевиористов (анализ связей «стимул-реакция»). К инструментальным УР относится также обучение подопытного животного находить путь к пище или избегать неприятных стимулов в лабиринте. Инструментальным УР является и реакция избегания — навык переходить в тот отсек экспериментальной камеры, где отсутствует болевое подкрепление (рис. 7).  Рис. 5. Рисунок, сделанный по фотографии «исторического» эпизода. Собака К. Л. Моргана научилась открывать задвижку калитки, получая тем самым возможность «обрести свободу». Эта ситуация считается прототипом торндайковского «проблемного ящика».  Рис. 6. Камера Б. Скиннера для обучения голубей. В верхней части левой стенки камеры размещены 3 диска-«ключа». Они различаются не только по положению, но и по цвету лампочки, которая загорается за каждым из них. В кормушку (ниже) подают подкрепление. Клевание ключа (или, например, каждое 5-е клевание) автоматически подает зерно в кормушку.  Рис. 7. Челночные камеры для исследования у лабораторных крыс и мышей реакции активного избегания. А — современная установка для изучения условной реакции активного избегания, которая обычно состоит из 4 челночных камер с автоматизированным управлением и выводом результатов на экран монитора; Б — отдельная челночная камера. Включению тока предшествует включение УС — звука или света. Чтобы избежать болевого воздействия, животное перебегает в другую половину камеры. По прошествии небольшого периода времени (как правило, его длину варьируют, чтобы не вырабатывать у животного УР на время) ток включают в той половине камеры, куда оно перед этим перебежало. УР считается выполненным, если животное перебегает в безопасную половину камеры во время действия УС и до включения тока. Обширные исследования, выполненные сторонниками идей бихевиоризма, привели к появлению целого ряда новых терминов и понятий и созданию специфического языка для описания закономерностей процесса обучения, обнаруженных только благодаря примененным ими подходам. Многие термины сначала использовались как чисто технические — для объективного описания данных (знакомство с ними может помочь при чтении научных статей бихевиористов). К таким терминам, в частности, относятся: оперантное поведение — спонтанные действия, не вызванные каким-либо очевидным стимулом; реактивное поведение — всякое поведение, которое совершается в ответ на определенный стимул; режим подкрепления (reinforcement schedule): соотношение числа реакций (например, нажатий на рычаг) и вознаграждений (например, кусочков пищи; подробнее см. ниже); постоянный (или переменный) интервал (fixed or variable interval) — вознаграждение дается через определенные интервалы времени, в период которых животное может осуществлять двигательные реакции (эти интервалы могут быть постоянными или варьировать по длительности), но по истечении этого интервата подкрепляется только первая реакция; фиксированное (или переменное) соотношение (fixed ratio or variable ratio) — подкрепление дается животному только после того, как оно произведет какое-то количество реакций (нажатий или клеваний. Можно давать подкрепление только после определенного числа реакций (фиксированное соотношение) или это число может каким-то образом варьировать (переменное соотношение); смежность (contiguity) — этим термином обозначают постулируемое возникновение связей между стимулами и возникающими на их основе реакциями, а также совпадение УС с реакцией животного или УС с подкреплением, которое необходимо для возникновения УР; ключ (сие) — обычно это либо рычаг, на который нажимает крыса, либо освещенный кружок, по которому наносит удар клювом голубь (этот термин, обычный для работ бихевиористов, не следует путать с термином «ключевой стимул», принятым в этологии для обозначения видоспецифических стимулов, вызывающих инстинктивные реакции (см. 2.11). На рис. 6 схематически изображена камера для выработки инструментальных УР у голубей. Скиннер считал, что любое поведение, относящееся к категории «оперантное», можно модифицировать, если при его выполнении давать животному подкрепление. Именно такой подход он предложил как эффективный способ анализа поведения. Если для выработки классических УР необходимы сочетания условных сигналов и подкрепления, то при методике свободного оперантно-го поведения, предложенной Скиннером, экспериментатор сопровождает подкреплением выполнение животным только определенного, намеченного им действия. Например, крысу можно обучить нажимать на рычаг, если сначала сопровождать подкреплением любые ее действия в той части камеры, где он находится. Постепенно крыса обучается держаться вблизи рычага, и тогда подкрепление дают только, если она касается рычага мордой или лапой (для этого иногда на рычаг даже кладут пишу). Через некоторое время подкрепление дается только после выполнения четких движений — нажатий (одного или нескольких) лапой на рычаг. Такое постепенное видоизменение поведения животного в результате вмешательства экспериментатора называется методом последовательного приближения или формированием (shaping) поведения. Деление условных рефлексов на классические и инструментальные, удобное методически, не означает, что они имеют совершенно разную природу. В их основе лежат сходные нейрофизиологические механизмы, а любое «чисто» инструментальное действие животного всегда сопровождается реакцией, которая относится к классическим УР. И наоборот, в любом «чисто» классическом УР можно обнаружить двигательный компонент, который по своим свойствам относится к инструментальным (Борукаев, 1982). О связи классических и инструментальных УР свидетельствует также «самоформирование» условной реакции {autoshaping). Например, если голодного голубя поместить в камеру Скиннера и в течение 5 с освещать ключ для клевания с интервалом в 1 мин, а после прекращения освещения давать порцию пиши, то голубь сначала не обращает внимания на ключ. Однако после нескольких таких сеансов формируется инструментальная реакция, и он быстро начинает клевать ключ независимо от освещения. Постепенно голубь научается клевать ключ только при его освещении, т.е. реакция становится более точной — она самоформируется. В данном случае она очень близка к классическому УР, поскольку голубь клюет ключ как бы вместо зерна, даже в отсутствие подкрепления. С помощью метода «последовательного приближения» у животных удается сформировать не только клевание ключа при его освещении, но и самые разнообразные, сложные и иногда неожиданные навыки. В опытах Скиннера голуби «играли» в пинг-понг, а крысы могли подтянуть к себе с помощью бечевки бильярдный шар, взять его в передние лапы и засунуть в трубку, расположенную на 5 см выше пола клетки (описание экспериментов П. Эпштейна, посвященных формированию сложных навыков у голубей, будет дано в гл. 4.8.2). Метод последовательного приближения составляет основу дрессировки цирковых и служебных животных. Примером продуктивного использования принципов бихевиоризма, и в частности роли метода последовательного приближения в формировании поведения, является работа знаменитой американской дрессировщицы дельфинов и психолога К. Прайор(1995). Тезис Скиннера о том, что любые движения, на которые способно животное данного вида, равновероятно можно использовать для инструментального научения, был достаточно обоснованно подвергнут сомнению в работе его коллег - К. и М. Бреландов (Breland, Breland, 1961). Некоторые виды животных при обучении манипуляциям с предметами производят «заданные» экспериментатором действия только после выполнения некоторых врожденных (инстинктивных) действий либо совсем не могут им научиться. Так, например, обучая енота нажимать на рычаг, Бреланды заметили, что нажатию предшествует видоспецифи-ческое движение лап — «полоскание», характерное для этого вида при добыче пищи из ручья (за что енота и называют «полоскун»). На основании таких наблюдений возникло представление о предрасположенности к определенным видам обучения (подробнее см.: Зорина и др., 1999). Образование инструментальных УР по механизму «последовательного приближения» играет важную роль в организации поведения животных не только в эксперименте, но и в естественных условиях. Обучение по методу последовательного приближения может происходить самым неожиданным образом. Об этом, в частности, свидетельствует получившая широкую известность в начале XX века история «умного Ганса». Это был конь, который демонстрировал способность «считать», «складывать», «извлекать корни», отвечать на вопросы и т.п. (рис. 3.8). Столь «разумное» поведение объяснялось тем, что конь научился замечать малоуловимые движения дрессировщика, которые тот непроизвольно совершал, видя, что конь вот-вот даст правильный ответ. Ориентируясь на эти условные сигналы, конь в нужный момент прекращал стучать копытом.  Рис. 8. Инструментальные условные рефлексы у дрессированной лошади «умного Ганса». На фотографии видно, как ударами копыта по специальной доске Ганс сигнализировал «правильный» ответ (по Н. Н. Ладыгиной-Котс, 1914). В начале XX века (1900—1904) барон В. фон Остен, убежденный в огромных умственных способностях лошадей, обучал нескольких из них различению цветов, азбуке и «счету». Узнавание каждой буквы или цифры лошадь обозначала соответствующим числом ударов копыта. Друг фон Остена художник Редлих обучил таким же образом свою собаку. Наиболее способным учеником оказался орловский рысак Ганс, который производил достаточно сложные арифметические подсчеты, отвечал на разнообразные вопросы, а иногда высказывался по собственной инициативе. Так, супруги Н. Н. и А. Ф. Котс, специально приехавшие для знакомства с ним в 1913 году, рассказывали, что после нескольких относительно коротких ответов на вопросы Ганс заявил: «В поле я встретил милую госпожу Краль, которая меня кормила». Поведение его было столь впечатляющим, что вводило в заблуждение не только публику, но даже членов специальных комиссий, включая Н. Н. Лады-гину-Котс. Предполагали, что хозяин подает коню некие скрытые сигналы (как дрессировщик — цирковым животным), однако его обследовали 13 экспертов (комиссия психолога К. Штумпфа) и не обнаружили никакого обмана. Они засвидетельствовали, что Ганс действительно «считает» и никаких скрытых сигналов ему не подают. И лишь много позднее наблюдатели постепенно заметили, что Ганс отвечает только на те вопросы, ответ на которые знает сам экспериментатор. Специальный анализ, проведенный психологом О. Пфунгстом, показал, что животное реагирует на мельчайшие непроизвольные (идеомоторные) движения экспериментатора, например на отклонения корпуса на 2 мм, микродвижения бровей, мимику и т.п. Эта невольная подача сигналов происходила, по-видимому, из-за эмоционального напряжения человека, по мере того как число ударов копытом приближалось к искомому, Даже картонный щит, которым пробовал отгородиться от Ганса экспериментатор, не помогал: животное все равно улавливало какие-то только ему понятные знаки для определения правильного ответа. Для проверки своего предположения Пфунгст специально научил Ганса реагировать на микродвижения, которые он совершал уже сознательно, и продемонстрировал комиссии механизм и природу «математических способностей» этой лошади. История «умного Ганса» оставила заметный след в развитии науки о поведении животных: она показала, сколь сложное поведение могло быть результатом обучения методом проб и ошибок; продемонстрировала справедливость «канона Ллойда Моргана» (см. 2.3) и актуальность его применения, поскольку в основе поведения этой «мыслящей лошади» лежали чисто условнореф-лекторные, а не связанные с мышлением механизмы; впервые привлекла внимание к проблеме чистоты эксперимента с точки зрения возможности неосознанного влияния экспериментатора на его результаты; заставила по-новому взглянуть на возможности восприятия животных: способность уловить едва заметные движения человека свидетельствовала об их большой наблюдательности и способности концентрировать внимание. 3. Дифференцировочные условные рефлексы.Перестав подкреплять выполнение условной реакции, можно не только «угасить» УР, но и «усовершенствовать» его, т.е. добиться, что условная реакция будет осуществляться точно на данный и только на данный стимул, а близкие по своим физическим свойствам раздражители ее не вызовут. Как известно, в начале формирования УР животное реагирует не только на строго конкретный условный стимул, например звук определенной частоты, но и на сходные с ним звуки, хотя и не полностью ему идентичные, например звуки близких частот (см. рис. 3.2Б). Эта стадия выработки УР называется генерализацией. Далее исследователь продолжает подкреплять (пищей или избавлением от опасности) условную реакцию только на определенный сигнал и не подкрепляет ответов на сходные, и в результате они постепенно угасают. Таким способом животное обучают различать — дифференцировать — весьма похожие сигналы. В основе формирования дифференцировочных УР лежит днфферен-цировочное торможение — один из видов внутреннего торможения. Процедура такого «совершенствования» сигнального значения условных раздражителей была названа И. П. Павловым дифференци-ровкой, или выработкой дифференцированных условных рефлексов (см. также рис. 3.2). Выработка дифференцировочных УР (разными методами) успешно используется для оценки сенсорных способностей (т.е. возможностей органов чувств) животных разных таксономических групп (см., например: Дьюсбери, 1981; Реагсе, 1998). Так, выработав у животного УР дифференцирования (различения) двух цветовых стимулов, можно, выравнивая их другие параметры (например, яркость), изучать механизмы восприятия цвета. При этом если животное, в силу особенностей органов чувств, не воспринимает различий между двумя зрительными стимулами (цветами спектра), то выработать у него устойчивую дифференцировку такой пары стимулов невозможно. Методики выработки дифференцировочных УР весьма многочисленны и разнообразны по процедуре эксперимента. Перечислим основные параметры, по которым различаются такие методики. Порядок предъявления стимулов может быть последовательным или одновременным. При последовательном предъявлении голубь должен научиться клевать кнопку (диск) в ответ на стимул А и воздерживаться от реакции при включении стимула Б (методика go— no go). Выработка дифференцировки, таким образом, состоит в торможении реакции на второй стимул. При одновременном предъявлении конкретной пары стимулов животное учится различать (дифференцировать) их абсолютные признаки. Например, при дифференцировке стимулов по их конфигурации животному одновременно показывают две фигуры — круг и квадрат, и подкрепляют выбор одной из них, например, круга. Это наиболее распространенный вид дифференцировочных УР. Выработка и упрочение такой реакции требует, как правило, многих десятков сочетаний. Животному предлагают сделать выбор стимулов: альтернативный или множественный. Предъявление стимулов может осуществляться в соответствии с двумя режимами: повторение одной пары стимулов до достижения критерия и чередование нескольких пар стимулов при систематическом варьировании второстепенных параметров. Рассмотрим некоторые методы более подробно. При систематическом варьировании второстепенных параметров стимулов можно оценивать способность животных различать не только данную конкретную пару раздражителей, но и их «обобщенные» (отвлеченные) признаки, совпадающие у многих пар. Например, животных можно обучить различать не конкретные круг и квадрат, а любые круги и квадраты независимо от их размера, цвета, ориентации и т.п. С этой целью в процессе обучения каждый следующий раз им предлагают новую пару стимулов (новые круг и квадрат). Новая пара отличается от остальных по всем второстепенным признакам стимулов — цвету, форме, размерам, ориентации и т.п., но сходна по их основному параметру — геометрической форме, различения которой и предполагается добиться. В результате такой тренировки у животного постепенно происходит обобщение основного признака и отвлечение от второстепенных. В приведенном примере обобщается признак «круг» (подробнее см. гл. 5). Данный режим оказался весьма эффективным для выработки диф-ференцировочного УР на обобщенный признак «мерность», когда животное училось выбирать любую объемную (трехмерную) фигуру и не реагировать на плоские (двумерные) фигуры (см. 4.6.3). В таких опытах с собаками, обезьянами и воронами у одной группы животных каждого вида вырабатывали УР выбора любой объемной (трехмерной) фигуры, а у второй группы — любой плоской (двумерной). Каждый раз животному предъявляли новую пару стимулов из набора, изображенного на рис. 4.15 (всего 30 пар), причем плоская фигура всегда представляла собой фронтальную проекцию объемной. Может возникнуть предположение, что задача по выработке таких дифференцировок для животных очень сложна, однако с ней справляются не только приматы, но и хищные млекопитающие (Дашев-ский, Детлаф, 1974), а также птицы — врановые (Крушинский и др., 1981) и даже голуби. При этом животным всех указанных видов требовалось примерно столько же сочетаний, как и при выработке диффе-ренцировки с одной парой стимулов. После такой серии обучения они способны выбирать любую новую объемную (или плоскую) фигуру без дополнительной тренировки. При систематическом варьировании второстепенных признаков стимулов можно исследовать не только способность животных к обучению, но и более сложную форму их высшей нервной деятельности — способность к обобщению, которая составляет одно из важнейших свойств довербального мышления животных (гл. 5). Как уже упоминалось, животные с разным уровнем структурно-функциональной организации мозга практически не различаются по способности к простым формам условнорефлекторного обучения. Образование отдельных дифференцировочных УР в этом плане не составляет исключения. Однако благодаря использованию дифференцировочных УР в качестве элементарных единиц обучения и созданию их разнообразных комбинаций было разработано несколько экспериментальных процедур, которые называют «сложными формами обучения», или серийным обучением (serial learning). Появление этих методов было связано со стремлением специалистов все же выявить какие-то различия в способностях у животных разных таксономических групп с разным уровнем организации мозга (см. 8.1). Наиболее важные из этих методов: последовательные переделки сигнального значения дифферен- цировочных стимулов; формирование установки на обучение; формирование «систем» дифференцировочных УР. 3.1. Последовательные переделки сигнального значения дифференцировочных стимулов.Переделка сигнального значения условных раздражителей (ее часто называют переделкой дифференцировки) — это разновидность дифференцировочного обучения. После достижения определенного, выбранного экспериментатором критерия выработки различения (например, 80% правильных решений) условия получения подкрепления меняются на противоположные: теперь реакция на стимул, ранее подкреплявшийся, перестает сопровождаться пищей, а реакцию на стимул, на который животное только что научилось не реагировать, начинают подкреплять. Американский исследователь М. Биттерман (1973) предложил проводить такие переделки многократно. Эта процедура получила название метода последовательных (или обратимых) переделок (discrimination reversal learning). Автор исходил из того, что после многократных смен сигнального значения стимулов у животных может сформироваться единая стратегия (или правило), и они не будут каждый раз обучаться совершенно заново. Опыты проводились на разных видах позвоночных. При каждой следующей переделке число ошибок снижалось, и в конце концов наступал момент, когда при очередной смене сигнального значения стимулов животное уже со второй пробы начинало выбирать «правильно» без дополнительного обучения. Снижение числа проб, необходимого для очередной переделки реакции, происходит тем быстрее, чем выше уровень эволюционного развития данного животного. 3.2. Формирование «установки на обучение».Метод формирования «установки на обучение» (object learning-set formation) разработал американский исследователь Г. Харлоу (Harlow, 1949; 1958). Согласно классическому варианту этой методики, животное (в опытах Харлоу макака-резуса) обучают простой дифференци-ровке — выбору одного из двух стимулов: игрушек или мелких предметов обихода. По достижении определенного критерия выработки дифференцировки начинают следующую серию: животному предлагают два новых стимула, ничем не похожих на первые. По завершении второй стадии обучения формируют третью дифференцировку и т.д. После выработки 100—150 таких реакций (их число зависит от уровня организации данного вида и может доходить до 1500 у крыс и голубей, занимая многие месяцы) животное уже при втором предъявлении новой пары стимулов действует не наугад, не методом проб и ошибок, а в соответствии с усвоенным им ранее правилом, которое принято называть установкой. Оно запоминает результат первой пробы и далее реагирует в соответствии с этой «установкой». Правило состоит в том, чтобы «выбирать тот же предмет, что и в первой пробе, если его выбор сопровождался подкреплением, или другой, если подкрепление получено не было (в дальнейшем эта стратегия получила название "win-stay, lose-shift")». Принято считать, что при обучении с использованием метода последовательных переделок и при формировании установки происходят сходные процессы, так что первый можно считать частным случаем формирования установки. Впоследствии было создано несколько модификаций исходной методики. Например, Д. Уоррен (Warren, 1977) в своих опытах не вырабатывал каждую дифференцировку до достижения критерия обученности, а предъявлял каждую пару определенное число раз и затем предлагал следующую. Именно этот вариант был использован рядом авторов для сравнения обучаемости разных видов приматов (Passingham, 1982; Rumbaugh et al., 1987, 2000). Методом формирования установки на обучение впервые была получена широкая сравнительная характеристика обучаемости животных разных систематических групп, которая в определенной степени коррелировала с показателями организации мозга. Вместе с тем, как и данные М. Биттермана, эти результаты свидетельствовали о существовании у животных каких-то процессов, выходящих за рамки простого образования дифференцировочных УР. Считают, что в ходе такой процедуры животное «учится учиться». Оно освобождается от связи «стимул-реакция» и «переходит от ассоциативного обучения к инсайт-подобному обучению с одной пробы» (Harlow, 1958). При этом, по мнению Р. Бирна (Byrne, 1998), у животного должна сформироваться характеристика подкрепляемого стимула в какой-то отвлеченной форме, т.е. должно сформироваться абстрактное правило. Человек выразил бы это правило, как «выбирай подкрепляемое» вместо того, чтобы запоминать каждый раз целый список стимулов (например, красный мяч «+», блюдце «—»; штопор «+», свисток «—» и т.д.). Аналогичной точки зрения придерживается Л. А. Фирсов. Он считает, что этот вид обучения по своей сути и по лежащим в его о...
|
|
Простая ссылка на эту работу:
Ссылка для размещения на форуме:
HTML-гиперссылка:
|
Добавлено: 2010.10.21 Просмотров: 1765 |
Notice: Undefined offset: 1 in /home/area7ru/area7.ru/docs/linkmanager/links.php on line 21
