Лучше учиться на успехах, чем на ошибках

Хорошо бы всегда учиться на своих ошибках так, чтобы не повторять их, но, к сожалению, не всегда получается. Почему так — это могут объяснить ученые из Массачусетского технологического института. Они в эксперименте на обезьянах показали, что нейроны сильнее реагируют на успех обучения, чем на неудачу.

Обезьян научили стрелять глазами за каплю сока

Животным предлагали такую задачу. На мониторе появлялась либо одна, либо другая картинка из пары. Затем возникали две точки — справа и слева от центра. Обезьянам нужно было перевести взгляд: в случае первой картинки — на точку справа, в случае второй картинки — на точку слева. Если животные отвечали правильно, они получали немного сока. Неправильный ответ обозначался большим красным квадратом на мониторе.

Затем следовала другая проба. Таким способом обезьяны учились создавать ассоциативную связь между картинкой и движением глазных яблок в одну либо другую сторону. После того как они начинали отвечать правильно в 90% проб, задача менялась на противоположную (первая картинка — взгляд влево, вторая картинка — взгляд вправо), и все начиналось сначала. За одну сессию обучения животных сбивали таким образом от трех до восьми раз. А в следующей сессии обучения на другой день предъявляли новые картинки.

Во время обучения у обезьян регистрировали активность нейронов в двух зонах мозга — латеральной префронтальной коре и хвостатом ядре (это одно из крупнейших подкорковых ядер — скоплений нейронов).

Нейроны побед и ошибок

Биологи уже показали, что нейроны обеих областей реагируют при поведенческих ответах животных на стимулы. Но до сих пор не было ясно, может ли активность этих нейронов влиять на результат обучения. Это и попытались сделать профессор Эрл Миллер (Earl K. Miller) и его коллеги из Института обучения и памяти Пикауэра (MIT`s Picower Institute for Learning and Memory).

Они регистрировали 722 нейрона в латеральной префронтальной коре и 597 нейронов в хвостатом ядре. Из них выбирали дающие стабильный ответ в виде пачек импульсов на протяжении сессии обучения (350 и 249 нейронов соответственно). Среди этих клеток было примерно поровну тех, которые усиливали свою активность при правильном решении, и тех, которые возбуждались при ошибках.

Записать результат и передать его дальше

Ученые измерили, как долго длится нейронный ответ. У большинства нейронов он не превышал секунды, но есть и такие в обеих областях, которые реагируют в течение 4−6 секунд. Длительность сигнала имеет принципиальное значение, поскольку активность этих нейронов дотягивает до следующей пробы. Это значит, рассуждали ученые, что эти нейроны доносят до следующей пробы информацию о результате предыдущей пробы: о правильном ответе или об ошибке.

Дальше выяснилось, что результат данной пробы (правильный или ошибочный) влияет на то, сколько информации нейроны донесут до следующей пробы. Клетки, реагирующие на правильное решение, испускали импульсы с большей частотой, чем клетки, реагирующие на ошибку. И поддерживали свою активность дольше. Следовательно, они доносили до следующей пробы больше информации. Эта информация облегчала выбор в последующей пробе.

Успех важнее, чем неудача

Наблюдения за нейронной активностью подтверждались наблюдениями за поведением обезьян. Вероятность правильного выбора в данной пробе была достоверно выше, если предыдущий выбор был правильным. Ученые подсчитали, что после каждой смены парадигмы в первых десяти пробах животные делали 72% правильных выборов после предыдущего правильного выбора и 53% — после предыдущей ошибки. В последних 20 пробах они достигали при этом 92 и 57% правильных выборов соответственно.

«Мы подтвердили, что клетки мозга сохраняют информацию об успехе или неуспехе предшествующего поведения, — объясняет Миллер. — Более того, нам удалось показать, что при успешном ответе клетки более точно настраиваются на последующий успех».

«Получается, что животные лучше учатся на успешных решениях, чем на ошибках. Другими словами, правильное решение больше говорит мозгу о том, каково должно быть следующее решение, — объясняют авторы работы. — Вероятно, это общая стратегия, которая соблюдается при любом обучении».

Статья опубликована в журнале Neuron.