В компании Anthropic решили разобраться, как именно «черный ящик» ее чат-бота Claude находит ответы на вопросы, где требуется «подумать», например, «Назови цвет четвертой планеты от Солнца» или «Укажи количество ног у животного, которое плетет сети». Нейросеть Claude состоит из множества слоев, первые из которых разбивают запрос на токены, а последние выдают вероятности очередного слова в ответе. Последовательно регистрируя состояния слоев нейросети при ответах на упомянутые вопросы, исследователи обратили внимание, что в определенных промежуточных слоях в первом случае появляется слово «Марс», а во втором — «паук». При этом в конечные ответы ни то, ни другое не попадает.

Специалисты Anthropic говорят об этом явлении, как о «рабочей области с заготовками», отмечая, что ее появление не было предусмотрено создателями Claude — она сформировалась в результате обучения: его проводят так, чтобы добиться максимальной точности и скорости ответа, и алгоритмы нейросети обеспечили себе «временный буфер», который используется для выдачи конечного ответа.

Исследователи проверили предположение, меняя содержимое «буфера». Если в нем при ответе на упомянутые вопросы заменить «Марс» на «Землю», то нейросеть отвечает «голубой», а если вместо «паук» указать «муравей», ответом будет 6.