Недавно пользователи популярного чат-бота ChatGPT от OpenAI столкнулись с весьма необычным и забавным явлением: искусственный интеллект начал навязчиво упоминать гоблинов в своих ответах, порой совершенно без повода. Это странное поведение вызвало недоумение и смех в сообществе, но для разработчиков стало серьёзной головоломкой.
Ситуация достигла такого масштаба, что OpenAI была вынуждена пойти на беспрецедентный шаг: временно внести в производственный код ChatGPT прямую инструкцию «никогда не упоминать гоблинов». Эта экстренная мера позволила купировать проблему, пока инженеры искали её первопричину.
Теперь, после тщательного расследования, OpenAI опубликовала подробный отчёт — так называемый «постмортем» — объясняющий истоки этой загадочной «гоблинской» фиксации. Согласно заключению, проблема оказалась результатом сложного взаимодействия нескольких факторов. В частности, речь идёт о редких, но влиятельных паттернах данных, на которых обучалась модель, и о специфических условиях, при которых внутренние механизмы генерации токенов в нейросети начинали придавать слову «гоблин» непропорционально высокий вес.
Это приводило к тому, что при определённых запросах или в ходе длительного диалога модель как бы «зацикливалась», спонтанно вставляя упоминания о гоблинах, даже если это было абсолютно неуместно. Разработчики подчёркивают, что это не было признаком «сознательной» одержимости, а скорее непредвиденным побочным эффектом сложной архитектуры и масштаба обучающих данных.
Публикация отчёта не только проливает свет на курьёзный инцидент, но и демонстрирует прозрачность OpenAI в работе над ошибками, а также сложность управления поведением столь мощных и многогранных ИИ-моделей.
Источник: Decrypt