Языковая модель GPT-4, лежащая в основе чат-бота, на июнь 2023 года стала намного «глупее», чем та же модель, но на март 2023 года. При этом языковая модель GPT-3.5, напротив, в большинстве задач стала лучше, хотя и у неё есть проблемы, пишет портал ixbt.com.

Изображение сгенерировано нейросетью Kandinsky 2.2

Исследователи Стэнфордского университета задавали чат-боту различные вопросы и оценивали правильность ответов. Причём речь шла не о каких-то абстрактных вещах, а о вполне конкретных. К примеру, искусственный интеллект должен был ответить, является ли число 17 077 простым. Дабы лучше понять процесс «размышления» ИИ, а заодно улучшить результат, чат-бота попросили расписывать свои вычисления шаг за шагом. Обычно в таком режиме ИИ чаще отвечает правильно. 

Однако это не помогло. Если ещё в марте модель GPT-4 давала правильный ответ в 97,6% случаев, то в июне показатель упал до 2,4%. То есть почти никогда чат-бот не мог правильно ответить на вопрос. В случае GPT-3.5 показатель, напротив, вырос с 7,4% до 86,8%.