Симулянт чи правда хворий? ChatGPT розлінився, дослідники поспішили діагностувати «сезонну депресію»

У ChatGPT виявили проблему з лінню (Фото:FLORENCE LO/ REUTERS)

Користувачі ChatGPT почали помічати, що чат-бот відмовляється виконувати деякі складні завдання. Тепер чимало дослідників не жартома вивчають, чи може бути лінь чат-бота проявом «сезонної депресії».

Ще після випуску на початку року четвертої версії мультимодальної великої мовної моделі від OpenAI GPT-4, що наразі доступна тільки власникам підписки ChatGPT Plus, користувачі скаржилися, що чат-бот, здається, почав працювати тільки гірше. Відтоді чимало дослідників намагалися знайти підтвердження такій суб’єктивній оцінці. І ці спроби отримали новий поштовх з настанням осінньо-зимового періоду, з яким збіглися численні інциденти «лінощів» чат-бота.

Зокрема, наприкінці листопада користувач Reddit поскаржився, що попросив ChatGPT заповнити файл CSV кількома записами, але чат-бот відмовився. У відповіді було зазначено, що цей процес був би доволі тривалим, тож він може запропонувати створити шаблон, за яким користувач за потреби може заповнити файл самостійно. Крім цього, дослідники почали припускати, що відповіді чат-бота стають коротшими. Частина з них стверджує, що обсяг відповіді залежить від заданої моделі дати. Це припущення отримало назву «гіпотези зимових канікул» чи «симулювання сезонної депресії». І хоч би якою кумедною ця ідея не видавалася, зовсім відкинути її немає підстав.

«Це найсмішніша з теорій, і, я сподіваюся, справжнє пояснення. Незалежно від того, правдива вона чи ні, [мені] подобається, що її важко виключити», — зауважив дослідник штучного інтелекту Джефрі Літт.

Розробник Роб Лінч поділився в X (Twitter), що протестував GPT-4 Turbo і з’ясував, що коли моделі при однаковому запиті подається груднева дата, відповідь має обсяг 4086 символів, а коли травнева — 4298 символів. Лінч стверджував, що результати його тестування були статистично значущими. Водночас дослідник штучного інтелекту Ян Аравжо у коментарях на X зазначив, що не зміг відтворити результати зі статистичною значимістю.

В OpenAI визнали, що «проблема ліні», пов’язана з відмовою чат-бота від виконання запитів, на яку скаржаться користувачі, дійсно є, але її причини поки не визначені.

«Не кажу, що у нас немає проблем із надмірними відмовами (у нас вони точно є) чи іншими дивними речами (працюємо над вирішенням нещодавньої проблеми ліні), але це результат ітеративного процесу обслуговування та спроб підтримки дуже багатьох користувачів справ одразу», — написав в X співробітник OpenAI Віл Депю.

На офіційній сторінці ChatGPT в X проблему пов’язали з тим, що модель тривалий час не оновлювалася.

«Ми почули всі ваші відгуки про те, що GPT-4 стає ледачим! Ми не оновлювали модель з 11 листопада, і це, звичайно, не навмисно. Поведінка моделі може бути непередбачуваною, і ми намагаємося це виправити», — йдеться в дописі.