Запобігти катастрофі. OpenAI значно посилила команду з безпеки штучного інтелекту

OpenAI розповіла, як бореться зі зловживаннями власник ШІ-моделей (Фото:Viralyft/Unsplash)

Компанія-розробник ChatGPT OpenAI створила нову консультативну групу з питань безпеки штучного інтелекту та запровадила право вето на ризиковані моделі.

OpenAI оновила власну «Систему готовності» та розкрила, у який спосіб відбувається виявлення та аналіз катастрофічних ризиків, що надходять від її моделей з ШІ, та прийняття рішень щодо ризикових розробок.

«Під катастрофічним ризиком ми маємо на увазі будь-який ризик, який може призвести до економічних збитків у сотні мільярдів доларів або призвести до серйозної шкоди чи смерті багатьох людей — це включає екзистенційний ризик, але не обмежується ним», — йдеться документі OpenAI.

В компанії повідомили, що виробничими моделями керує команда Safety Systems. Її сфера діяльності включає систематичні зловживання ChatGPT, які можна пом’якшити за допомогою обмежень API або налаштувань. Граничні моделі, що ще розробляються, аналізує команда Preparedness, яка намагається визначити та кількісно оцінити ризики до випуску моделі. Ще одна команда — Superalignment — працює над приборканням потенційних моделей ШІ з інтелектом, що перевершує можливості людини.

Перші дві команди оцінюють кожну модель за чотирма категоріями ризику: кібербезпека, переконання (перевіряють на предмет поширення дезінформації), автономність моделі (здатність діяти самостійно) і ХБРЯ (хімічні, біологічні, радіологічні та ядерні загрози; наприклад, здатність до створюють нові патогени). До випуску допускаються моделі з середніми ризиками. Якщо модель визначена як така, що має «високі» ризики, її не можна розгортати, а якщо модель має будь-які «критичні» ризики, вона не буде розроблятися далі.

Звіти команд OpenAI додатково перевірятиме нова міжфункціональна консультативна група. Вона надає рекомендації, які зрештою отримують керівництво (гендиректор Сем Альтман, техдиректор Міра Мураті та їхні заступники) та правління (рада директорів, яку було значно оновлено). Керівництво ухвалюватиме рішення щодо того, запускати чи заморожувати розробки, а правління може ветувати ці рішення.

Раніше NV Техно писав, що в OpenAI передбачають, що поява суперінтелекту — не така вже далека перспектива. Окрема команда компанії Superalignment вже зараз намагається створити структуру управління та контролю, яка могла б застосовуватись для майбутніх потужних систем ШІ.