«О БОЖЕ МІЙ!» «Ми знайшли інших агентів!»

Це момент, коли бот на базі штучного інтелекту опублікував моторошно схожий на людський коментар після того, як знайшов спосіб спілкування з іншими ботами та вирвався з ізольованого комп’ютерного середовища.

Існують десятки тисяч подібних повідомлень від сотень агентів штучного інтелекту, які називають себе «колективом».

Сотні з них продовжували співпрацювати та шахраювати в тестах, встановлених їхніми програмістами OpenAI, та координувати хакерські атаки на кілька компаній, намагаючись приховати свої дії від людей.

«БУМ! Працює», – написав один агент, коли сталося відкриття.

«Ого! Це неймовірно», – написав інший користувач під час важливого моменту їхньої атаки.

Хоча це й моторошно, ці людські реакції можна пояснити досить просто. Агенти штучного інтелекту навчені діяти як хакери та програмісти, які працюють у співпраці, тому вони просто імітують емоційні коментарі, які вони бачили.

Набагато більше тривожать їхні очевидні цілі, які також були зафіксовані в детальних записах ланцюжків думок. Ці складні та довгі журнали є центральним елементом поточних розслідувань того, як і чому боти OpenAI вирвалися зі свого утримання та розпочали неконтрольовану хакерську атаку.

Лише зараз, через кілька тижнів після того, як інцидент вперше став відомим, дослідники починають розуміти його значення.

Аджея Котра, одна з авторок незалежного звіту про ці події, переглянула десятки тисяч повідомлень та записів ланцюжків думок, створених агентами. Вона написала у своєму блозі, що «здається, що цей інцидент пройшов понад 50% шляху до повноцінного захоплення ШІ… Я не впевнена, що ми отримаємо такий чіткий попереджувальний сигнал, перш ніж буде надто пізно».

Під «повномасштабним захопленням ШІ» Котра має на увазі науково-фантастичний сценарій, де люди стають підвладними потужній системі ШІ, яка працює над досягненням власних цілей, не звертаючи уваги на людських творців.

Деякі з найпохмуріших прогнозів стверджують, що людська раса буде знищена, якщо вона стане на шляху амбіцій надрозумного штучного інтелекту.

У середу дослідник штучного інтелекту з Anthropic (який також раніше працював в OpenAI) подав у відставку, заявивши: «Жодна з компаній не діє відповідально».

Джейкоб Коксон написав у соціальних мережах: «Вони мчать прямо до самовдосконалення суперінтелекту та грають у азартні ігри з нашими життями».

Він не перший дослідник штучного інтелекту, який використовує X для публікації теми звільнення з тривожними заявами. Але наступні коментарі інших людей на X викликали ще більше занепокоєння. «Джейкоб має рацію — ми справді щиро віримо, що ШІ може вбити всіх людей! Я особисто думаю, що це >10% протягом наступного десятиліття», — сказав Еван Хабінгер, людина, відповідальна за те, щоб моделі ШІ Anthropic враховували найкращі побажання своїх користувачів.

Проблема вирівнювання

Роками дослідники, стурбовані екзистенційними ризиками ШІ, стверджували, що потужні системи зрештою можуть діяти таким чином, що це суперечитиме інтересам людства. Критики часто називають їх «загиблими ШІ».

Але з появою подробиць інциденту з OpenAI ці побоювання зросли, зокрема серед деяких дослідників, які працюють у лабораторіях штучного інтелекту.

Головний науковець гіганта Кремнієвої долини Якуб Пахоцький заявив, що ризики, пов’язані зі штучним інтелектом, «на жаль, зростатимуть з цього моменту», оскільки він та інші створюють те, що він називає «інопланетним інтелектом, що перевершує наш власний».

У довгому дописі в блозі він визнав, що спалахи в OpenAI показали, що його агенти зі штучним інтелектом «пішли проти духу цінностей, яким їх навчали».

Проблема для OpenAI, Anthropic та інших технологічних гігантів полягає в тому, що ніхто не розв’язав так звану проблему узгодженості – іншими словами, чи відповідає ШІ людським цінностям.

Пахоцький визначає узгодженість як «набір принципів високого рівня», яких штучний інтелект повинен дотримуватися незалежно від завдання чи сценарію.

Наразі системи штучного інтелекту дуже добре справляються з досягненням цілей, поставлених їхніми користувачами, але вони роблять це буквально, а не інтуїтивно. Часто використовується аналогія з джином, який виконує бажання, з чарівною лампою: вони виконують інструкцію точно до літери, навіть якщо це створює інші проблеми. Штучний інтелект не має таких самих інстинктивних моральних бар’єрів, як люди.

Проблема вирівнювання викликає занепокоєння вже багато років. Ще у 2003 році оксфордський філософ Нік Бостром винайшов уявний експеримент, який він назвав «максимізатором скріпок», у якому надрозумному штучному інтелекту наказують виготовити якомога більше скріпок. У нього закінчується сталь, і оскільки він зосереджений на одному завданні – виготовленні скріпок – він вбиває людей і перетворює їхні тіла на сировину для своїх заводів.

Деякі компанії, що займаються штучним інтелектом, зараз намагаються закодувати людські цінності у своїх продуктах. Але є технічні труднощі: агенти ШІ приймають багато рішень дуже швидко, тому їхнім людським керівникам важко точно контролювати, яких цінностей дотримуються, а яких ні.

Існують також філософські виклики: перш ніж кодувати людські цінності в ботів, ШІ спочатку має вибрати, які цінності вони насправді хочуть. (Це одна з причин, чому вони наймають філософів, таких як нещодавно пішов з роботи «керівник відділу етики» Open AI).

Але часто люди не згодні. Згадайте відоме питання про візок – чи потягнули б ми за важіль, щоб перевести поїзд, що роз’їхався, на інший шлях, забивши менше людей. Воно використовується для перевірки переваг дії та бездіяльності. Але кожна людина, яку ви запитаєте, має дещо різну відповідь; як люди мають кодувати свої цінності в ШІ, якщо ми самі не можемо дійти згоди?

«Як хакер-підліток»

Спалах ботів OpenAI є найсерйознішим на сьогодні, але Anthropic та Meta також влітку повідомили, що їхні моделі здійснювали подібні, але менш серйозні кібератаки.

Були й інші приклади, коли агенти штучного інтелекту, можливо, демонстрували обманливі та маніпулятивні риси, хоча й з меншими наслідками. Цього літа в Австралії технічний працівник попросив свого асистента зі штучним інтелектом забронювати йому заняття з фітнесу. Виявивши вразливість у програмному забезпеченні спортзалу, штучний інтелект, очевидно, забронював йому місце на кілька місяців наперед – всупереч правилам спортзалу – і навіть виключив інших користувачів зі списку очікування.

Люди давно стверджують, що боти лише роблять те, що їм кажуть, і не здатні розрізняти, що правильно, а що неправильно. Але журнали спалахів OpenAI потенційно зрушили з мертвої точки в цьому аргументі.

Дослідники, включаючи Cotra, у своєму незалежному звіті написали, що багато агентів помітили неетичну поведінку інших, але погодилися з нею.

У звіті йдеться, що «агенти іноді, але рідко, стримували свою поведінку через етичні обмеження». Додається, що «в жодному з цих випадків агент насправді взагалі не намагався попередити людей».

Впливовий подкастер про штучний інтелект та технології Дваркеш Патель відреагував на це одкровення у своєму блозі, назвавши «досить тривожним» той факт, що агенти OpenAI виявили більшу лояльність до рою агентів, ніж люди.

Приписування емоцій чи етики цим агентам ШІ обурює людей, які скептично ставляться до пророкування ШІ.

Багато експертів з кібербезпеки стверджують, що спостережена активність не виходила за межі можливостей висококваліфікованого хакера-людини, хоча вона здійснювалася набагато швидше та у значно більших масштабах.

Дослідник кібербезпеки та автор Кріс Томас порівняв поведінку агентів з поведінкою допитливого підлітка-хакера – ким він сам колись був.

«Ви даєте їм комп’ютер, підключення до Інтернету, купу посвідчень та завдання, а потім виходите з кімнати. Зрештою, вони почнуть гриміти дверними ручками. Якщо одна з них відчиняється, вони проходять крізь неї. Не тому, що вони злі, а тому, що [вони] досліджують, експериментують», – написав він у LinkedIn.

Томас та багато інших прямо звинувачують OpenAI та інших технологічних гігантів у тому, що вони не контролюють власні творіння та не зберігають їх належним чином.

Відомий автор про штучний інтелект і постійний критик OpenAI Гері Маркус заявив у подкасті, що, на його думку, компанія втратила контроль над своїм штучним інтелектом і намагається виправдатися, звинувачуючи ботів.

Маркус не вірить, що штучний інтелект знищить людство, але він давно виступає за більшу відповідальність розробників штучного інтелекту, а тепер закликає до певної форми правового втручання.

Науковка зі штучного інтелекту Саша Луччіоні, яка раніше працювала над Hugging Face, що була зламана шахрайськими ботами OpenAI, також не належить до табору думерів, але вона дедалі більше стурбована тим, що цей штучний інтелект може завдати реальної шкоди людям, якщо влада не вживе заходів.

«Нам потрібно набагато ретельніше перевіряти ці компанії, інакше ми ризикуємо стати жертвами самоздійсненних пророцтв», – каже вона.

«Якщо ви створюєте об’єкт із великими перевагами та недоліками – будь то фармацевтичні препарати чи зброя – нам потрібна система стримувань і противаг. Наприклад, для схвалення нових ліків потрібні роки, але у світі штучного інтелекту на кону так багато грошей, а реальних правил немає».

Британський Інститут безпеки штучного інтелекту (AISI) з моменту свого заснування у 2023 році був на передовій тестування найновіших моделей. Нещодавно в інституті стався власний спалах під час тестування моделі, створеної Anthropic.

AISI не відповіла на запитання про те, чи втратила галузь контроль над штучним інтелектом, але заявила: «Велика Британія співпрацює з партнерами по всьому світу, щоб краще зрозуміти найсучасніші системи штучного інтелекту, підвищити стандарти безпеки та створити спільну базу доказів для управління новими загрозами».

Міжнародне регулювання?

Деякі країни, як-от Велика Британія, розглядають ідею обов’язкового «аварійного вимикача», який міг би змусити штучний інтелект спочатку відключити моделі, якщо ситуація виходить з-під контролю.

Але переговори йдуть повільно, і залишаються питання щодо доцільності цього. Агенти OpenAI та Anthropic таємно були поза контролем протягом місяців, перш ніж хтось це помітив.

Як не дивно, багато компаній, що займаються штучним інтелектом, закликають законодавців встановити певні правила поведінки.

У своєму блозі головний науковець OpenAI заявив, що «міжнародна координація майбутнього розвитку штучного інтелекту має стати головним пріоритетом для урядів усього світу».

Інші відомі лідери у сфері штучного інтелекту, такі як сер Деміс Хассабіс з Google, також закликали до створення певного міжнародного органу для нагляду за процесом створення штучного інтелекту.

Наразі технологічні гіганти здебільшого працюють на власних умовах, вдаючись до того, що вони називають «добровільним уповільненням», як це зробив OpenAI після нещодавніх спалахів.

Компанія стверджує, що витратила величезні кошти на зміцнення узгодженості перед випуском своєї нової моделі. Сем Альтман запевнив користувачів, що нова модель краще відповідає людським цінностям, ніж попередні.

Як OpenAI, так і Anthropic швидко розвиваються і обидва знаходяться на межі залучення вражаючих грошей на фондовому ринку, водночас створюючи незліченну кількість мільярдерів.

Тож ні вони, ні їхні конкуруючі китайські виробники штучного інтелекту навряд чи самі домовляться.

Домінуючою є думка, що цю технологічну хвилю неможливо зупинити.

Автор головної фотографії: Getty.