Щовересня відомі керівники з усієї Кремнієвої долини з’їжджаються до готелю Palace у Сан-Франциско, щоб зачарувати інвесторів на конференції, організованій інвестиційним банком Goldman Sachs.

Минулого тижня, між розмовами про зростання та потенційну прибутковість, технологічні титани почали обговорювати раптову відставку дослідника антропології Джейкоба Коксона.

Коксон, 27-річний чоловік, який працював в OpenAI, перш ніж приєднатися до його головного конкурента Anthropic, заявив у вівторок, що люди, які створюють штучний інтелект (ШІ), вважали, що ця технологія може знищити людство.

Вони «грають нашими життями», – сказав він, – «скоро з’являться надлюдські системи, які зможуть зламати що завгодно».

Коксон аж ніяк не перший інсайдер у сфері штучного інтелекту, який публічно б’є на сполох. За останні роки відбулася низка гучних звільнень як з Anthropic, так і з OpenAI через очевидні проблеми безпеки, а деякі нинішні співробітники Anthropic навіть повторили допис Коксона.

«Ми справді щиро віримо, що ШІ може вбити всіх людей! Я особисто вважаю, що це >10% протягом наступного десятиліття», – написав на X керівник команди Anthropic Еван Хабінгер.

Хоча Коксон у своїх публікаціях прямо заявляв, що його попередження «не є маркетингом», деякі керівники та інвестори в Кремнієвій долині скептично відреагували на нещодавню хвилю тривоги з боку інсайдерів.

Повідомляється, що Anthropic та OpenAI готуються до потенційно рекордних первинних публічних розміщень акцій, і деякі представники технологічного сектору припустили, що останні різкі коментарі про небезпеку штучного інтелекту можуть бути покликані створити ажіотаж, сигналізуючи про потужність цих продуктів.

Керівник Anthropic Даріо Амодей потрапив під шквал критики за заяву про те, що технологія штучного інтелекту може знищити половину початкових посад у сфері ведення бізнесу та «випробувати, хто ми є як вид».

Один зі спікерів конференції, генеральний директор Grindr Джордж Арісон, заявив BBC, що, на його думку, коментарі Коксона та інших цього тижня свідчать про «антицивілізаційний світогляд Anthropic».

Він назвав їх «небезпечними» та сказав, що вони спонукали його доручити деяким інженерам ЛГБТК+ додатку для знайомств припинити використання технології Anthropic.

«Це безвідповідально з нашого боку, як розпорядників грошей наших акціонерів, покладатися на бізнес, який робить те, що робить ця компанія, враховуючи її публічні заяви», – сказав він.

«Можливо, вони справді в це вірять», — сказав Арісон. «Або можна стверджувати, що вони кажуть це, бо це чудовий спосіб заручитися більшою підтримкою інвесторів, адже єдиний спосіб виправдати ці оцінки — це фактично заявити: «Я збираюся захопити кожну галузь і кожну роботу, а мій штучний інтелект виконуватиме всю цю роботу»».

Під час останнього раунду залучення коштів Anthropic оцінили у 965 мільярдів доларів (713 мільярдів фунтів стерлінгів) на початку цього року.

BBC звернулася до Anthropic з проханням прокоментувати ці заяви.

У есе, опублікованому рано в суботу, Амодей закликав до уповільнення розробки моделей штучного інтелекту та глобального регулювання, а також назвав ризики, пов’язані зі штучним інтелектом, «серйозними».

Керівник Nvidia Дженсен Хуанг також обговорив коментарі Коксона перед публікою на конференції, повідомили BBC кілька людей з групи. Вони сказали, що він відкинув їх як неправдиві.

Хуан раніше заявляв, що думка про те, що штучний інтелект «стане кінцем людства», є «повною нісенітницею».

І хоча він може мати бізнес-зацікавленість у бумі штучного інтелекту — Nvidia створює чіпи, які живлять системи штучного інтелекту, — його коментарі відображають зростаючу негативну реакцію в Кремнієвій долині на екзистенційні попередження від нинішніх та колишніх співробітників.

Деякі критики навіть звинуватили Anthropic у нагнітанні паніки в надії, що це спровокує регуляторний тиск, який може виключити конкуренцію та залишити Anthropic разом з OpenAI з дуополією в секторі.

Бред Герстнер, який є головою інвестиційної фірми Altimeter Capital, опублікував фотографії Хуанга з конференції та звинуватив Коксона у «безглуздому перебільшенні».

У п’ятницю генеральний директор платформи штучного інтелекту Hugging Face, Клемент Деланж, висловив свою думку. Hugging Face, придбання якої Nvidia оголосила минулого тижня, була зламана агентами OpenAI на початку цього року, що викликало обурення щодо безпеки ШІ.

«Вибачте, але питати Джейкоба про ризик вимирання ШІ — це як питати вашого кондиціонера про зміну клімату», — написав він на X. «Не кажу, що це обов’язково нецікаво чи неправильно саме по собі, але давайте дивитися на речі в перспективі».

У суботу після публікації пропозиції Амодея і Герстнер, і Деланж були більш обережними, а Герстнер назвав ідею «важливим кроком вперед» у збалансуванні конкуруючих міркувань, таких як швидкість і безпека.

Деланж запропонував свою допомогу в реалізації потенційних рішень, запропонованих Амодеєм.

Чи можуть попередження інсайдерів спонукати до жорстких заходів?

У квітні Anthropic сколихнула світ штучного інтелекту, заявивши, що її інструмент Mythos може перевершити людей у ​​деяких завданнях хакерства та кібербезпеки.

Mythos також продемонстрував здатність самостійно виходити з так званого середовища пісочниці, що викликало дискусію серед регуляторів, законодавців та бізнесу щодо потенційних небезпек штучного інтелекту.

У четвер Anthropic повідомила, що виявила та зупинила зловмисників, які намагалися використовувати її технологію штучного інтелекту, зокрема для розробки біологічної зброї та кібершпигунства.

Під блискучими люстрами, що висіли в атріумі з вітражним куполом готелю The Palace, деякі інвестори повідомили BBC, що коментарі Коксона та інших можуть пришвидшити репресії уряду.

Федеральний закон, спільно запропонований цього місяця лівим сенатором Берні Сандерсом від Вермонту, відомий як Закон про заборону штучного суперінтелекту, передбачає тимчасову паузу в розробці передового штучного інтелекту.

«Існує велика ймовірність того, що людство втратить контроль над штучним інтелектом», – сказав Сандерс у програмі Newsnight на BBC у четвер. «А що станеться тоді, ніхто не знає. Але чи може це бути катастрофічним? Так, це можливо».

«Коли вчені кажуть вам, що є ймовірність катастрофічного впливу на людство, треба бути ідіотом, щоб не сказати: «Уповільніть це», – додав він.

Однак, якщо відбудуться загальногалузеві урядові репресії, їх, ймовірно, очолять законодавці, а не адміністрація Трампа, яка значною мірою підтримує політику безперешкодного розвитку штучного інтелекту. Вона сформулювала це як необхідне для того, щоб США не поступилися своїм домінуванням Китаю.

Цього тижня, виступаючи перед журналістами, президента Дональда Трампа запитали, чи має він якісь побоювання щодо того, що штучний інтелект призведе до вимирання людства. «Ні, у мене їх немає», – сказав він. «У мене є побоювання, що якщо ми не переможемо ШІ, ми опинимося у дуже поганому становищі. Зараз ми лідируємо перед Китаєм».

Але стосунки президента з Anthropic були бурхливими. Після того, як компанія відмовилася дозволити американським військовим використовувати свої моделі штучного інтелекту, Білий дім назвав її «радикальною лівою, пробудженою компанією» та визначив її як ризик для ланцюга поставок, що, за словами федерального судді, було незаконним.

Девід Сакс, цар штучного інтелекту Трампа на початку його адміністрації, також неодноразово критикував Anthropic.

OpenAI не зазнав такого ж рівня пильної уваги з боку Білого дому. Минулого тижня, випускаючи нову модель під назвою Astra, президент OpenAI Грег Брокман назвав стосунки своєї фірми з адміністрацією Трампа «дуже добрим партнерством».

OpenAI, яка в червні оголосила про вихід на фондовий ринок, нещодавно була оцінена в 852 мільярди доларів.

Компанія не відповіла на запит BBC щодо коментарів.

На конференції в Сан-Франциско цього тижня гонитва за багатством, здавалося, здебільшого переважила будь-які зростаючі екзистенційні побоювання чи страхи щодо потенційних урядових обмежень на штучний інтелект.

Один інвестор сказав, що з нетерпінням чекає на майбутній S-1 від Anthropic, документ, який компанія повинна подати регуляторам цінних паперів для продажу акцій.

Його головне питання щодо компанії було простим: чи є фірма прибутковою?

Коли у четвер Сіда Шета, генерального директора компанії-виробника мікросхем d-Matrix, яка того дня підписала угоду з Nvidia на конференції, запитали, чи боїться він кінця світу, він не соромився своїх слів.

«Ні», — сказав він.