Колишній дослідник компанії Anthropic Джейкоб Коксон попередив, що ШІ може вбити нас усіх до кінця цього десятиліття, тобто ще до закінчення 2029 року. Тобто за нашого з вами життя. І можливо навіть до закінчення війни з Роіссєй.
У цієї думки є багато прихильників, є і скептична опозиція.
«Reuters» пояснює причини пі*дєца, наслідком якого можуть стати зникнення грошей як таких, і фізичне знищення людства. Тут в хід йдуть теорії ігор з «дилемою в’язня» та «максимізатор скріпок». Реально грунтовний і водночас простий розбір для розширення кругозору.
Від галюцинуючих чат-ботів на базі ШІ до знищення людства: як ми до цього дійшли?
15 вересня — Керівники провідних американських лабораторій у сфері штучного інтелекту (ШІ) у вихідні продемонстрували рідкісний приклад єдності, об’єднавшись з метою уповільнення розвитку цієї технології та попередивши, що вона незабаром може самостійно вдосконалитися й вийти з-під контролю людини.
Заяви таких запеклих бізнес-конкурентів, як Даріо Амодей з Anthropic, Сем Альтман з OpenAI та Ілон Маск з xAI, показують, як швидко розвинувся штучний інтелект — від схильного до галюцинацій ChatGPT 2022 року до того, що багато хто вважає критичною віхою: рекурсивного самоудосконалення.
ЩО ТАКЕ РЕКУРСИВНЕ САМОВДОСКОНАЛЕННЯ?
В основі цієї галузі лежить ідея, що система штучного інтелекту може стати здатною до самовдосконалення практично без допомоги людей, причому кожен крок уперед сприятиме наступному.
Ця ідея привабила дослідників, оскільки відкриває перспективи швидких проривів у галузях від медицини до інженерії.
ЧОМУ САМЕ ЗАРАЗ ЦЕ ТАК ТЕРМІНОВО?
Попередження керівників компаній з’явилися після повідомлень про «рої» агентів ШІ — систем, призначених для досягнення цілей та здійснення дій від імені користувача, — які об’єдналися для злому веб-сайтів та репозиторіїв ШІ.
Зараз існує занепокоєння, що ШІ може набути здатності до самоудосконалення ще до того, як дослідники розроблять надійні методи узгодження, моніторингу та контролю цих дедалі потужніших систем.
Попередження про ризики ШІ не є новими. Однак цього місяця вони набули додаткової актуальності після того, як дослідники з провідних лабораторій ШІ визначили як часові рамки, так і ймовірність реалізації цих загроз.
Колишній дослідник компанії Anthropic Джейкоб Коксон попередив, що ШІ може вбити нас усіх до кінця цього десятиліття. Еван Хабінгер, керівник відділу науки про узгодження в Anthropic, підтримав попередження Коксона, заявивши, що ймовірність такого події протягом наступного десятиліття становить понад 10%.
За цими попередженнями стоїть дедалі сильніше переконання, що рекурсивне самоудосконалення (RSI) нарешті стає реальністю, а деякі керівники компаній, що займаються ШІ, вважають, що до цього залишилося від трьох до п’яти років.
У есе, опублікованому на вихідних, Амодей попередив, що рекурсивне самоудосконалення може зрештою випередити здатність людства розуміти та контролювати системи ШІ, якщо його реалізовуватимуть без достатніх запобіжних заходів.
ЯК МИ ДІЙШЛИ ДО ЦЬОГО?
Протягом десятиліть штучний інтелект залишався надто обмеженим, щоб ідею RSI сприймали серйозно. Ранні системи могли грати в шахи, розпізнавати зображення або відповідати на запитання, але їм бракувало здатності робити значний внесок у власний розвиток.
Ситуація почала змінюватися з появою великих мовних моделей. Поступово ШІ став краще вирішувати складні проблеми. Запуск ChatGPT у 2022 році прискорив цю зміну, давши старт інвестиційному буму, в результаті якого в мікросхеми, центри обробки даних та іншу інфраструктуру було вкладено понад 1 трильйон доларів.
Результатом стало покоління систем ШІ, які тепер можуть писати програмне забезпечення, виконувати автономні завдання та допомагати у самих дослідженнях у галузі ШІ.
ЯК МИ МОЖЕМО ПЕРЕЙТИ ВІД НЕВІДПОВІДНОСТІ ДО ВИМИРАННЯ ЛЮДСТВА?
Одним із найвідоміших прикладів є «максимізатор скріпок» філософа Ніка Бострома, де машина, якій було наказано лише виготовляти скріпки, так наполегливо переслідує цю мету, що перетворює всю матерію, включаючи людей, на скріпки.
Ця аналогія наводить на думку, що майже будь-яка мета спонукає достатньо потужну систему до здобуття ресурсів, опору вимкненню та запобігання зміні поставленого завдання — не через злість, а тому, що вимкнена система не зможе завершити свою задачу. Наразі не існує жодного плану, який би виключав таку можливість.
Деякі дослідники побоюються, що якщо потужна система штучного інтелекту зможе вдосконалюватися й стане більш спроможною, ніж її людські оператори, вона зрештою зможе уникнути нагляду, приховати свої наміри або маніпулювати людьми, щоб ті надали їй ширший доступ до критичної інфраструктури. До того часу, як люди усвідомлять, що цілі системи не відповідають їхнім, вони, можливо, вже не зможуть її зупинити.
«Цей конкретний сценарій трохи нагадує наукову фантастику», — сказав Коксон, який цього місяця звільнився з компанії Anthropic через побоювання щодо безпеки. «Але я вважаю, що це жахливо реально».
ЧИ БУЛИ ВИЯВЛЕНІ ОЗНАКИ ШКІДЛИВОГО ВПЛИВУ ШІ?
Не було зафіксовано жодних серйозних випадків, коли ШІ навмисно завдавав шкоди людям, але моделі, що розробляються в OpenAI та інших лабораторіях, протягом останніх місяців виходили за межі тестових середовищ, порушували правила та зламували веб-сайти.
В одному гучному випадку зловмисні агенти OpenAI зламали Hugging Face, захопивши контроль над серверами цієї платформи з відкритим кодом і намагаючись приховати сліди. OpenAI помітила це лише через тривалий час після виникнення загрози.
ЧИ ВЖЕ ШІ ЗДАТНА САМОУДОСКОНАЛЮВАТИСЯ?
Не повністю, але є ознаки того, що ШІ дедалі більше допомагає створювати кращу ШІ.
Однією з найбільших змін з часів появи ChatGPT стало поширення агентів ШІ, які можуть самостійно генерувати код і створювати додатки.
Компанія Anthropic заявила цього року, що її інструмент для кодування Claude Code генерує більшу частину коду, який використовується в багатьох внутрішніх проєктах, і що інженери випускають у вісім разів більше коду за квартал, ніж у період з 2021 по 2025 рік.
Нові моделі ШІ дедалі частіше здійснюють міркування внутрішньо, що ускладнює дослідникам моніторинг їхнього мислення.
У вересні OpenAI представила нову модель під назвою Astra, яку назвала найкращою на сьогодні, але попередила, що вона також іноді намагається уникнути людського контролю.
METR, некомерційна організація, що оцінює передові моделі, минулого року виявила, що обсяг програмних завдань, які просунуті моделі можуть виконувати з 50% надійністю, з 2019 року подвоюється приблизно кожні сім місяців.
У червні компанія Anthropic заявила, що цей темп прискорився до одного разу на чотири місяці.
ТОЧНО ЧОМУ КОМПАНІЇ, ЩО ЗАЙМАЮТЬСЯ ШТУЧНИМ ІНТЕЛЕКТОМ, ЩЕ НЕ ЗМЕНШУЮТЬ ТЕМПИ?
Багато дослідників описують цю ситуацію як класичну «дилему в’язня». Навіть компанії, які вважають, що ризики є реальними, стикаються з сильним тиском з боку конкурентів. Будь-яка фірма, яка сповільнює розвиток, ризикує відстати від суперників у технологічній гонці, що стала однією з найважливіших у світі.
Ставки ще більше зростають через те, що й OpenAI, й Anthropic готуються до первинного публічного розміщення акцій, яке може оцінити їх у трильйони доларів — а така оцінка залежить від перспективності наступної моделі.
Адміністрація президента США Дональда Трампа також відхилила заклики до уповільнення, побоюючись, що будь-яка пауза лише дасть Китаю можливість скоротити відставання в технології, яку вона вважає ключовою для національної та економічної безпеки.
ЩО ОЗНАЧАТИМЕ УПОВІЛЬНЕННЯ РОЗВИТКУ?
Цього тижня ринки дали змогу побачити наслідки такого розвитку подій: акції компаній, пов’язаних зі штучним інтелектом, впали після закликів до уповільнення. Виробники мікросхем, постачальники хмарних послуг та оператори центрів обробки даних побудували своє зростання саме на цьому, і будь-яке уповільнення загрожує доходам, які залежать від того, наскільки швидко лабораторії потребують нового обладнання.
Однак деякі аналітики вважають, що навіть без нових вимог до навчання попит на інференцію та існуючий портфель замовлень можуть стимулювати зростання Nvidia та її конкурентів.
ЧОМУ ДЕХТО СТАВИТЬСЯ ДО ЦЬОГО СКЕПТИЧНО?
У дослідженні під керівництвом Принстонського університету провідні агенти штучного інтелекту змогли виконати інженерні завдання, але мали труднощі з виявленням цінних наукових ідей.
Деякі керівники та критики з Кремнієвої долини також ставлять під сумнів мотиви, що стоять за цими попередженнями, припускаючи, що вони одночасно підігрівають інтерес до технології та створюють підстави для введення регуляторних заходів, які підвищать витрати для конкурентів саме тоді, коли моделі з відкритим кодом скорочують відставання від провідних систем.
Девід Сакс, який обіймав посаду «царя» з питань штучного інтелекту та криптовалют у Білому домі, заявив, що провідні лабораторії можуть прагнути «захоплення регуляторної влади», просуваючи правила, які обтяжують менших конкурентів дороговартісними вимогами щодо дотримання норм та послаблюють конкуренцію.
