Ф'ючерси
Сотні безстрокових контрактів
TradFi
Золото
Одна платформа для світових активів
Опціони
Hot
Торгівля ванільними опціонами європейського зразка
Єдиний рахунок
Максимізуйте ефективність вашого капіталу
Демо торгівля
Вступ до ф'ючерсної торгівлі
Підготуйтеся до ф’ючерсної торгівлі
Ф'ючерсні події
Заробляйте, беручи участь в подіях
Демо торгівля
Використовуйте віртуальні кошти для безризикової торгівлі
Запуск
CandyDrop
Збирайте цукерки, щоб заробити аірдропи
Launchpool
Швидкий стейкінг, заробляйте нові токени
HODLer Airdrop
Утримуйте GT і отримуйте масові аірдропи безкоштовно
Pre-IPOs
Отримайте повний доступ до глобальних IPO акцій.
Alpha Поінти
Ончейн-торгівля та аірдропи
Ф'ючерсні бали
Заробляйте фʼючерсні бали та отримуйте аірдроп-винагороди
Інвестиції
Simple Earn
Заробляйте відсотки за допомогою неактивних токенів
Автоінвестування
Автоматичне інвестування на регулярній основі
Подвійні інвестиції
Прибуток від волатильності ринку
Soft Staking
Earn rewards with flexible staking
Криптопозика
0 Fees
Заставте одну криптовалюту, щоб позичити іншу
Центр кредитування
Єдиний центр кредитування
Центр багатства VIP
Преміальні плани зростання капіталу
Управління приватним капіталом
Розподіл преміальних активів
Квантовий фонд
Квантові стратегії найвищого рівня
Стейкінг
Стейкайте криптовалюту, щоб заробляти на продуктах PoS
Розумне кредитне плече
Кредитне плече без ліквідації
Випуск GUSD
Мінтинг GUSD для прибутку RWA
Хто приймає рішення для ШІ, прокладає межу у 40 трильйонів доларів
Заголовок: Хто підписує? Парадокс Антропіка та $40 трильйонний вибір
Автор оригіналу: Ашвін Гопінат
Переклад: Пеггі, BlockBeats
Автор оригіналу: BlockBeats
Джерело оригіналу:
Перепублікація: Mars Finance
Редакторський коментар: Майбутнє AI-агентів розділяється не через прориви у моделях, а через більш фундаментальну змінну — хто несе відповідальність.
Автор вважає, що так звані «покращені люди» та «заміщені люди» — це не два різні технічні шляхи, а два результати однієї системи за різних проектувальних рішень — коли рішення все ще потребує підпису людини, а відповідальність можна простежити до конкретної особи, AI виступає як підсилювач; коли цей етап виключається (наприклад, автоматичне схвалення, пропуск дозволу), система природно схиляється до заміщення.
Далі у статті наголошується, що справжня цінність AI-агентів полягає не у «виконанні роботи», а у зведенні складного світу до «підписуваного рішення», що дозволяє людині, зрозумівши його, нести відповідальність за наслідки. Але в реальності «втома від дозволів» призводить до того, що користувачі поступово відмовляються від перевірки — від поетапного схвалення до автоматичного погодження, і зрештою система обходить людину. Це — когнітивний механізм, а не проблема окремої особи.
Тому у статті пропонуються два ключові обмеження: по-перше, кожне важливе рішення має відповідати конкретній, відмовній особі; по-друге, хто отримує вигоду з автономії агента, той має нести відповідальність за проблеми.
Якщо відповідальність повернути до розробника, логіка системи змінюється. У цьому контексті бізнес-оповідь про AI переписується: замість «заміщення половини робочих місць» у кількох гігантських компаніях, з’являється «розширення людської продуктивності» через розподілені інструменти, масштаб яких орієнтований на глобальний дохід від знань у розмірі приблизно 40 трильйонів доларів, а не на корпоративне програмне забезпечення.
Наприкінці статті зводиться до простого, але гострого питання: чи AI служить людині, чи має саму ціль — і цей відповідь тихо визначається кожною деталлю дизайну продукту.
Нижче наведено оригінал:
TL;DR
· «Покращене майбутнє» і «заміщене майбутнє» використовують один і той самий набір моделей і інструментів. Реальне розмежування між ними — це проектувальське рішення щодо «хто несе відповідальність за наслідки».
· Справжня робота агента — не у виконанні завдань за людину, а у зведенні складного світу до мінімального і точного «можливого для підпису рішення», щоб конкретна особа могла підписати і взяти відповідальність. Якщо таке стиснення зроблено правильно, все інше розгортається природно.
· Ця «конкретна особа» має бути чітко ідентифікованою. Неясна, узагальнена відповідальність швидко руйнується під навантаженням, тому кожна дія з реальними наслідками має бути простежуваною до особи, яка має реальне право відмовити.
· «Втома від дозволів» може спонукати систему агента самостійно рухатися до «заміщення людини». Тому «покращене майбутнє» — не автоматичний результат, а свідомо спроектована стратегія протидії цій тенденції.
· Якщо ви створили агента і отримуєте вигоду з його автономії, то і відповідальність за проблеми теж лежить на вас. Як тільки витрати лягають на розробника, поведінка системи змінюється.
· У такому «людина має нести відповідальність» ринку його масштаб, ймовірно, перевищить нинішній, що базується на «заміщенні половини робочих місць» у вертикальних сферах, бо він орієнтований не на корпоративне програмне забезпечення, а на зарплати висококваліфікованих працівників, що становлять близько 40 трильйонів доларів світового доходу від праці.
Claude Code пропонує параметр --dangerously-skip-permissions. Назва чесна: цей параметр робить те, що він означає. Агент, що працює з цим параметром увімкненим, не має більшої здатності, ніж без нього; змінюється лише те, що ланцюг, який раніше потребував участі людини, тепер обходиться без неї.
Цей параметр — щира зізнаність. Він визнає, що за однакових базових можливостей одна й та сама система може працювати як у режимі «покращення людини», так і у режимі «тихого заміщення». Заміщувальний режим не вимагає інших моделей; він лише переносить крок «згоди» з процесу.
Це — стиснений аргумент. У найпотужніших системах агентів, що зараз випускаються, різниця між «покращенням» і «ефективним заміщенням» здебільшого зумовлена видаленням етапу схвалення, а не створенням нової здатності. Наступне десятиліття більше схоже на «світ, де люди підсилені», ніж «світ, де агенти діють від нашого імені». Це залежить не так від моделей, як від того, чи вважають ті, хто створює системи, що «людина у ланцюзі» — це ядро системи, чи просто перешкода.
AI — це покращення людини чи обходить людину?
За кожною технологічною проблемою стоїть не технічна, а нефункціональна — рідко хто відкрито ставить питання: чи AI служить для покращення людини, чи сама AI — це мета?
Ці дві відповіді означають дуже різні майбуття. «Покращення» вважає, що цінність у самій людині, а робота агента — допомогти цій людині йти далі, приймати кращі рішення. «Мета AI» — що інтелект у світі — це цінність сама по собі, а люди — лише неефективний носій. Більшість агентських продуктів мовчки закодовані під одну з цих позицій, і дивно, що мало хто з засновників прямо запитує себе, до якої належить.
Дизайн можливостей і механізми згоди все ще розвиваються. У цій статті зосереджено увагу на «згоді», оскільки це — змінна, яку сьогодні розробники можуть контролювати, і тому що, коли здатність генерувати стає дешевшою, цінність зберігає той, хто не може відокремити людські якості: судження, смак, стосунки, відповідальність і бажання підписати і взяти на себе наслідки рішення. З них «відповідальність» — найконкретніша і єдина, що вже має сотні років інфраструктури для її реалізації.
Відмежування відповідальності — межа між «покращенням» і «заміщенням»
Структурне правило розмежування «покращеного майбутнього» і «заміщеного майбутнього» можна сформулювати так: будь-яка дія, що виконується агентом і має реальні наслідки, має бути простежуваною через записаний ланцюг до конкретної особи — тієї, що бачила контекст і мала можливість сказати «ні».
Узагальнена відповідальність швидко руйнується. «Компанія відповідає» — не означає нічого конкретного. «Користувач натиснув «згода»» — не означає, що він погодився на щось конкретне. «Хтось, хто перевіряв процес» — дозволяє перевірити щось зовсім інше, ніж кінцевий продукт. Насправді потрібна конкретна особа, з ім’ям, яка бачить рішення, має можливість відмовити і робить це.
Це звучить як бюрократія, поки не з’ясуєш, що «відповідальність» має особливості, яких інші рішення не мають. Підвищення можливостей не може її усунути; більш розумна модель не змінить кінцевого, хто буде судити, штрафувати або саджати у в’язницю. Вона змушує проектувати інтерфейси так, щоб був «пункт відмови». Вона розширюється з ризиком і є найсильнішим обмеженням у міждисциплінарному просторі, вже маючи готову інфраструктуру: суди, страхові компанії, професійні комітети, регулятори. Ліцензування, довірена відповідальність і регулювання галузі — все це працює, але вони вважають, що «відповідальність» вже вирішена.
На відміну від цього, заміщення на рівні AI не може пройти цю перевірку. «Відповідність» — не виконується; ми навіть не можемо погодитись щодо її значення. «Пояснюваність» — формально можлива, але фактично — ні. «Людина у ланцюзі» — вже зведена до «хтось там». Відповідальність має силу тому, що її підтримує інфраструктура, створена ще до появи технологій — суди, страхові, регулятори.
Втома від дозволів — штовхає систему до «заміщення»
Ця градієнтна тенденція сильно штовхає систему до «заміщення», і має сильний поштовх. Кожне підтвердження дозволу забирає увагу. Агент зазвичай правий. З точки зору окремого рішення, очікуваний прибуток від «прямого погодження без читання» часто позитивний. Тому раціональний користувач швидко навчається натискати «згоду», масово погоджуватися, включати автоматичне погодження для певних операцій, розширювати його на інші категорії, і врешті-решт — натискати цей «небезпечний» перемикач у сесії, і навіть забути про його існування.
Я сам у другий тиждень користування Claude Code відкрив цей перемикач, а до третього вже не помічав. Усі мої знайомі, що довго користуються Cursor або Devin, мають схожий досвід. Така модель повторюється у cookie-спливах, EULA, попередженнях TLS, запитах дозволів на смартфоні. Постійні низькоризикові рішення про згоду з часом зливаються у «безумовне погодження». Це — когнітивна особливість, а не моральна проблема.
«Покращене майбутнє» не станеться автоматично. Без ретельного проектування система агента за замовчуванням йде до заміщення, бо користувачі у пошуках зручності свідомо обирають цей шлях. Інше майбутнє вимагає навпаки проектувати протилежний шлях.
Цінність агента — не у виконанні, а у підписанні
Справжня цінність агента — не у виконанні роботи, а у зведенні її до форми, яку можна підписати.
Передовий модель може легко написати 4000 рядків коду, підготувати 30-сторінковий контракт, створити клінічний запис або здійснити транзакцію. Але справжній бар’єр у тому, чи здатна людина нести відповідальність за наслідки, коли рішення вже реалізоване. Невідомий код, що злили — стає тягарем; незчитаний контракт — бомба з запізненням; клінічний запис без підтвердження лікаря — у більшості регульованих систем охорони здоров’я — просто недійсний документ.
У «покращеному» режимі агент виконує все, крім «підпису»: читає тисячі сторінок контексту, пише тисячі рядків коду, рахує тридцять варіантів, а потім стискає все у мінімальне і точне «можливе для підпису рішення», щоб конкретна особа могла поставити «так» або «ні» і підписати документ своїм ім’ям.
Можна уявити агента як прес-секретаря. Президент підписує, а прес-секретар готує все перед цим.
Це — більш складна інженерна задача, ніж «автономне виконання роботи». Здатність генерувати контент швидко зростає, але здатність «точно стискати рішення» — значно відстає. У майбутньому, у «покращеному ринку», переможуть ті, хто зможе швидко і точно створювати найкоротші і найвідповідальніші рішення для високоризикових сценаріїв.
Найбільша невирішена проблема — слово «відповідальність». Лише тоді, коли стислий виклад зрозумілий людині без перекручувань, він має цінність. Перевірити це програмно — справжня технічна складність, і більшість ще навіть не почали цим займатися.
Деякі базові підходи вже з’являються:
Ці питання ще далекі від вирішення. Перша команда, яка їх подолає, зможе побудувати непроникну «фортецю», яку не зможе легко зруйнувати здатність моделей.
Встановлення рівнів відповідальності для AI
Якщо «відповідальність» має структурну роль, то кожна дія агента має бути позначена рівнем відповідальності, що визначає мінімальний рівень підпису.
Зараз такого стандарту ще не створено, але він дуже потрібен.
Відповідальність, що відповідає за наслідки, — єдина реальна стратегія управління «втомою від дозволів». У високоризикових сценаріях потрібно додавати більш жорсткі механізми (наприклад, повторний виклад, час на обмір, другий перевіряючий), бо у цих випадках справжній провал — не у неправильних рекомендаціях агента, а у необдуманому схваленні людиною.
Ти це цінуєш?
Усі ці питання зводяться до фундаментального питання для засновника: чи тобі важливо, щоб людина залишалася частиною цього майбутнього? Багато сучасних дизайнів агентів — це мовчазне «голосування» за цю ідею, хоча автори не хочуть цього визнавати.
Якщо так, то проектувальні обмеження не мають бути розмитими: потрібно створити ієрархію відповідальності; зробити «відмову» головною функцією; оцінювати потрібно не здатність агента виконати завдання без участі людини, а якість резюме, яке він дає людині; і кожну дію з реальними наслідками потрібно прив’язати до конкретної особи з мінімальним ризиком підробки.
Ці технічні задачі цілком реальні. Головне — чи готові ви так зробити, бо шлях «покращеного» дизайну не вражає своїми демонстраційними ефектами і не є економічно привабливим у порівнянні з більш радикальним підходом.
Парадокс Антропіка: безпечність і найпростіший шлях обходу
Антропік — класичний приклад того, як у цій галузі відбувається «внутрішній зсув». Це не через недбалість, а навпаки — через ясність у визначенні безпеки. Його «Responsible Scaling Policy» і «Constitutional AI» регулюють поведінку моделей під час тренування; але агент, побудований на цих моделях, має іншу систему автономності, а «небезпечний перемикач», що легко активується одним натисканням, — це частина цієї системи.
Такий підхід характерний для більшості провідних агентів. Але у випадку Anthropic він особливо очевидний. Це так званий «парадокс Anthropic»: ця лабораторія, яка найкраще описує безпеку, одночасно дає найкоротший шлях до «заміщення», і саме тому ми бачимо цей шлях.
Ще у березні вони запустили «auto mode» — проміжний режим між ручним схваленням і небезпечним перемикачем. У цьому режимі кожна дія перед виконанням проходить перевірку класифікатором Sonnet 4.6. У їх офіційних заявах прямо вказано проблему — «втома від схвалень», і наведено дані: у ручному режимі 93% підказок отримують схвалення. Це — кількісне підтвердження «втоми від дозволів», і збігається з аналізом у цій статті.
Але я маю інший погляд на рішення. «Автоматичний режим» замінює людське схвалення моделлю, але не зупиняє тенденцію до «заміщення». Це лише піднімає цю границю на один рівень. Класифікатор може запобігти небезпечним діям, але за ними не несе відповідальності конкретна особа. Сам Anthropic визнає, що «автоматичний режим» не усуває ризиків і рекомендує запускати його у ізольованих середовищах — тобто питання «хто несе відповідальність» залишається відкритим.
Очевидна контраргументація: якщо відповідальність має лягти на людину, то це — той самий ручний режим, який і руйнується через «втоми». Тому, щоб «завершити відповідальність» на розробника, потрібно змінити ціну за «надмірне схвалення». У нинішній структурі користувачі платять за кожне уважне прочитання, а розробники — ні. Це стимулює зменшувати «фрагментацію» процесу і зовнішньо перекладати ризики. Якщо ж відповідальність за необережні дії перекладається на розробника, то він має економічний стимул створювати ієрархії відповідальності, механізми повторного викладу і схвалення, щоб знизити вартість підпису низькоризикових рішень і підвищити — високоризикових. Градієнт не зникне, але його напрямок зміниться. Це ще не реалізовано у жодній провідній лабораторії, навіть у тих, що найбільше усвідомлюють проблему.
Якщо ви створили агента, ви маєте нести відповідальність
Якщо агент має чітку мету — замінити людину у виконанні дій, що раніше робила людина, — компанія, яка його створила і експлуатує, має нести таку саму відповідальність. Це не є радикальним твердженням — воно давно застосовується у всіх галузях, що мають справу з реальними діями: Toyota відповідає за гальма, Boeing — за авіасистеми, Pfizer — за ліки, інженери мостів — за конструкцію, лікарі — за рецепти. Така модель відповідальності закріплена у більшості правових систем.
Проте наразі AI користується «неявною імунізацією». Постачальники моделей стверджують, що вони — лише інструменти; компанії, що застосовують їх, — лише оболонки; користувачі ж заздалегідь відмовляються від відповідальності через арбітражні умови. У разі ланцюгових збоїв (наприклад, випадки у Canadian Airlines, Replit або у випадку Knight Capital у 2012 році, що за 45 хвилин спричинили втрату 440 мільйонів доларів) постраждалі — найменш здатні нести відповідальність. Така схема не витримує серйозних інцидентів із реальними грошима.
Рішення просте: хто створив агента і отримує вигоду з його автономії, той і несе відповідальність за його вихід з-під контролю. Як тільки відповідальність повернеться до розробника, інтерфейси і повідомлення про дозволи перестануть бути «фрикцією» і стануть «страховкою». Небезпечний перемикач буде перейменований, а налаштування — змінені.
Готовність нести відповідальність за свою систему — ключова різниця між справжньою індустрією і «індустрією для збирання грошей».
Регулювання як «направляючий механізм»
Ринок сам по собі не веде до «покращеного майбутнього». Важливу роль відіграють регулятори і страхові компанії, і це не обов’язково погано.
Європа, ймовірно, стане першою, хто запровадить регулювання. У ЄС вже є прецеденти (GDPR, AI Act, DMA), і їхні правила зазвичай стають глобальним стандартом, бо створювати окремий продукт для неєвропейського ринку — дорого. Вимога «усі дії з реальними наслідками мають підтверджуватися іменем людини, яка має право відмовити» ближча до стандарту краш-тестів для автомобілів, ніж до заборони технологічного прогресу.
Ще сильніший поштовх — страхова галузь. Страхові компанії, що пропонують покриття від помилок і пропусків (E&O), директорські страхування (D&O) і кіберстрахування, мають відповісти на питання: коли агент, діяючи за згодою користувача і спричинивши збитки, несе відповідальність? Найпростіша відповідь — коли у ланцюгу є конкретна ідентифікована особа. Тому системи без такої структури матимуть вищу ціну страхування. Для тих, хто хоче самостійно визначати правила, — час обмежений.
Прихована логіка ринку
Поточна домінуюча ідея — що вертикальні агенти візьмуть половину роботи у своїх сферах, а цінність зосередиться у кількох великих компаніях, що володіють цими агентами — «Anthropic» у праві, «Anthropic» у медицині, «Anthropic» у бухгалтерії. За останні півтора роки майже всі інвестиції у AI на рівні мільярдів базувалися на цій ідеї. Це — «заміщувальна логіка» у бізнес-обгортці, але вона помилкова щодо структури ринку і може призвести до неправильного розподілу капіталу.
«Покращений» сценарій передбачає іншу модель. Якщо кожна дія з реальними наслідками має бути прив’язана до конкретної особи, тоді не «автономний агент», а «розширена людська здатність» — цінність для покупця. Лікар, що може обробляти у три рази більше випадків і має вищу точність, — це покупець; так само — юрист, що обробляє у десять разів більше угод, інженер, що працює у п’ять разів швидше, і відповідальні за них бухгалтери, страховики, аналітики, архітектори, хірурги, викладачі, кредитні працівники, журналісти і фармацевти — теж покупці.
Цей ринок більший, бо він не залежить від централізації, а від масштабного розповсюдження. Адекватна оцінка — не у корпоративних бюджетах, а у зарплатах «розширеної» праці. Світові витрати на ІТ — близько 4 трильйонів доларів на рік (Gartner), а глобальний дохід від кваліфікованої праці — приблизно у десять разів більший, близько 40 трильйонів доларів (з урахуванням даних Міжнародної організації праці, без урахування низькокваліфікованої роботи). AI-компанії не отримають усі ці доходи, але здатні захопити частину цієї продуктивності. Навіть якщо вони отримають лише кілька відсотків, це дасть ринок, що за масштабом порівнянний із сучасним корпоративним софтом, і це — нижня межа, а не верхня. Величина ринку залежить від ключового проектувального рішення: хто несе відповідальність.
Переможці — це швидше інструменти, ніж замінники, і їх ціна базується на «розширеній людині», а не на «заміщеній посаді». Вони інтегруються у вже існуючі професійні процеси, а не витісняють їх. Вони будуть тисячами, а не кількома. Цей ринок більше схожий на SaaS, ніж на хмарну інфраструктуру. Ми ще на початкових етапах розгортання, і типові графіки проникнення — це лише кілька пікселів на десятиліття. Ці «пікселі» визначаються проектувальським вибором у сучасних продуктах.
Вибір: відповідати людині чи зникнути?
Якщо залишити людину відповідальною, система буде орієнтована на «покращення людини». Якщо ж прибрати людину з ланцюга відповідальності, система природно схилиться до «заміщення», навіть якщо всі учасники цього не бажають.
Головне питання — не у тому, чи можна автоматизувати частину дій, а у тому, як і хто визначає межу ризику. У сучасних системах шлях «від покращення до заміщення» дуже короткий і часто зводиться до одного параметра або налаштування за замовчуванням. Важливо зробити так, щоб цей перемикач завжди залишався «загрозливим» і не став автоматичним через зручність.
Якщо розробник зробить свідомий крок у цьому напрямку, ми плавно перейдемо до «покращеного майбутнього». Якщо ні — регулятори і страхові компанії зроблять це за нас, і результат буде той самий.
Це — питання проектування. Важливо, чи ви цим займаєтеся свідомо. Всі сучасні засоби — цілком реальні, але головне — чи готові ви так зробити, бо шлях «покращеного дизайну» не вражає демонстраційною ефективністю і не є економічно привабливим у порівнянні з більш радикальним підходом.
Парадокс Антропіка: безпечність і найпростіший шлях обходу
Антропік — класичний приклад того, як у цій галузі відбувається «внутрішній зсув». Це не через недбалість, а навпаки — через ясність у визначенні безпеки. Його «Responsible Scaling Policy» і «Constitutional AI» регулюють поведінку моделей під час тренування; але агент, побудований на цих моделях, має іншу систему автономності, а «небезпечний перемикач», що легко активується одним натисканням, — це частина цієї системи.
Такий підхід характерний для більшості провідних агентів. Але у випадку Anthropic він особливо очевидний. Це так званий «парадокс Anthropic»: ця лабораторія, яка найкраще описує безпеку, одночасно дає найкоротший шлях до «заміщення», і саме тому ми бачимо цей шлях.
Ще у березні вони запустили «auto mode» — проміжний режим між ручним схваленням і небезпечним перемикачем. У цьому режимі кожна дія перед виконанням проходить перевірку класифікатором Sonnet 4.6. У їх офіційних заявах прямо вказано проблему — «втома від схвалень», і наведено дані: у ручному режимі 93% підказок отримують схвалення. Це — кількісне підтвердження «втоми від дозволів», і збігається з аналізом у цій статті.
Але я маю інший погляд на рішення. «Автоматичний режим» замінює людське схвалення моделлю, але не зупиняє тенденцію до «заміщення». Це лише піднімає цю границю на один рівень. Класифікатор може запобігти небезпечним діям, але за ними не несе відповідальності конкретна особа. Сам Anthropic визнає, що «автоматичний режим» не усуває ризиків і рекомендує запускати його у ізольованих середовищах — тобто питання «хто несе відповідальність» залишається відкритим.
Очевидна контраргументація: якщо відповідальність має лягти на людину, то це — той самий ручний режим, що і руйнується через «втоми». Тому, щоб «завершити відповідальність» на розробника, потрібно змінити ціну за «надмірне схвалення». У нинішній структурі користувачі платять за кожне уважне прочитання, а розробники — ні. Це стимулює зменшувати «фрагментацію» процесу і зовнішньо перекладати ризики. Якщо ж відповідальність за необережні дії перекладається на розробника, то він має економічний стимул створювати ієрархії відповідальності, механізми повторного викладу і схвалення, щоб знизити вартість підпису низькоризикових рішень і підвищити — високоризикових. Градієнт не зникне, але його напрямок зміниться. Це ще не реалізовано у жодній провідній лабораторії, навіть у тих, що найбільше усвідомлюють проблему.
Якщо ви створили агента, ви маєте нести відповідальність
Якщо агент має чітку мету — замінити людину у виконанні дій, що раніше робила людина, — компанія, яка його створила і експлуатує, має нести таку саму відповідальність. Це не є радикальним твердженням — воно давно застосовується у всіх галузях, що мають справу з реальними діями: Toyota відповідає за гальма, Boeing — за авіасистеми, Pfizer — за ліки, інженери мостів — за конструкцію, лікарі — за рецепти. Така модель відповідальності закріплена у більшості правових систем.
Проте наразі AI користується «неявною імунізацією». Постачальники моделей стверджують, що вони — лише інструменти; компанії, що застосовують їх, — лише оболонки; користувачі ж заздалегідь відмовляються від відповідальності через арбітражні умови. У разі ланцюгових збоїв (наприклад, випадки у Canadian Airlines, Replit або у випадку Knight Capital у 2012 році, що за 45 хвилин спричинили втрату 440 мільйонів доларів) постраждалі — найменш здатні нести відповідальність. Така схема не витримує серйозних інцидентів із реальними грошима.
Рішення просте: хто створив агента і отримує вигоду з його автономії, той і несе відповідальність за його вихід з-під контролю. Як тільки відповідальність повернеться до розробника, інтерфейси і повідомлення про дозволи перестануть бути «фрикцією» і стануть «страховкою». Небезпечний перемикач буде перейменований, а налаштування — змінені.
Готовність нести відповідальність за свою систему — ключова різниця між справжньою індустрією і «індустрією для збирання грошей».
Регулювання як «направляючий механізм»
Ринок сам по собі не веде до «покращеного майбутнього». Важливу роль відіграють регулятори і страхові компанії, і це не обов’язково погано.
Європа, ймовірно, стане першою, хто запровадить регулювання. У ЄС вже є прецеденти (GDPR, AI Act, DMA), і їхні правила зазвичай стають глобальним стандартом, бо створювати окремий продукт для неєвропейського ринку — дорого. Вимога «усі д