Занепокоєння щодо екзистенційного ризику від просунутого ШІ.
Дослідники ризиків ШІ та техно-песимісти ("думери") аргументують що просунутий ШІ створює екзистенційні ризики для людства, що вимагають негайних серйозних дій. Їх занепокоєння простягаються від найближчих загроз (діпфейки, втрата робочих місць, нагляд) до довгострокових катастрофічних ризиків (невирівняний суперінтелект, втрата контролю). Ключові фігури: Елізер Юдковський, Стюарт Рассел, організації MIRI та рух Pause AI.
Перспектива думерів часто спотворюється як просто "проти-технологічна." Насправді більшість дослідників безпеки ШІ — глибоко технічні люди, що розуміють можливості ШІ та бачать конкретні, обґрунтовані небезпеки. Їх аргументи вплинули на створення команд безпеки у кожній великій ШІ-лабораторії та сформували урядову ШІ-політику у світі.
Основний аргумент
Ми будуємо все потужніші системи ШІ без розуміння як їх контролювати. Проблема вирівнювання невирішена. Деплой суперінтелектуального ШІ до вирішення вирівнювання може бути катастрофічним та незворотним. Ставки занадто високі для "рухайся швидко та ламай."
Позиція Юдковського
Найпромінентніший "думер" аргументує що ШІ створює ризик рівня вимирання, поточні підходи до вирівнювання недостатні, і може знадобитися зупинити розвиток фронтірного ШІ. Його праці на LessWrong сформували всю сферу безпеки ШІ.
Рамка Стюарта Рассела
"Human Compatible" (2019) аргументує що стандартна модель ШІ (оптимізація даної мети) фундаментально хибна. Натомість ШІ повинен бути невпевненим щодо людських переваг та поступатися людям. Помірніша, але впливова критика.
MIRI та дослідження ризиків ШІ
Machine Intelligence Research Institute вивчає вирівнювання ШІ з 2000 року. Піонери багатьох концепцій: коригованість, стабільність цілей, теорія рішень для ШІ. Їх песимізм щодо поточних підходів був впливовим.
Рух Pause AI
Заклик до мораторію на навчання моделей потужніших за GPT-4 до вирішення вирівнювання. Відкритий лист (підписаний Маском, Возняком та іншими) просив 6-місячну паузу. Критики називають це непрактичним.
Найближчі ризики ШІ
Не лише далеке майбутнє: діпфейк-дезінформація, ШІ-кібератаки, автономна зброя, масовий нагляд, алгоритмічна дискримінація та економічне руйнування від швидкої автоматизації. Ці ризики поточні та вимірювані.
Податок на вирівнювання
Дослідження безпеки коштують часу та грошей, але не приносять прямого доходу. Компанії під конкурентним тиском пропускати безпеку. Без регулювання стимули сприяють швидкості над безпекою.
Регуляторні підходи
EU AI Act (регулювання на основі ризику), US Executive Order з безпеки ШІ, UK AI Safety Institute, регуляції Китаю. Різні країни з різними підходами — глобальна рамка залишається невловимою.
Контраргументи
Критики аргументують: пауза нездійсненна міжнародно, сповільнення ШІ має реальні витрати (затримані вигоди), поточний ШІ не близький до небезпечного суперінтелекту, дослідження безпеки просуваються разом з можливостями.
Продуктивна середина
Багато дослідників на середній позиції: розвиток ШІ повинен продовжуватися, але з обов'язковими оцінками безпеки, інвестиціями у вирівнювання пропорційно можливостям та міжнародною координацією найнебезпечніших здатностей.
ШІ-думерЛюдина що вірить просунутий ШІ створює серйозний екзистенційний ризик та виступає за обережність або паузу.
Pause AIРух що закликає до мораторію на навчання систем ШІ потужніших за поточні фронтірні моделі.
X-RiskЕкзистенційний ризик — будь-яка подія що може спричинити вимирання людства або постійне різке зниження людського потенціалу.
Управління ШІПолітичні рамки, регуляції та міжнародні угоди для управління розвитком та деплоєм ШІ.