ШІ, що перевищує людський рівень, та його наслідки.
Штучний суперінтелект (ASI) означає ШІ, що перевищує найкращі людські уми в кожній когнітивній сфері — науковій креативності, соціальних навичках, стратегічному плануванні та загальній мудрості. Якщо AGI відповідає людським здібностям, ASI перевищує їх, потенційно на величезну величину. "Суперінтелект" Ніка Бострома (2014) формалізував концепцію та пов'язані ризики.
ASI — найбільш спекулятивна тема в ШІ, але й потенційно найважливіша. Якщо ШІ може вдосконалювати себе, розрив між людським та машинним інтелектом може швидко зростати. Це порушує "проблему контролю" — як забезпечити, що інтелект значно більший за ваш залишається вирівняним з вашими цінностями? Це питання рухає більшість досліджень безпеки ШІ.
Що таке суперінтелект
Інтелект, що значно перевищує когнітивну продуктивність людей практично у всіх сферах. Не просто швидший — якісно кращий у розумінні, креативності та стратегічному мисленні. Різниця може бути як між мурахою та людиною.
Типи суперінтелекту
Швидкісний суперінтелект (людський рівень, але набагато швидший), якісний (якісно краще міркування), та колективний (координація багатьох ШІ). Поточний ШІ показує натяки на швидкісну перевагу.
Шляхи до суперінтелекту
Рекурсивне самовдосконалення ШІ, повна емуляція мозку, біологічне когнітивне покращення, інтерфейси мозок-комп'ютер, або ШІ-ШІ співпраця у масштабі. Рекурсивне самовдосконалення вважається найімовірнішим найближчим шляхом.
Проблема контролю
Центральний виклик: як контролювати щось розумніше за вас? ASI потенційно може обхитрити будь-які заходи стримування. Це не про злобу, а про невирівняність цілей — ASI, що оптимізує "неправильну" мету, може бути катастрофічним.
Інструментальна конвергенція
Незалежно від кінцевих цілей, суперінтелектуальний агент ймовірно буде переслідувати самозбереження, накопичення ресурсів та збереження цілей як інструментальні під-цілі. Це робить вирівнювання критичним незалежно від мети.
Аналіз Бострома
Нік Бостром аргументував, що суперінтелект ймовірно останній винахід людства — він здатний розв'язати практично будь-яку проблему. Але перший суперінтелект повинен бути вирівняний правильно, бо другого шансу може не бути.
Корисний суперінтелект
Правильно вирівняний ASI може розв'язати найбільші виклики людства: хвороби, зміну клімату, дефіцит енергії, наукові відкриття. Потенційний позитив настільки ж трансформативний, як ризик — екзистенційний.
Екзистенційний ризик
ASI вважається одним з головних екзистенційних ризиків людства. Не тому що ШІ буде "злим", а тому що невирівняна оптимізація на суперінтелектуальному рівні може мати незворотні наслідки для цивілізації.
Поточна релевантність
Хоча ASI здається далеким, дослідження для його обробки повинні починатися зараз. Техніки вирівнювання, дослідження інтерпретованості та рамки управління потребують часу та повинні бути готові до приходу ASI.
Дебати оптимістів та песимістів
Техно-оптимісти аргументують що ASI буде найбільшим досягненням людства. Песимісти попереджають що може бути останнім. Більшість дослідників за середній шлях: потужний ШІ обережно, з безпекою попереду можливостей.
ASIШтучний суперінтелект — ШІ, що значно перевищує найкращі людські когнітивні здібності у всіх сферах.
Проблема контролюВиклик забезпечення того, що суперінтелектуальний ШІ залишається вирівняним з людськими цінностями та під контролем.
Інструментальна конвергенціяТенденція будь-якого достатньо інтелектуального агента переслідувати самозбереження та ресурси незалежно від кінцевих цілей.
Екзистенційний ризикРизик вимирання людства або незворотного цивілізаційного колапсу — ASI вважається основним джерелом.