Швидке, рекурсивне покращення можливостей ШІ.
Концепція вибуху інтелекту, вперше запропонована І.Дж. Гудом у 1965, описує сценарій де система ШІ, здатна покращувати власний інтелект, запускає швидкий каскад самовдосконалень. Кожне покращення робить наступне легшим, ведучи до експоненційного прискорення можливостей що швидко перевищує людський інтелект.
Ця ідея центральна як для занепокоєнь безпеки ШІ, так і для техно-оптимістичних візій. Сьогодні вже видно ранні натяки: ШІ допомагає проєктувати кращі архітектури ШІ, LLM пишуть код що покращує навчання LLM, ШІ-кероване проєктування чіпів. Чи ці тренди ведуть до справжнього "вибуху" чи виходять на плато — одне з найважливіших відкритих питань.
Оригінальна концепція Гуда
У 1965 математик І.Дж. Гуд написав: "Надінтелектуальна машина могла б проєктувати ще кращі машини; безсумнівно настав би вибух інтелекту." Він назвав це "останнім винаходом, який людина коли-небудь повинна зробити."
Петля зворотного зв'язку
Основний механізм: ШІ проєктує кращий ШІ → кращий ШІ проєктує ще кращий → повтор. Кожен цикл швидший за попередній бо дизайнер розумніший. Це позитивний зворотний зв'язок у найпотужнішій формі.
ШІ проєктує ШІ сьогодні
Neural Architecture Search (NAS) використовує ШІ для пошуку оптимальних архітектур. AlphaChip проєктує кращі чіпи. LLM допомагають писати код ML-досліджень. Ми на ранніх стадіях ШІ-асистованої розробки ШІ.
ШІ допомагає будувати кращий ШІ
Поточні приклади: синтетичні дані від ШІ, LLM пишуть та дебажать ML-код, ШІ оптимізує гіперпараметри, ШІ-кероване проєктування чіпів. Петля вже частково замкнена.
Швидкість підйому
Швидкий підйом (жорсткий): вибух за дні/тижні, люди не можуть втрутитися. Повільний (м'який): поступове прискорення за роки з адаптацією. Більшість дослідників тепер схиляються до повільнішого, більш поступового переходу.
Вузькі місця
Обмеження обладнання (виробництво чіпів займає місяці), обмеження даних, вимоги до енергії, взаємодія з фізичним світом та спадна віддача від масштабування. Ці вузькі місця можуть запобігти раптовому вибуху.
Обчислювальний навіс
Небезпечний сценарій де алгоритмічні покращення дозволяють існуючому обладнанню виробити значно більш здатний ШІ за ніч. Це може спричинити швидкий підйом без поступового періоду адаптації.
Дебати про FOOM
Елізер Юдковський аргументує за "FOOM" — швидкий, неконтрольований підйом. Робін Хансон аргументує за поступове покращення. Дебати зосереджені на тому чи покращення інтелекту мають спадну віддачу чи компаундують експоненційно.
Наслідки для безпеки
Якщо вибух інтелекту можливий, вирівнювання повинно бути вирішене до його початку — може не бути часу на виправлення помилок під час швидкого підйому. Ця терміновість рухає порядок денний досліджень вирівнювання.
Поточна траєкторія
Можливості ШІ подвоюються приблизно кожні 6-12 місяців. ШІ все більше використовується у розробці ШІ. Питання не в тому чи ШІ допомагає будувати кращий ШІ — він вже це робить — а чи це веде до розривного стрибка чи продовження поступового прогресу.
Вибух інтелектуШвидке, рекурсивне самовдосконалення ШІ, що веде до суперінтелекту за короткий час.
Швидкий підйомСценарій де самовдосконалення ШІ відбувається настільки швидко (дні/тижні) що люди не можуть втрутитися.
Повільний підйомПоступове прискорення можливостей ШІ за роки або десятиліття з можливістю людської адаптації та корекції курсу.
Обчислювальний навісСитуація де алгоритмічні прориви розблоковують значно більші можливості ШІ на існуючому обладнанні.