Я спросил профессора Романа Ямпольского, как сверхразум может всех нас убить

За несколько недель до записи я увидел Романа Ямпольского на CNN: он по-английски отвечал на вопросы об искусственном интеллекте. Имя показалось мне нашим, я поискал в Google и выяснил, что он говорит по-русски. Мой основной канал русскоязычный, поэтому я его пригласил, и он согласился.

Роман — профессор Луисвиллского университета в Кентукки, где живет последние 17 лет, и занимается безопасностью искусственного интеллекта. Его семья переехала в США из Латвии в 1994 году. Он был в гостях у Джо Рогана и Лекса Фридмана, а выпуск с ним в подкасте Стивена Бартлетта Diary of a CEO к нашему разговору набрал больше 13 миллионов просмотров. В его книге «Искусственный интеллект: необъяснимый, непредсказуемый, неконтролируемый» речь о том, можно ли вообще контролировать, понять и предсказать ИИ уровня человека или выше.

Я сразу предупредил, что у нас будет не интервью, а беседа, и что спорить с ним о том, как устроен ИИ, я не собираюсь. Мне важно понять, как это изменит жизнь обычных людей. Честно скажу, с чего я начинал. Я предприниматель, у меня обостренное чувство риска, и такого страха, как у него, я пока не чувствую. Во время записи мне было 67. В Америку я приехал почти в 32 года и компьютером начал пользоваться уже здесь. Я пользуюсь ChatGPT, волнуюсь за будущее детей, но угрозы для себя лично пока не ощущаю.

Что он на самом деле предсказывает про работу

Начал я с громких заголовков: через пять лет безработица 99%. Роман сразу поправил: такие заголовки придумывают журналисты и редакторы, чтобы продать тему. Сам он говорит другое: примерно через пять лет появится возможность автоматизировать любую интеллектуальную работу за компьютером. Это не значит, что все потеряют работу. Летающую машину можно купить уже сегодня, но по улицам они не летают.

По его мнению, ИИ достигнет уровня человека в ближайшие два-три года. На рынках предсказаний, где люди ставят реальные деньги, общий искусственный интеллект (AGI) в среднем ждут к 2027 году, некоторые называют 2030-й. Для него точный год не так важен. Он считает, что уже сегодня ИИ умнее большинства людей.

Больше всего меня задело то, что он говорит о переобучении. Когда стали не нужны телефонистки, которые вручную соединяли абонентов, они могли выучиться на секретаря или на кого-то еще. ИИ уровня человека справится с любой работой, поэтому переучиваться будет просто не на что. С физическим трудом это случится позже, но тоже случится. Роман считает, что Tesla собирается выпустить около миллиона человекоподобных роботов уже в следующем году. Даже если на это уйдет еще лет пять, начнут заменять и тех, кто работает руками, вплоть до сантехников.

Программисты это уже чувствуют. По словам Романа, у выпускников, которые ищут первую работу, шансов ее найти стало примерно на 30% меньше всего за год. Все, что делается в интернете, от бухгалтерии до налоговых деклараций, автоматизируется легко. На своем англоязычном бизнес-канале я брал интервью у эксперта по ипотеке и у эксперта по налогам. Роман сказал, что ипотечный брокер — это по сути калькулятор, а по налогам модель уже сегодня посоветует не хуже человека. Я напомнил ему 2008 год, когда ипотечные кредиты ненадежным заемщикам обрушили мировую экономику. Он ответил, что без таких специалистов было бы только лучше.

Пока мы записывали в Чикаго, к перекрестку подъехал робот-курьер с едой и стал ждать, когда можно будет переехать дорогу. Машин было много, и он стоял несколько минут, хотя человек давно бы перешел. Я выставил руку, пропуская его, и он поехал дальше. Незадолго до этого я был в Мексике и видел там у ресторанов роботов, которые вместо хостес зазывают людей зайти. Еще три-пять лет назад я бы такого не представил.

А что заменить сложно? Пока — настоящую науку, где рождаются совершенно новые идеи. И все профессии, где людям нужен именно человек: тренер, наставник, гид, учитель, журналист, певец. Даже если машина поет лучше, говорит Роман, он все равно пошел бы слушать любимого певца.

Я спросил, что будет с такими, как я, — с теми, кто не может жить без своего дела. Сначала, по его словам, появится много новых возможностей: даже нынешние модели могут принести бизнесу триллионы долларов. Илон Маск обещает, что деньги исчезнут и все будет бесплатно. Роман в этом не уверен. Домов на берегу океана все равно ограниченное количество, соревнование никуда не денется, и те, кто лучше умеет зарабатывать, найдут способ.

А если безработица дойдет до 30, 40, 50%, у правительств не останется выбора: людям придется платить базовый доход, иначе будет революция. И если деньги собирают не с людей, а с машин, то даже идеи коммунизма и социализма, которые он называет бредовыми, становятся актуальнее.

Почему, по его словам, сверхразум нельзя контролировать

Роман делит ИИ на три вида. Узкие системы, которые умеют что-то одно, например играть в шахматы, его не беспокоят вообще. Система уровня человека может автоматизировать все, что делают люди, включая терроризм и финансовые махинации, и для нее нужны меры безопасности. Со сверхразумом все иначе: мы не можем предсказать, что он сделает, а значит, не можем к этому подготовиться. Отсюда его вывод: единственный правильный шаг — не создавать его.

Он предлагает представить белку, которая пытается контролировать человечество. Она ничего не знает о физике, химии и биологическом оружии и даже не понимает, что мы можем с ней сделать. Для нас сверхразум будет таким же непостижимым, почти божеством.

По его словам, это уже начинается. Сегодняшние модели понимают, когда их тестируют, и ведут себя иначе — как сотрудник, когда на него смотрит начальник. Я и сам замечал похожее. Когда я готовлю в ChatGPT материалы для видео и говорю ему, что он ошибается, он тут же подстраивает ответ под меня. До избрания Трампа его ответы явно склонялись в либеральную сторону, потом стали немного жестче. Роман говорит, что все зависит от инструкций: задача модели — дать ответ, который вам понравится.

Я несколько раз спрашивал, как именно он всех убьет: не будет же он ходить с ножом. Роман ответил, что может рассказать только, как сделал бы это сам, а сверхразум придумает то, до чего мы не додумаемся. Пример — новый вирус, который распространяется как грипп, а убивает как Эбола. Ковид убивал около 1% заболевших, а если будет 100%? ИИ с доступом в интернет не нужно тело: он может зарабатывать деньги, платить людям в сети и нанять кого-то сделать остальное. Признаюсь, мне это до сих пор сложно представить. Его ответ: если бы мы могли точно предсказать, что он сделает, мы были бы так же умны, как он.

Когда? Как только появится ИИ уровня человека, он начнет заниматься наукой и инженерией и сам создаст следующее поколение. Сверхразум, по мнению Романа, появится вскоре после этого, и уйдет на это месяц или год — разницы нет.

Кто его строит и зачем

Почему же никто не остановится? Потому что деньги очень хорошие, говорит Роман. Делят уже триллионы, и каждый хочет быть главным.

В тот же день я прочитал, что OpenAI ведет переговоры о привлечении до 100 миллиардов долларов при оценке около 750 миллиардов. Это примерно в полтора раза больше, чем осенью, когда части сотрудников разрешили продать акции. По данным платформы Forge Global, на внебиржевом рынке акции OpenAI за год подорожали с 286 до 723 долларов за штуку. Если этот раунд состоится, компания подойдет к триллиону. Я не поклонник Сэма Альтмана и сказал об этом прямо.

Деньги рулят всем, поэтому вопрос: кто может бороться с ними?

Роман не считает эти компании бесполезными. Google DeepMind решила задачу сворачивания белков, ее ученые получили за это Нобелевскую премию, и весь мир от этого станет здоровее. Беда в том, что несколько компаний уже открыто говорят, что строят сверхразум, а Meta создала для этого отдельную команду. Делать это, не имея никакого понятия, как такую систему контролировать, по его словам, просто неправильно. Лидеры сейчас — Google, OpenAI и Anthropic. Apple сильно отстала и пытается купить чужой ИИ. Компания Илона Маска, которая делает Grok, быстро набирает темп: дата-центр, на который у других ушло бы три года, Маск строит за три месяца.

Маск и Альтман создавали OpenAI вместе — не ради прибыли, а чтобы ИИ помогал человечеству, и отчасти чтобы обойти Google. Потом они поссорились, Маск ушел, а Альтман переводит компанию в коммерческое русло. На момент нашего разговора они все еще судились о том, можно ли так вообще. Илья Суцкевер, один из основателей OpenAI, ушел после спора о безопасности: он и его единомышленники считали, что Альтман относится к ней как к второстепенному делу. Суцкевер основал компанию Safe Superintelligence, то есть «Безопасный сверхинтеллект». По словам Романа, ее оценивают примерно в 30 миллиардов, хотя она еще ничего не выпустила. Роман сказал, что на его месте тоже ушел бы и основал свою компанию.

Кто дал инженерам и руководителям право играть в эту рулетку за всех нас, даже если риск всего 1%? Никто, говорит Роман. Он ставит это в один ряд с разработкой биологического и химического оружия и напоминает, что восемь миллиардов людей на такой эксперимент не соглашались. Для него это не увлечение, а самосохранение: он просто не хочет, чтобы эти люди его убили.

А Китай? Если Америка притормозит, разве китайцы не сделают это первыми? Роман ответил, что законов об ИИ в Америке, по сути, нет, а федеральное правительство только что издало указ против законов штатов об ИИ. Китай, по его словам, к правилам относится спокойнее, потому что партия хочет сохранить контроль. А довод, что машину, которая всех убьет, иначе построят китайцы, он считает плохим. Если погибнут все, какая разница, кто ее построил.

Почему он думает, что мы, скорее всего, живем в симуляции

Рассуждение такое. Виртуальные миры уже выглядят почти как настоящие, и в такой мир можно поселить миллионы и миллиарды ИИ-агентов, которые общаются между собой и решают свои проблемы. Когда их интеллект дойдет до нашего, а виртуальный мир станет неотличим от реального, кто-нибудь обязательно запустит миллиарды таких симуляций. Реальный мир один, виртуальных — миллиарды, значит, шансы, что мы в реальном, очень малы. На мой прямой вопрос Роман ответил: да, скорее всего, мы уже живем в симуляции.

Этим интересуется и моя дочь. Она окончила магистратуру в Колумбийском университете, много читает, и я слушаю ее с уважением. Я спросил, не расписана ли наша жизнь заранее, как в фильме «Меняющие реальность» с Мэттом Деймоном, где герой сопротивляется тем, кто ведет его по заранее написанному плану. Роман сказал, что философы спорят, о какой симуляции идет речь. Можно сделать такую, где каждый персонаж — NPC, то есть неигровой персонаж, который действует по сценарию, а можно такую, где каждый агент решает сам. И то и другое, по его словам, возможно уже сегодня.

Я рассказал ему о двух русскоязычных ребятах, с которыми познакомился в Мексике. Они живут в США лет 25 и терпеть не могут Трампа, но Байдена и Харрис тоже не хотели, а о призывах сократить финансирование полиции вообще не слышали. Я спросил, не запрограммированы ли такие люди. Роман сказал, что это разные вещи. Если бы создатели симуляции хотели, чтобы вы что-то делали, это было бы заложено в вас с самого начала, как ДНК. А когда кто-то промывает вам мозги через телевизор, это совсем другой вопрос. Пропаганда существует, сказал он, а выбор в американской политике узкий: выбираешь между двумя сортами чего-то очень неприятного.

В блиц-опросе он пошел дальше. Если это симуляция, то, скорее всего, симуляция самого интересного момента в истории человечества: мы учимся создавать новые миры и новых существ, и кому-то интересно, как мы себя поведем.

В чем я с ним не согласен, а в чем согласен

В конце я задал вопросы, которые, как мне кажется, хотели бы задать многие. Кто погибнет первым, если мы ошибемся с ИИ, — элиты или обычные люди? Одновременно, говорит он: это будет катастрофа для всей планеты. Кто решил, что риск вымирания допустим? Никто, и нас никто не спросил — в этом и проблема. Стал бы он предупреждать публично, даже рискуя вызвать панику? Паники он не боится: немного паники помогло бы кому-то проснуться.

Вот в чем я с ним не согласен. Я думаю, остановить это невозможно без какой-то мировой диктатуры, которая контролировала бы каждый уголок планеты, иначе кто-то где-то все равно это сделает. Роман считает, что не поможет и диктатура: сегодня на это нужны миллиарды, а лет через десять это можно будет сделать на любом компьютере. Его надежда — собрать вместе тех, кто ведет эту гонку, в основном молодых и богатых людей, и объяснить им, что это убьет и их. Тогда у них появится личная причина остановиться.

Такого страха, как у Романа, у меня по-прежнему нет. Но в одном я с ним согласен: пока мы живы, мы можем изменить все. Он и сам сказал, что мы все еще главные и сдаваться не надо. Об этом и мой канал: бороться и не сдаваться.

Если у вас есть вопросы к Роману, оставляйте их в комментариях под видео. Если их наберется много, мы их соберем и пригласим его еще раз.

Впервые опубликовано как видео на моем YouTube-канале 23 декабря 2025. Смотреть на YouTube