The Australian
БЕН НАПАРСТЕК
В своей новой книге «Сингулярность приближается» Рэй Курцвейл делится недавней обширной беседой со своим отцом Фредриком.
Известный концертный пианист и педагог, Фред размышляет о своей страсти к музыке, надеждах на свое наследие и сожалеет, что поддержка семьи ограничивала его творческие амбиции. Несмотря на то, что он редко приходил домой раньше 9 вечера, Фред поощрял стремление своего сына-вундеркинда к технологиям, который в 16 лет дебютировал на телевидении, исполнив фортепианную мелодию, составленную на компьютере, который он построил.
Обмен особенно трогателен, поскольку Фред умер более 50 лет назад. Используя конспекты, записи и письма отца, Курцвейл создал репликанта Фреда с помощью чата и искусственного интеллекта: «первый шаг», пишет он, «в возвращении моего отца».
К концу 2030-х годов Курцвейл предвидит, что молекулярная инженерия оживит мертвых в виде андроидов с превосходными телами на основе ДНК — теория, которую можно было бы легко отвергнуть, если бы не выдающиеся достижения Курцвейла в области предвидения. Будучи пионером оцифровки текста, автоматизированной технологии преобразования речи в текст и синтеза музыки, футурист, которого иногда считают крестным отцом машинного обучения, носит звание главного исследователя и визионера ИИ в Google.
Курцвейл представляет ошеломляющие возможности, основанные на ИИ, от чистой энергии до лечения разрушительных болезней и искоренения нищеты. Культивированное мясо будет кормить население мира, используя при этом лишь часть земель, которые сейчас обрабатываются. Материальное изобилие снизит стимулы к накоплению ресурсов или ведению войн. Трехмерная печать произведет революцию в децентрализованном производстве, способствуя доступному строительству жилья и небоскребов по всему миру.
Напечатанные на заказ органы станут обычным явлением. Имитационные медицинские испытания позволят одновременно тестировать бесконечное количество вариаций, поскольку медицинские инновации развиваются «от линейного процесса «попал или не попал» к экспоненциальной информационной технологии, в которой мы систематически перепрограммируем неоптимальное программное обеспечение жизни». Это утверждение сразу же заставляет задуматься и оно не совсем точно. Эволюция не полностью случайна; естественный отбор формировал жизнь посредством направленного давления на протяжении тысячелетий. Предположение, что технология может просто перепрограммировать биологию, замалчивает сложность генов, молекул и экосистем, в то время как называя эволюционные достижения неоптимальными, мы упускаем из виду их устойчивость и эффективность.
Однако Курцвейл прав, что, несмотря на заламывание рук, вызванное новыми технологиями, начиная с печатного станка, миллиарды жизней улучшились благодаря технологическим предпринимателям. Глобальная бедность сократилась вдвое за два десятилетия, а доступ к чистой питьевой воде увеличился более чем вдвое с 1990 года. Но исторических аналогов для сегодняшнего момента нет. Все больше возможностей для ИИ сеять катастрофические разрушения, будь то случайно или намеренно.
■ ■ ■
По мере того, как ускоряется машинное обучение, растут и грандиозные обещания технологов о светлом будущем, основанном на ИИ. Но пророки ИИ подрывают их дело, преуменьшая экзистенциальные угрозы, исходящие от их творений.
В блоге под названием «Почему ИИ спасет мир» крупный венчурный капиталист Марк Андрессен представляет себе каждого ребенка с «наставником в виде ИИ, который бесконечно терпелив, бесконечно сострадателен, бесконечно осведомлен, бесконечно полезен», предоставляя «машинную версию бесконечной любви».
В его видении современная война станет менее кровавой, поскольку тактики ИИ позволят военным командирам принимать более обоснованные решения. Вместо того чтобы вступать в более суровую, механистическую эпоху, «бесконечно терпеливый и отзывчивый ИИ сделает мир теплее и приятнее». Он отмахивается от критиков, называя их «бутлегерами… которым платят за атаки на ИИ их университеты, аналитические центры, группы активистов и СМИ». Это кажется богатым для соучредителя Andreessen Horowitz с активами в размере 42 млрд долларов США (64,5 млрд долларов США) и десятками инвестиций в ИИ. «Компаниям ИИ должно быть разрешено разрабатывать ИИ так быстро и агрессивно, как они могут», — настаивает Андрессен. «Не должно быть никаких нормативных барьеров».
Недавний блог основателя OpenAI Сэма Альтмана, The Intelligence Age, также трубит о «совместном процветании в такой степени, которая сегодня кажется невообразимой». Его манифест описывает эпоху настолько необычную, что «никто не может воздать ей должное, пытаясь написать о ней сейчас». ИИ, утверждает он, усилит человеческий потенциал и исполнит наше «врожденное желание творить и быть полезными друг другу». Обещание Альтмана вернуть человечество к совместной жизни перекликается с религиозными темами искупления: «Мы вернемся в расширяющийся мир и снова сможем сосредоточиться на играх с положительной суммой».
В 2021 году руководитель OpenAI Дарио Амодеи перешел на сторону Anthropic, создав Claude для конкуренции с ChatGPT, ссылаясь на опасения по поводу небрежного подхода Альтмана к безопасности ИИ. Но думизм — плохая презентация, и пока Anthropic ищет капитал для увеличения своих чеков от Amazon, Амодеи поддался мечтательному футуризму. В блоге Machines of Loving Grace объемом 14 000 слов в прошлом месяце он представил, как ИИ лечит психические заболевания и дарует «биологическую свободу», предоставляя людям контроль над своими телами и потенциально бесконечную жизнь.
Верят ли эти самозваные мессии в собственную пропаганду или просто болтают свою книгу, остается неясным. Ник Билтон из Vanity Fair пишет об ужине с Ларри Пейджем, на котором соучредитель Google рассуждал о неизбежном создании сверхразумных машин, искусственного интеллекта. Эти компьютеры в конечном итоге решат, что люди бесполезны, и «избавятся от нас». Когда его оспаривают, Пейдж называет это «просто следующим шагом в эволюции», отвергая возражения как «специализм».
«Все люди, которые сейчас руководят разработкой ИИ, на публике совершенно неискренни», — говорит Билтону опытный лоббист.
«Они все просто соревнуются за право первыми создать ОИИ и либо не осознают последствий того, что может пойти не так, либо им просто все равно».
■ ■ ■
Вопреки этим евангельским воззрениям, недавно помазанный лауреат Нобелевской премии Джеффри Хинтон выступил в качестве защитника безопасности ИИ. В прошлом году он завершил свою десятилетнюю работу в Google, чтобы поднять тревогу по поводу технологий ИИ, которые он помог создать. «Я утешаю себя обычным оправданием: если бы я этого не сделал, это сделал бы кто-то другой», — размышляет он. «Трудно понять, как можно помешать плохим актерам использовать это для плохих дел».
Хинтон отстаивал законопроект о безопасности искусственного интеллекта в Калифорнии, который одобрил законодательный орган в сентябре, обязывающий компании тратящие более 100 млн долларов США на обучение передовых моделей ИИ должны обеспечить тщательную безопасность, тестирование и понести ответственность за массовые жертвы или финансовый ущерб, превышающий $500 млн. Ключевое положение требовало от производителей ИИ внедрить «аварийный выключатель», позволяющий при необходимости немедленно выключить модели.
Законопроект был призван в целом привести законодательство Калифорнии в области искусственного интеллекта в соответствие с ЕС, который в прошлом году принял первый всеобъемлющий закон об регулировании ИИ, запрещающий высокорисковые варианты использования. «Крайне важно, чтобы у нас было «Реальное законодательство, способное устранить риски», — говорит Хинтон.
Как и ожидалось, технологический сектор запаниковал, выгнав политиков со своей территории. Главный специалист по искусственному интеллекту компании Meta Янн Лекун отмахнулся от законопроекта, назвав его основанным на «совершенно гипотетических научно-фантастических сценариях». Его предупреждение о «конце инноваций» было поддержано другими титанами Кремниевой долины, хотя пороговое значение означало, что под действие закона попадут только крупные лаборатории искусственного интеллекта, а не стартапы. Но если технологические компании настолько уверены, что их модели не причинят вреда, зачем бояться ответственности?
Автор законопроекта сенатор Скотт Винер настаивал, что законодательство просто гарантирует, что крупные лаборатории ИИ будут выполнять свои существующие обязательства по тестированию на наличие катастрофических рисков. «Когда технологические компании обещают проводить испытания безопасности, а затем отказываются от надзора за этими испытаниями безопасности, это заставляет серьезно задуматься о том, насколько хорошо саморегулирование сработает для человечества», — утверждает Винер.
Политики ссылались на неконтролируемый рост социальных сетей как на доказательство того, что раннее вмешательство было необходимо, прежде чем индустрия ИИ приобрела такую же необузданную мощь. Тем не менее, когда компании пригрозили уйти из штата, губернатор Калифорнии Гэвин Ньюсом отклонил законопроект.
Заняв пустоту бездействия Конгресса, президент США Джо Байден в прошлом году издал указ, обязывающий разработчиков передового ИИ делиться данными о тестировании безопасности с правительством и участвовать в «красных командах» в тестах безопасности. Избранный президент Дональд Трамп назвал указ угрозой «инновациям в области ИИ… свободе слова и процветанию человечества» и пообещал отменить его «с первого дня».
Но в то время как антирегулирующие импульсы Трампа обеспечили ему поддержку технологических олигархов, безопасность ИИ может попасть в повестку дня его второй администрации с Илоном Маском на ее внутренней орбите. «Супергений» — так Трамп окрестил основателя xAI и мегадонора Республиканской партии в ночь выборов, пригласив его позировать с большой семьей на победном фото.
Маск отстаивал провалившийся законопроект Калифорнии об ИИ против консенсуса в технологическом секторе и в прошлом году присоединился к более чем 1000 подписавших, призывающих приостановить создание мощного ИИ «цифровых разумов (вроде GPT-4), которые никто — даже их создатели — не может понять, предсказать или надежно контролировать». В письме предупреждается: «Мощные системы ИИ следует разрабатывать только после того, как мы будем уверены, что их эффекты будут положительными, а их риски — управляемыми».
Недавно назначенный Трампом царь эффективности готов стать его фактическим техническим советником. Тем не менее, с xAI, который присматривается к раунду финансирования, который может привести к росту его оценки до 40 млрд долларов США, Маск теперь так глубоко инвестирует в ИИ что, как и основатель Anthropic, он будет готов игнорировать те самые риски, о которых он когда-то предупреждал?
Потенциальная точка трения с Трампом может возникнуть из-за поддержки Маском открытого исходного кода ИИ — позиция, которая вызвала тревогу у некоторых китайских ястребов из-за опасений по поводу совместного использования мощных моделей ИИ, таких как Llama от Meta, уже используемых Народно-освободительной армией для военных целей. Недавно xAI выпустила код для своего чат-бота Grok, стремясь завоевать позиции на ChatGPT. Маск назвал лидера рынка, которым руководит Альтман, и соучредителем которого он был до ухода, «ClosedAI» и расхваливает демократические перспективы открытого исходного кода. Марк Цукерберг аналогичным образом сформулировал открытый выпуск Llama как дар человечеству, заявив в июле, что «открытый исходный код обеспечит большему количеству людей во всем мире доступ к преимуществам и возможностям ИИ, что власть не будет сосредоточена в руках небольшого числа компаний и что технология может быть развернута более равномерно и безопасно в обществе».
На практике Маск, вероятно, рассматривает открытый доступ к Grok как способ расширить свою базу разработчиков и охватить больше пользователей, снабжая xAI данными, необходимыми для совершенствования его технологий. Но, по крайней мере, будущий вице-президент Трампа подписался под этой философией. В мартовском посте на X Джей Ди Вэнс утверждает, что одна из самых больших опасностей ИИ — это «партизанская группа сумасшедших людей, использующих ИИ для заражения каждой части информационной экономики левыми предубеждениями», подчеркивая, что «решение — открытый исходный код».
■ ■ ■
На местном уровне правительство Албанезе сталкивается с таким же давлением, как и Ньюсом из Калифорнии, чтобы избежать введения предписывающих законов об ИИ в европейском стиле. В недавно представленном документе для обсуждения австралийское правительство также выдвинуло требование о введении аварийного выключателя для обеспечения безопасности систем ИИ. Потратив в прошлом году на консультации с технологической индустрией, правительство созвало в феврале консультативный орган по ИИ и, похоже, застряло в режиме ожидания, продолжая проводить дополнительные круглые столы. Но пока местное развитие застопорилось, глобальная гонка вооружений ИИ набирает обороты.
Поскольку правительства перегружены работой и не обладают достаточной квалификацией для решения этой задачи, критика со стороны представителей технологического истеблишмента становится крайне важной.
Но в то время как Хинтон и Google больше не могли сосуществовать, книга генерального директора Microsoft AI Мустафы Сулеймана «Грядущая волна» показывает, что можно продеть эту иголку. Сулейман, соучредитель Inflection AI, недавно приобретенной Microsoft, менее предписывает, чем Курцвейл с его хрустальным шаром; вместо этого он предвидит, что власть будет одновременно концентрироваться и децентрализоваться в течение грядущего десятилетия, вызывая широкомасштабные социальные и политические потрясения.
Сулейман предвидит, что больше власти перетечет в технологических гигантов. Между тем, некоторые правительства отреагируют на риск кибератак, спровоцированных пандемий и автоматизированных войн усилением наблюдения, используя призрак катастрофы для укрепления контроля. Китай, обнародовавший стратегию, чтобы стать лидером в области ИИ к 2030 году, выпускает в четыре раза больше научных работ по теме ИИ, чем США, большая часть которых посвящена наблюдению.
Однако Сулейман также ожидает, что власть расколется, поскольку правительства будут бороться за удовлетворение потребностей своих избирателей. Технологии заполнят пробелы; социальным группам, связанным идеологией, верой, культурой или идентичностью, станет намного проще создавать самодостаточные сообщества, а медицинские и образовательные системы станут дешевле и проще в реализации. Сулейман также предполагает, что передовая артиллерия станет работой стартапов или даже любителей из гаражей. Результат: сложные наступательные возможности перестанут быть только прерогативой национальных государств.
Летальное автономное оружие значительно снизит материальные затраты на войну. В то время как Курцвейл верит в сдерживание в стиле Холодной войны, Сулейман указывает, что взаимно гарантированное уничтожение рушится, когда нападающие неизвестны, а любой ноутбук может содержать алгоритм, изменяющий мир.
У Сулеймана есть фраза для нежелания технологий смотреть в лицо темным возможностям ИИ – это «ловушка пессимизма-отвращения», или наша склонность надевать шоры, когда нас охватывает страх. Как он пишет: «Наш вид не запрограммирован на то, чтобы по-настоящему бороться с трансформацией в таком масштабе, не говоря уже о возможности того, что технологии могут подвести нас таким образом».
■ ■ ■
Конечно, Курцвейл не запрограммирован таким образом. Он признает потенциал ИИ для событий уровня вымирания. Худший вариант? Случайное возникновение самовоспроизводящихся наноботов, запускающих неудержимую цепную реакцию, поглощающих биомассу Земли и превращающих все, что мы знаем, в «серую слизь». Но Курцвейл неустрашим, уверенный, что ИИ позволит нам справиться с угрозами, которые он создает. Его оптимизм относительно будущего работы столь же сомнителен. До сих пор новые технологии создавали возможности, делая существующие рабочие места устаревшими. Но поскольку технологии затмевают когнитивные способности человека, новые рабочие места вряд ли появятся так же быстро, как уволятся белые воротнички. Для Курцвейла все пути ведут к сингулярности, где человеческий и машинный интеллект сливаются. Он предсказывает, что сингулярность наступит к 2045 году, когда нанотехнологии интегрируют облачные нейроны, наш мозг станет более чем на 99,9 процента небиологическим, а наш разум расширится «во много миллионов раз». Он даже намекает на будущее лечение гендерной дисфории, отмечая, что трансгендерные люди теперь могут изменнять тело. Он добавляет: «Представьте, насколько больше мы сможем формировать себя, когда научимся программировать свой мозг напрямую».
Наноботы будут патрулировать наш кровоток, предотвращая болезни и восстанавливая стареющие ткани задолго до того, как проблемы станут заметны врачам. Курцвейл находит «здравую логику» в утверждении геронтолога Обри де Грея о том, что первый человек, доживший до 1000 лет, вероятно, уже среди нас. Наш вызов жить достаточно долго, чтобы достичь «скорости долголетия и убегания», когда исследования в области борьбы со старением и наномедицина добавляют по меньшей мере год жизни ежегодно.
Он ожидает, что в течение 20 лет наноботы проникнут в мозг, чтобы копировать воспоминания и личность, создавая биологического и психологического близнеца «Ты 2». Но слияние с суперинтеллектуальным ИИ — это всего лишь шаг: «как только наши мозги будут подкреплены на более совершенном цифровом субстрате, наши способности к самоизменению смогут быть полностью реализованы. Наше поведение может соответствовать нашим ценностям, и наша жизнь не будет омрачена и прервана недостатками нашей биологии. Наконец, люди смогут по-настоящему отвечать за то, кто мы есть».
Здание Курцвейла предполагает, что наше биологическое происхождение и эволюционная жесткость ограничивают аутентичность и самоактуализацию. Но может ли идентичность превзойти нашу биологическую машину, из которой возникают эмоции и сознание? Превзойти ее может означать потерю того, что делает нас людьми, сведя идентичность к простому программированию, а не к накоплению опыта. История изобилует режимами и идеологиями, которые пытались перестроить человечество в сторону совершенства, что приводило к катастрофическим результатам.
■ ■ ■
Философ Джон Грей помещает Курцвейла в трансгуманистическое движение, где религия перерабатывается как наука, а наука заменяет Бога. «Трансгуманисты верят, что люди по сути являются искрами сознания, которые могут избежать смертности, отделившись от разлагающейся плоти, в которой они оказались воплощены», — пишет Грей в «Семи типах атеизма». Трансгуманизм возрождает через науку трансцендентные стремления, которые наука погасила. Даже язык сингулярности имеет библейский подтекст: «Сингулярность перекликается с апокалиптическими мифами, в которых история вот-вот будет прервана событием, преобразующим мир».
Биографический документальный фильм Курцвейла 2011 года «Трансцендентный человек» начинается с признания, что он часто фантазирует о смерти: «Это такое глубоко грустное, одинокое чувство, что я действительно не могу его вынести. Поэтому я возвращаюсь к мыслям о том, как я не умру». Сегодня стремление 76-летнего человека избежать смерти более решительно, чем когда-либо, подкрепленное ускорением технологий и, возможно, его преклонные годы. Но краткосрочные перспективы ИИ и опасность для смертных, которые не будут криогенно сохранены, как Курцвейл, требуют иного анализа.
Сулейман бы провел красную черту вокруг разрешения возможностей ИИ, таких как автономия и рекурсивное самосовершенствование. Он утверждает, что ИИ следует обучать сомневаться в себе, запрашивать обратную связь и полагаться на человеческое суждение. В настоящее время модели представляют собой черные ящики с непрозрачным принятием решений, но разработка способов, с помощью которых ИИ сможет обосновывать свой выбор и раскрывать внутренние механизмы для проверки, имеет жизненно важное значение.
Сулейман подчеркивает необходимость большего количества исследователей безопасности ИИ, нишу, которую он описывает как «шокирующе маленькую». Поскольку технологии становятся все более мощными, дешевыми и широко распространенными, нам нужны влиятельные инсайдеры, такие как генеральный директор Microsoft AI, которые понимают, что технический прогресс несет человечеству чистый позитив, но также серьезно относятся к снижению вреда.
«Если волна не будет сдержана, это лишь вопрос времени», — предупреждает Сулейман. «Допустим возможность аварии, ошибки, злонамеренного использования, эволюции, выходящей за рамки человеческого контроля, непредсказуемых последствий. На каком-то этапе, в какой-то форме, что-то где-то выйдет из строя».
Вместо катастрофы, подобной Чернобылю или Бхопалу, это будет всемирное бедствие и «наследие технологий, созданных, по большей части, с самыми лучшими намерениями».
Бен Напарстек — генеральный директор издательства о стиле жизни Urban List и бывший руководитель Amazon.