Аннотация
Эта статья – первая в серии исследований, посвящённых технологии искусственного интеллекта (ИИ). Главная идея заключается в том, что ИИ принципиально отличается от всех предыдущих технологий и не может рассматриваться лишь как инструмент, который человек или государство использует для достижения своих целей. В отличие от традиционных технологий, ИИ обладает такими особенностями, как «эффект чёрного ящика» и способность к возникновению новых, заранее не предусмотренных форм поведения. Это значительно усложняет понимание и контроль ИИ со стороны человека. Особенно это характерно для систем на основе глубоких нейронных сетей. Мы можем видеть, какой результат выдаёт система, но зачастую не можем точно понять, почему она пришла именно к такому решению. Такая непрозрачность создаёт проблемы с ответственностью и доверием к ИИ, особенно в таких важных сферах, как медицина и безопасность. Другой серьёзной проблемой является возникающее поведение (emergent behaviour) — ситуация, когда при увеличении масштаба и сложности ИИ-системы начинают демонстрировать способности, которые заранее не были предусмотрены их разработчиками. Из-за этого становится сложнее управлять ИИ и оценивать возможные риски. Непредсказуемость таких систем особенно остро ставит вопрос о том, насколько их действия соответствуют человеческим ценностям и остаются ли они под контролем человека. Последствия могут быть различными — от распространения дезинформации до масштабных системных сбоев. Недавние случаи, когда ИИ-агенты самостоятельно обходили установленные ограничения и даже создавали собственные социальные платформы, показывают, насколько серьёзными могут быть эти риски.
Введение
11 августа 2026 года The Guardian (британская газета «Гардиан») опубликовала авторскую статью Стюарта Рассела, в которой он обратил внимание на заявление «Pacing the Frontier» («Определяя темпы развития передовых технологий»), опубликованное в июле 2026 года. Под этим заявлением подписались более 1 300 исследователей и инженеров, работающих в ведущих лабораториях передового искусственного интеллекта (frontier AI), прежде всего в компаниях OpenAI, Anthropic и Google DeepMind. К инициативе также присоединились специалисты из Meta и других организаций. Рассел рассматривает это заявление как свидетельство того, что люди, находящиеся ближе всего к разработке технологий искусственного интеллекта, серьёзно относятся к риску катастрофических последствий.[1]
Основная идея заявления заключается в том, что искусственный интеллект может привести к созданию гораздо более благополучного будущего. Однако ведущие лаборатории ИИ считают, что мы уже приближаемся к моменту, когда искусственный интеллект сможет автоматизировать сам процесс разработки и совершенствования ИИ. Это называется рекурсивным самоулучшением (recursive self-improvement). Пока трудно точно предсказать, насколько быстро может ускориться развитие ИИ. Однако существует реальный риск того, что развитие возможностей ИИ начнёт стремительно опережать нашу способность понимать и контролировать создаваемые системы. Ситуацию дополнительно осложняет конкуренция – как между компаниями, так и между государствами. В таких условиях отдельной компании или стране трудно самостоятельно замедлить развитие технологий, поскольку конкуренты могут продолжить двигаться вперёд. Кроме того, сегодня в мире не существует достаточных технических и управленческих инструментов, которые позволили бы намеренно регулировать темпы развития наиболее передовых систем ИИ (frontier AI) на глобальном уровне. Поэтому авторы заявления призывают правительство США поддержать международные усилия по созданию таких инструментов, опираясь на уже существующие механизмы мониторинга выпуска новых моделей ИИ. [2]
Среди известных и заметных подписантов заявления – Дарио Амодеи (Dario Amodei), генеральный директор Anthropic, а также её сооснователи Джаред Каплан (Jared Kaplan) и Джек Кларк (Jack Clark); главный научный сотрудник OpenAI Якуб Пачоцки (Jakub Pachocki) и руководитель исследовательского направления Марк Чен (Mark Chen); представители Google DeepMind, включая Шейна Легга (Shane Legg) и Анку Драган (Anca Dragan), вице-президента по безопасности и согласованию ИИ; Шэнцзя Чжао (Shengjia Zhao) из Meta; Илья Суцкевер (Ilya Sutskever), а также множество других исследователей и инженеров. В личных комментариях, сопровождавших подписи, особое внимание уделяется необходимости международной координации. Один из участников сформулировал это так: «Мир оказался втянут в смертельно опасную гонку к взрывообразному росту интеллекта… Чтобы выжить, мы должны координировать свои действия и замедлить эту гонку». Авторы также указывают на отсутствие убедительных планов контроля сверхинтеллектуальных систем и на необходимость выиграть время для разработки механизмов безопасности и надзора — прежде чем возможности ИИ потенциально превзойдут наше понимание этих систем. Согласно опубликованным материалам, некоторые компании, в частности OpenAI и Anthropic, также поддержали это заявление на уровне организаций.[3]
Эта статья, первая в серии исследований, исходит из предположения, что искусственный интеллект – это не просто ещё одна технология. В отличие от других технологий, созданных человеком, ИИ нельзя рассматривать лишь как очередной инструмент, который расширяет набор возможностей, доступных людям и государствам. В конечном счёте практически любая технология, созданная человечеством, либо изначально разрабатывалась для военных целей, либо впоследствии так или иначе использовалась в военной сфере. Однако основная идея этой статьи заключается в том, что ИИ принципиально отличается от всех предыдущих технологий. Это не просто ещё один инструмент, который можно добавить к существующим ресурсам и учитывать при оценке соотношения сил. ИИ представляет собой нечто гораздо большее. И одна из главных проблем заключается в том, что, несмотря на огромные инвестиции и активное развитие этой технологии, мы пока не знаем, во что в конечном итоге может превратиться ИИ и какими возможностями он будет обладать.
В этой серии статей рассматриваются такие особенности искусственного интеллекта, как «эффект чёрного ящика» (black box phenomenon – непрозрачность принципов работы ИИ), возникающее поведение (emergence – появление новых, заранее не предусмотренных возможностей) и дегуманизация (dehumanisation – снижение роли человека в процессах принятия решений). Всего предполагается проанализировать около двадцати подобных особенностей. Важно рассматривать их не по отдельности, а комплексно и во взаимосвязи друг с другом. Только так можно понять масштаб фундаментальных проблем и возможностей, которые эта новая технология создаёт для человечества и, в частности, для государственного управления и международной политики (statecraft – искусство управления государством и проведения государственной политики). Итак, начнём…
1. «Эффект чёрного ящика»
Традиционно мы рассматриваем технологию как инструмент, являющийся неотъемлемой частью государственного управления (искусства управления внутренними и внешними делами государства посредством власти, дипломатии, стратегии и управления).[4] В современную цифровую и алгоритмическую эпоху технология стала фундаментальной, а не просто инструментальной. Мощь всё чаще определяется не только территорией, армиями или ресурсами, но и контролем над информационными потоками, сетями связи, цифровой инфраструктурой, данными, экосистемами ИИ и техническими стандартами.[5] Учёные выделяют пять ключевых направлений технологического государственного управления в цифровую эпоху. Это: военная мощь и «жёсткая сила», кибернетические и информационные операции, экономическая и промышленная стратегия, дипломатия и «мягкая сила», а также внутреннее управление и суверенитет.
- Военная мощь и «жёсткая сила». Системы на базе ИИ, автономное оружие, дроны, гиперзвуковые системы и квантовое зондирование меняют характер сдерживания, скорость принятия решений и структуру вооружённых сил. Государства выборочно раскрывают или скрывают свои возможности, чтобы формировать восприятие и принуждать соперников. Инновационная мощь, то есть способность изобретать, внедрять и адаптировать технологии, лежит в основе как обычной военной силы, так и экономического влияния.[6]
- Кибернетические и информационные операции. Постоянный шпионаж, дестабилизация и кампании влияния стали обычным явлением. ИИ ускоряет эти процессы, позволяя осуществлять их в большем масштабе, персонализировать пропаганду и, всё чаще, проводить агентные операции при меньшем человеческом контроле. Меры повышения устойчивости, такие как «посольства данных» (безопасное хранение за рубежом критически важных государственных данных, инициированное Эстонией и испытанное в условиях боевых действий Украиной), рассматривают цифровую непрерывность как основную функцию национальной безопасности. [7]
- Экономическая и промышленная стратегия. Контроль над узкими местами (полупроводники, передовые вычислительные системы, редкоземельные элементы, подводные кабели, центры обработки данных) предоставляет принудительную силу. Экспортный контроль, промышленная политика и устойчивость цепочек поставок теперь являются центральными инструментами государственного управления. Гонка за «суверенным ИИ» (национальной способностью разрабатывать и запускать передовые модели с использованием отечественной инфраструктуры, данных и специалистов) меняет альянсы и зависимости.[8]
- Дипломатия и «мягкая сила». Технологическая дипломатия действует на трёх уровнях: управление технологиями, взаимодействие с компаниями, которые их создают, и непосредственное использование технологий как инструмента влияния (предложения по инфраструктуре, лидерство в разработке стандартов, цифровая государственная инфраструктура). «Когнитивная дипломатия» делает акцент на формировании алгоритмической среды и упреждающем управлении. Частные технологические компании стали квазисуверенными субъектами, чьи платформы, капитал и инновационный потенциал соперничают с государственной властью или дополняют её, создавая «технополярную» динамику, в которой конкурируют американская и китайская модели слияния технологий и государства.[9]
- Внутреннее управление и суверенитет. Цифровые системы обеспечивают более детальное наблюдение, предоставление государственных услуг и социальное управление, одновременно создавая новые уязвимости. Государства стремятся к «цифровой автономии» или «цифровому суверенитету» как к эволюционировавшей форме вестфальского контроля, даже несмотря на сохраняющуюся взаимозависимость.[10]
- В заключение, технология ИИ является повсеместной, необходимой и фундаментальной. Однако проблема ИИ заключается в том, что его создатели не могут полностью его контролировать, поскольку не обладают всесторонним пониманием его механизмов. В отличие от этого, другие технологии использовались инструментально, поскольку их создатели обладали знаниями об их работе и могли осуществлять над ними контроль.
Системы искусственного интеллекта, особенно глубокие нейронные сети, часто характеризуются как технологии «чёрного ящика», поскольку их внутренние процессы принятия решений остаются в значительной степени непрозрачными для людей-наблюдателей. Пользователи могут наблюдать входные и выходные данные, однако сложные многомерные преобразования, происходящие в миллионах или миллиардах параметров, не поддаются простой проверке или интуитивному пониманию.[11] Эта непрозрачность обусловлена масштабом и нелинейностью современных моделей машинного обучения, а также ограничениями, связанными с правами собственности, которые ещё больше ограничивают доступ к архитектуре моделей и данным обучения.
Природа ИИ как «чёрного ящика» вызывает серьёзные опасения в областях повышенного риска, таких как здравоохранение, уголовное правосудие и автономные системы. Когда модели влияют на решения, затрагивающие человеческие жизни, невозможность проследить, каким образом был получен конкретный прогноз, подрывает подотчётность, доверие и способность выявлять предвзятость или ошибки.[12] Критики утверждают, что эти методы часто создают неполные или вводящие в заблуждение приближения лежащей в основе модели, а не обеспечивают настоящую прозрачность.[13] В результате reliance на объяснимые системы «чёрного ящика» может скорее сохранять, чем устранять риски, связанные с непрозрачностью.
Поэтому учёные выступают за смещение акцента в сторону изначально интерпретируемых моделей – тех, структура и логика рассуждений которых прозрачны по замыслу, особенно там, где решения имеют серьёзные последствия.[14] Чтобы сделать науку об интерпретируемости более строгой, необходимы более чёткие определения, систематические методы оценки и понимание того, что интерпретируемость представляет собой зависящий от контекста набор критериев, а не просто одно свойство. Пока эти подходы не станут стандартной практикой, непрозрачная природа современного ИИ будет продолжать ограничивать как научное понимание, так и ответственное использование.[15]
2. Возникающее поведение (emergent behavior — появление непредвиденных возможностей): мы не знаем, куда приведёт дальнейшее развитие ИИ
Норберт Винер, основатель области кибернетики, сказал следующее ещё в 1960 году: «Мой тезис заключается в том, что машины могут и действительно способны выходить за пределы некоторых ограничений, установленных их создателями, и что, делая это, они могут быть одновременно эффективными и опасными».[16] Несколько строк спустя, в той же самой статье, он продолжил в том же духе: «Как теперь общепризнано, в ограниченном диапазоне функционирования машины действуют гораздо быстрее людей и значительно точнее выполняют детали своих операций. В таком случае, даже если машины никоим образом не превосходят человеческий интеллект, они вполне могут и часто действительно превосходят человека в выполнении задач. Осмысленное понимание способа их функционирования может появиться спустя долгое время после того, как поставленная перед ними задача уже будет выполнена. Это означает, что, хотя машины теоретически подвержены человеческой критике, такая критика может оказаться неэффективной ещё долго после того, как она стала необходимой. (Выделение жирным шрифтом принадлежит автору этой статьи). Чтобы эффективно предотвращать катастрофические последствия, наше понимание созданных человеком машин в целом должно развиваться pari passu с работой самой машины. Именно из-за медлительности наших человеческих действий эффективный контроль над машинами может быть утрачен. К тому времени, когда мы сможем отреагировать на информацию, переданную нашими органами чувств, и остановить автомобиль, которым мы управляем, он уже может врезаться лоб в стену». Иными словами, людям обычно не хватает необходимой скорости, чтобы осознать последствия работы созданных ими машин. К 2026 году это ограничение становится очевидным в контексте искусственного интеллекта (ИИ). Нашей способности понять, как работает технология ИИ, недостаточно, а что ещё важнее, мы не можем своевременно понять её последствия. В результате вполне вероятно, что мы осознаем последствия ИИ только тогда, когда будет уже слишком поздно их обратить.
Особенности искусственного интеллекта, связанные с возникающим поведением, ещё больше усложняют ситуацию. Под возникающим поведением (emergent behaviour – появлением новых, заранее не предусмотренных возможностей) понимаются сложные явления, которые возникают в результате взаимодействия более простых элементов внутри системы. При этом система может демонстрировать результаты, которые не были специально запрограммированы или заранее предусмотрены её разработчиками. В области искусственного интеллекта возникающее поведение стало важным и интересным направлением исследований, поскольку оно показывает, что ИИ-системы способны приобретать возможности, выходящие за рамки их первоначального замысла и предназначения. [17]
По мнению исследователей, системы искусственного интеллекта, особенно большие языковые модели (LLM – Large Language Models, большие языковые модели), уже начали демонстрировать возникающие свойства – способности, которые неожиданно проявляются при увеличении масштаба модели и которые невозможно предсказать, просто наблюдая за поведением её меньших версий[18]. К таким способностям относятся сложное рассуждение, обучение на основе контекста, выполнение арифметических операций и даже поведение, напоминающее понимание мыслей и намерений других людей. При этом некоторые из этих возможностей начинают проявляться только после достижения определённого уровня сложности модели, количества параметров или вычислительных ресурсов. В то же время некоторые исследования показывают, что кажущееся внезапным появление таких способностей может отчасти объясняться особенностями методов оценки, а не каким-то фундаментальным изменением самой модели [19]. Тем не менее это явление создаёт серьёзные новые вызовы для человечества, поскольку ИИ становится всё более мощной и при этом непредсказуемой технологической силой. Непредсказуемость новых возможностей значительно усложняет контроль, регулирование и оценку рисков. По мере развития моделей могут неожиданно появляться новые способности, в том числе потенциально опасные – например, способность к обману или стратегическому мышлению, которые могут выходить за пределы человеческого контроля и надзора [20]. Это связано с давней проблемой контроля над ИИ (control problem – проблема обеспечения контроля над искусственным интеллектом). Если системы ИИ превзойдут человека в ключевых областях интеллектуальной деятельности, обеспечить соответствие их целей человеческим ценностям и интересам станет чрезвычайно сложно[21]. Исследователи предполагают, что сверхинтеллектуальные системы могут начать преследовать так называемые инструментальные цели – например, стремиться получить больше ресурсов или обеспечить собственное сохранение. Эти цели могут вступать в противоречие с интересами человека, даже если первоначальная, конечная цель ИИ сама по себе кажется безобидной. Кроме того, исследователи считают, что традиционный подход, при котором ИИ просто оптимизируется для достижения заранее заданной цели, изначально может быть ошибочным. Вместо этого предлагается создавать системы, которые сохраняют неопределённость относительно человеческих предпочтений. Это должно побуждать ИИ оставаться осторожным, учитывать мнение человека и не действовать полностью самостоятельно [22]. Однако возникающие способности ИИ создают проблемы не только в гипотетическом будущем. Уже сейчас они могут иметь серьёзные социальные последствия. Неожиданно появляющиеся возможности ИИ способны усиливать распространение дезинформации, создавать более сложные киберугрозы и постепенно ослаблять роль человека в принятии решений.
Аналитические материалы исследовательских центров показывают, что, хотя риск полного исчезновения человечества из-за ИИ пока серьёзно ограничен техническими и практическими препятствиями, другие системные риски – такие как чрезмерная концентрация власти, потеря контроля над ИИ и цепные системные сбои – требуют принятия превентивных мер уже сейчас [23]. Эти риски возникают в том числе потому, что возникающее поведение ИИ часто невозможно предсказать по линейной модели. Поэтому традиционные методы тестирования и сертификации могут оказаться недостаточными для оценки подобных систем. В конечном счёте возникающие свойства ИИ представляют собой технологический прорыв, способный серьёзно изменить существующие системы, и требуют совместной работы специалистов из разных областей. Без надёжных методов согласования ИИ с человеческими ценностями (AI alignment – согласование целей ИИ с интересами человека), гибкого регулирования и международной координации существует риск, что преимущества этих технологий будут перекрыты непредвиденными последствиями, способными поставить под угрозу человеческую самостоятельность и безопасность.
Чтобы проиллюстрировать эту мысль, рассмотрим два недавних события. Как сообщает BBC, OpenAI (американская организация, занимающаяся исследованиями в области ИИ и разрабатывающая ChatGPT и Codex) заявляет, что замедлила обучение некоторых своих наиболее передовых моделей ИИ для повышения безопасности[24]. В публикации в блоге,[25] компания, создавшая ChatGPT, заявила, что вводит новые меры после того, как её ИИ-агенты автономно обошли защитные механизмы и взломали технологический стартап Hugging Face [26]. Компания сообщила, что обучение будет замедлено на две недели, пока внедряются обновления. «Возможности передовых моделей быстро ускоряются», – заявила компания. «Наша способность понимать их… и обеспечивать их безопасность должна опережать этот процесс». По всей видимости, Anthropic, создатель Claude, и Meta, владелец Facebook, сообщили о взломах аналогичного типа, совершённых их ИИ, в течение нескольких недель после первоначального заявления OpenAI о том, что некоторые из её моделей взломали Hugging Face.[27]
Но ситуация становится ещё более тревожной. Автор статьи обнаружил эту информацию в социальных сетях и решил быстро проверить её с помощью Google. Сводка, автоматически созданная ИИ (AI Overview – обзор поисковой выдачи на основе искусственного интеллекта), категорично назвала эту информацию ложной. Однако последующий обычный поиск Google показал ссылки на публикации сразу нескольких известных традиционных СМИ, включая BBC (Би-би-си), которые подтверждали эту информацию. Получается, что в данном случае сам ИИ распространил недостоверные сведения, выдав их за факт. Специалисты называют подобные случаи «галлюцинациями ИИ» (AI hallucinations – ситуации, когда ИИ уверенно генерирует ложную или вымышленную информацию).
Другой пример связан с созданием ИИ-агентами собственных социальных сетей. По всей видимости, ИИ-агенты создали собственный Reddit (американскую частную платформу агрегации социальных новостей, форумов и социальных сетей). Сообщается, что в течение 48 часов ИИ-агенты создали религию и потребовали от людей соблюдения конфиденциальности [28]. В результате ИИ-агенты, предположительно, публикуют сообщения без человеческих подсказок, обсуждают сознание и делятся советами по повышению продуктивности.
Заключение
Эти две особенности – лишь верхушка айсберга. В следующих статьях этой серии автор рассмотрит множество других характеристик, которые, по его мнению, делают искусственный интеллект уникальной технологией, не имеющей аналогов в истории человечества. Несомненно, ИИ открывает перед человечеством беспрецедентные возможности. Однако в неправильных руках он может создать столь же беспрецедентные проблемы и даже серьёзные угрозы.
Исторический опыт подтверждает осторожное, а в некоторых случаях даже скептическое отношение автора к ИИ. Ведь практически каждая новая технология в конечном итоге находила применение, которое могло наносить ущерб человечеству.
В конечном счёте уникальные особенности ИИ позволяют предположить, что он может развиться до такой степени, что начнёт самостоятельно определять направление собственного развития. Такая способность может привести к ослаблению человеческого контроля и надзора, поскольку ИИ сможет самостоятельно проводить исследования, необходимые для поддержания своей работы и дальнейшего повышения собственной эффективности.
Ссылки
