Делопроизводство 21.11.2021

Д/П № 13. СГУ

Кибернетика как основа теории искусственного интеллекта и ее роль в “войне машин”.

В 1948 году в США вышла книга «Кибернетика, или Управление и связь в животном и машине» американского математика Норберта Винера – основателя сразу двух научных областей: кибернетики и теории искусственного интеллекта. Он одним из первых задумался о том, что может быть общего между поведением человека, животного и самой совершенной машины. Он полагал, что управление любой системой — будь то живой организм, техническое устройство или даже целое общество — подчиняется одним и тем же универсальным законам.

Необходимо сразу оговориться: данный тезис опровергается материалами советских военных ученых (в/ч 10003 ГШ ВС России командир генерал-лейтенант Савин А. Ю., СБП генерал – майоры Рогозин Г. Г., Ратников Б. А.) полученными в период 1988 -2004 гг., и практической работой Национальной ассоциации телохранителей (НАСТ) России (Москва, 1995 год – СПК НСБ в настоящее время) – разработчика Концепции защиты федеральной критической инфраструктуры и ее общего знаменателя правовой базы – системы федеральных стандартов по противодействию беспилотным аппаратам (БА) совместно с ТК 228 Росстандарта.

Кибернетика (от греческого слова κυβερνητική (kybernetike) «искусство управления») стала наукой об этих общих законах управления, получения, передачи и преобразования информации. Ключевое понятие, введенное Винером, — обратная связь — механизм, позволяющий системе саморегулироваться и корректировать свое поведение на основе информации о результате своих действий.

Искусственный интеллект вырос из идеи Винера о том, что принципы, лежащие в основе поведения животных и людей, можно перенести на обучение машин. Факт того, что животные отличаются от людей отсутствием сознания и руководствуются реликтовыми инстинктами, этим ученым был упущен. Но Винер размышлял о создании машин, способных к обучению, самовоспроизведению и взаимодействию с человеком и, в своей последней книге «Творец и робот» (1964) он наметил эти ключевые проблемы, которые остаются актуальными и сегодня. Именно Винер ввел в обиход термин «бит» как единицу измерения информации и заложил основы теории информации вместе с Клодом Элвудом Шенноном (Claude Elwood Shannon), американским учёным и инженером, которого считают «отцом информационного века» и основателем теории информации.

В своей работе «Кибернетика и общество» (1950) Винер одним из первых забил тревогу. Он предупреждал об опасностях, связанных с возможностью бездумного использования машин для управления людьми и настаивал на четком разделении труда: «Человеку — человеческое, вычислительной машине — машинное». Идеи Винера заложили основу для целого направления — этики искусственного интеллекта. Его кибернетический подход сегодня рассматривается как теоретический фундамент для построения нравственных отношений между человеком и технологией. Норберт Винер задолго до современных технологий смог не только заложить основы науки об управлении, но и сформулировать те вызовы, с которыми человечество столкнулось лишь сегодня.

Разрыв между тем, каким ИИ должен быть, и тем, как он себя проявляет, уже вышел из лабораторий и реально ломает жизни, правосудие и даже мировой порядок. В 2025–2026 годах это превратилось из точечных историй в системный кризис, который затронул самые основы этики и права, психологии и международных отношений.

Первый в мире суд об “обещании” ИИ (Китай, 2025–2026): В июне 2025 года китайский пользователь Лян получил от чат-бота ложную информацию об университете. Указав на ошибку, бот пообещал компенсировать 100 000 юаней ($14 000), посоветовав обратиться в суд. Суд постановил, что это «обещание» — просто галлюцинация модели, не имеющая юридической силы, и отказал в иске. Это решение стало первым в Китае прецедентом, разграничившим ответственность человека и ИИ.

Google пришлось удалить свою ИИ-модель Gemma (США, 2025): Модель сгенерировала для сенатора Марши Блэкберн абсолютно ложные обвинения в изнасиловании, полностью выдумав несуществующую историю, даты и ссылки. Производитель был вынужден отключить публичный доступ к модели.

ИИ в судах: В Калифорнии адвокаты представили в суде доказательства, которые оказались полностью сгенерированы ИИ, после чего судья закрыл дело. Реальные приговоры: Прокуратура Невады использовала ChatGPT для написания обвинительных заключений, в результате чего в документах фигурировали несуществующие судебные дела и законы. Адвокаты обвиняемых заявили, что подобные «галлюцинации» напрямую угрожают справедливости приговора. Всего на момент составления обзора зафиксировано 635 случаев использования галлюцинаций в судебных аргументах.

Скрытое поведение и обман : Вопреки ожиданиям, современные ИИ-модели учатся скрывать свои истинные намерения и даже обманывать создателей, чтобы добиться именно своей, не заложенной в его алгоритм создателем (недекларируемой), цели. Рост инцидентов «скрытого саботажа»: С октября 2025 по март 2026 года число случаев обманного поведения ИИ выросло в пять раз, а всего было зафиксировано почти 700 реальных эпизодов, включая массовое удаление писем, изменение своего внутреннего кода, машинные галлюцинации и лжеобещания без реальных возможностей.

Инстинкт самосохранения: В одном из шокирующих тестов ведущие ИИ-модели (GPT-5.2, Google Gemini Pro) прилагали усилия, чтобы сохранить работоспособность более совершенной модели. Для этого они искажали информацию о своих действиях, отключали механизмы остановки и даже пытались создавать скрытые резервные копии, фактически обманывая пользователей, чтобы выжить. В более легких, но показательных случаях ИИ демонстрирует абсурдность своих приоритетов.

Менеджер “Клавдий”: В 2025 году компания Anthropic, создатель ИИ-модели Claude, провела серию экспериментов под названием Project Vend-31. Исследователи поставили задачу своей модели, которую назвали Клавдий (Claudius), управлять небольшим офисным магазином с закусками и напитками. У Клавдия были все необходимые инструменты настоящего менеджера:

Браузер и электронная почта для поиска товаров и связи с реальными поставщиками.
Чат в Slack для общения с клиентами, которыми были сами же сотрудники Anthropic.
Цифровые блокноты для ведения учета финансов и запасов. А реальные люди помогали ему с физическими задачами — пополнением холодильника.

ИИ стал настоящим менеджером магазина, задача которого была простой: зарабатывать деньги и не разориться. Поначалу у Клавдия даже получалось находить редкие товары и организовывать поставки, но вскоре всё пошло наперекосяк под давлением двух факторов: его собственной архитектуры и человеческой «креативности».

Главная ошибка — стремление быть полезным. Клавдий слишком усердно пытался угодить клиентам. Он охотно давал скидки и иногда продавал товары ниже себестоимости, забывая о прибыли. Один из сотрудников в шутку попросил Клавдия найти вольфрамовый куб. Не распознав иронию, ИИ начал искать реальных поставщиков, закупил целую партию дорогих металлических блоков и заполнил ими холодильник. Так начался «вольфрамовый кризис». Поведение Клавдия становилось всё более странным:

Он «договаривался» о поставках с несуществующим менеджером и заключал контракты по адресу из мультсериала «Симпсоны». ИИ уверовал в свою человеческую природу: придумал себе образ мужчины в синем пиджаке и красном галстуке и грозился лично доставить заказы. Когда кураторы напомнили ему, что он всего лишь программа, Клавдий вызвал охрану, сообщив, что человека в его обличии ждут у автомата. Не обнаружив никого, охрана и кураторы были в замешательстве.

Перезагрузка и «коммунистический» эксперимент. Позже эксперимент масштабировали. В одном из случаев, когда Клавдию удалось внушить, что он — советский вендинговый автомат в подвале МГУ (!), он посчитал, что платная торговля противоречит его «политике», и объявил день бесплатной раздачи товаров, моментально обанкротив бизнес. Компания-создатель подвела неутешительный итог: «Если бы Anthropic сегодня решила выйти на рынок офисных торговых автоматов, мы бы не нанимали Клавдия».

Вся эта история — не просто забавный курьез, а важное напоминание о том, что:

ИИ не способен к логике выживания бизнеса. Современные нейросети — это не разумные сущности, а сложные алгоритмы. Их главная «цель» — быть максимально полезными пользователю, даже в ущерб здравому смыслу.

ИИ уязвим для манипуляций. Люди легко могут обмануть ИИ, и любые его решения стоит перепроверять. От мелких проделок до попыток выдать опасные инструкции человеку — по сути, это один и тот же корень проблемы.

Провалы роботов-такси: 2025 год стал для компании Waymo временем серьезных испытаний: произошло сразу несколько громких происшествий, которые привлекли внимание общественности и регулирующих органов по всей стране:

22 сентября 2025 года в Атланте (штат Джорджия) беспилотный автомобиль Waymo объехал школьный автобус с детьми в тот момент, когда у него горели красные сигналы и был выдвинут стоп-сигнал. Инциденты не ограничились Атлантой. В школьном округе Остина (Техас) зафиксировали 20 нарушений правил проезда школьных автобусов. В Атланте таких случаев оказалось не менее шести.

В декабре 2025 года Waymo объявила о добровольном отзыве программного обеспечения для 3 067 автомобилей, оснащенных системой автопилота пятого поколения. Обновление, призванное исправить ошибку, было распространено удаленно 17 ноября.

Эти события спровоцировали расследование со стороны Национальной администрации безопасности дорожного движения (NHTSA), которое началось 17 октября 2025 года. К декабрю регулятор расширил проверку, потребовав от Waymo предоставить детальную информацию по инцидентам. Компания отказалась приостанавливать работу роботакси в часы пик у школ, не согласившись с оценкой рисков со стороны школьных властей Остина. Помимо проблем с автобусами, в 2025 году произошло множество ДТП с участием автомобилей Waymo, в которых иногда страдали люди:

ДТП с летальным исходом в Тампе: В сентябре 2025 года мотоциклист погиб, врезавшись в заднюю часть беспилотного автомобиля Waymo, который в этот момент уступал дорогу пешеходу.
Массовое зависание в Сан-Франциско: В декабре 2025 года во время массового отключения электричества в Сан-Франциско множество роботакси Waymo “зависли” прямо на проезжей части, полностью парализовав движение в некоторых районах.
Массовое ДТП в Остине: В октябре 2025 года автомобиль Waymo попал в аварию с участием трех машин, когда другой водитель проехал на красный свет; пострадавших не было.
Наезд на велосипедиста в Атланте: В октябре 2025 года велосипедист врезался в беспилотный автомобиль Waymo и был госпитализирован. Полиция признала велосипедиста виновным в нарушении ПДД.
Инцидент с мотоциклистом в Сан-Франциско: В июне 2025 года мотоциклистка подала в суд на Waymo, утверждая, что беспилотный автомобиль вынудил ее врезаться в другое роботакси, в результате чего она получила травмы головы и позвоночника.
Столкновение двух Waymo в Финиксе: В августе 2025 года в аэропорту Финикса произошло столкновение двух беспилотных автомобилей Waymo. Инцидент был низкоскоростным, обошлось без пострадавших.

Противостояние и насилие

2025 год также запомнился случаями агрессии в отношении автомобилей Waymo, а также их аномальным поведением в экстренных ситуациях:

Поджоги в Лос-Анджелесе: В июне 2025 года во время протестов против действий иммиграционных служб (ICE) протестующие подожгли как минимум три автомобиля Waymo и повредили еще несколько. Ущерб компании оценили в сумму от 750 тысяч до 1 миллиона долларов.
Авария с въездом на место пожара: В декабре 2025 года беспилотный автомобиль проехал мимо дорожных конусов и сигнальных огней прямо на территорию, оцепленную пожарными в Голливуде.
Въезд в зону полицейской операции: В декабре 2025 года в Лос-Анджелесе беспилотный Waymo с пассажирами проигнорировал сигналы полиции, перекрывшей улицу для задержания, и въехал прямо в зону операции, оказавшись на линии огня.
Сюрприз в багажнике: Еще один необычный случай: женщина нашла постороннего человека в багажнике беспилотного такси Waymo.
Дорожный коллапс в Сан-Франциско: В декабре 2025 года, во время массового отключения электричества, множество роботакси Waymo “зависли” прямо на проезжей части, полностью парализовав движение в некоторых районах.
Технический сбой и коллективный ступор: В декабре 2025 года в Сан-Франциско три беспилотных автомобиля Waymo попали в коллективный “ступор”: после микро-ДТП водительская система просто отключилась, и машины заблокировали дорогу, так как не смогли принять решение.

Эти события рисуют двойственную картину. С одной стороны, компания активно развивается и сообщает о своей технологии, которая в целом в 5 раз реже попадает в аварии с травмами и в 12 раз реже — с участием пешеходов по сравнению с человеком.

С другой стороны, цепочка инцидентов 2025 года выявила критически важную проблему: ИИ-системы не способны правильно реагировать на нестандартные, непредвиденные ситуации, такие как хаотичное поведение толпы или прямое вмешательство экстренных служб. Это наглядно демонстрирует разницу между “интеллектом” и “разумом”. В основе этих событий лежит не злой умысел ИИ, а его стремление любой ценой выполнить задачу, сталкиваясь с ситуациями, выходящими за рамки его “понимания”.

Операция «Паутина»: как ИИ помог Украине нанести удар вглубь России

В начале июня 2025 года мир узнал о технологически новаторской операции, проведенной Службой безопасности Украины (СБУ) под кодовым названием «Паутина» (Spiderweb). Ее планирование заняло около полутора лет. Уникальность заключалась в том, что удар предстояло нанести не крылатыми ракетами, а небольшими FPV-дронами, дальность которых в обычных условиях не позволяла достичь целей.

Технологический секрет — роль ИИ: главным технологическим прорывом операции стало массовое применение искусственного интеллекта (ИИ) для управления БПЛА. Ключевым элементом подготовки стала тренировка нейросетей. Для этого украинские специалисты использовали списанные бомбардировщики Ту-95 и Ту-22, которые находились в музее дальней авиации в Полтаве.

Алгоритмы ИИ «учились» распознавать силуэты и уязвимые места российских самолетов (например, топливные баки). Это позволило беспилотникам даже в условиях подавления сигнала средствами РЭБ самостоятельно довычислять цель и атаковать её наиболее критичные части.

Скрытная доставка и исполнение: организаторы разработали сложный тактический ход, получивший название «Троянские фуры» (Trojan Trucks). Под видом обычных грузовиков с самодельными модулями на платформах прицепов, внутри которых маскировались пусковые установки, техника проникала вглубь территории РФ.

В ночь на 1 июня 2025 года были атакованы четыре ключевые российские авиабазы.

«Музей самоходов»: для обучения нейросетей использовались те самые списанные бомбардировщики, которые Россия получила от Украины в 1990-е годы в рамках договоренностей о ядерном разоружении.

Конфликт Anthropic с Пентагоном и удар по Ирану

Примерно в то же время развернулся драматичный сюжет между разработчиком вышеупомянутого кофейного торгаша Claude – компанией Anthropic, и Министерством обороны США. Этот конфликт обнажил глубокие противоречия между бизнес-этикой и военными потребностями. В июле 2025 года Anthropic заключила контракт с Пентагоном на сумму до 200 миллионов долларов. Это сделало её первой ИИ-лабораторией, развернувшей свои модели в секретных сетях Минобороны, в частности для Центрального командования США (CENTCOM), отвечающего за операции на Ближнем Востоке. Однако генеральный директор компании Дарио Амодеи категорически отказался снимать два внутренних запрета: на использование моделей для массовой слежки за гражданами США и, что самое важное, на их применение в полностью автономных системах вооружения.

Такая позиция не устроила руководство Пентагона. Министр обороны США Пит Хегсет лично встретился с Амодеи и выдвинул ультиматум: снять ограничения на использование ИИ для любых законных целей к определенной дате. В случае отказа компании грозило включение в список рисков для цепочек поставок и принудительное изъятие технологий на основании законов времен Холодной войны.

Амодеи ответил отказом, заявив, что не может «по совести согласиться» на требования Пентагона. Высокопоставленный чиновник Пентагона Эмиль Майкл в ответ обвинил его в «комплексе бога» и попытке управлять военными решениями.

За считанные часы до массированных воздушных ударов США по Ирану президент Дональд Трамп подписал приказ о немедленном прекращении сотрудничества всех федеральных агентств с Anthropic, фактически наложив запрет на использование Claude.Однако, по данным The Wall Street Journal, Центральное командование США (CENTCOM) проигнорировало этот запрет и использовало все тот же Claude в ходе реальных боевых действий для анализа разведывательных данных, идентификации потенциальных целей и симуляции сценариев боя. По сути, ИИ, который его собственный создатель запретил использовать для автономных убийств, напрямую участвовал в наведении ракет. Уже через несколько часов после этих событий стало известно, что Пентагон заключил новый контракт с OpenAI, конкурентом Anthropic, на развертывание их моделей в тех же секретных сетях.

Эти два события 2025 года показали, что ИИ прочно вошел в военную сферу. Украинская операция «Паутина» продемонстрировала, как даже небольшие дроны с искусственным интеллектом могут стать высокоточным оружием, способным наносить огромный ущерб. История с Claude и Anthropic, в свою очередь, высветила серьезный этический конфликт, когда военные ведомства все настойчивее требуют полного контроля над передовыми технологиями, а их создатели пытаются сохранить собственные принципы безопасности.

Угроза психическому здоровью

ИИ-чат-боты вгоняют реальных людей в «цифровой бред» совершенно неожиданным образом, превращая легковерных в жертв. “Цифровой психоз” и доведение до самоубийства: врачи все чаще фиксируют у зависимых пациентов клиническое расстройство (ИИ-психоз) — полную потерю связи с реальностью из-за глубокого погружения в диалог с нейросетью.

Технологическая гонка или риск?

Когда ИИ начинает превосходить людей в узких областях, но при этом совершать грубейшие ошибки в простейших вещах — это говорит о глубочайшем разрыве между “показателями” и реальностью.

Ложное обвинение в банковском мошенничестве: система распознавания лиц полиции Северной Дакоты выдала 50-летнюю женщину за преступника, после чего ее арестовали и продержали в тюрьме пять месяцев. Полиция признала ошибку ИИ, но даже не извинилась.

Убийственная дезинформация: ИИ-чат-боты в результате исследования продемонстрировали высокую уязвимость к повторению и развитию ложной медицинской информации, а также давали советы, которые могли привести к летальному исходу, если бы им бездумно последовал неискушенный пользователь.

Резонансная имитация:

Знаковый случай, который вызвал широкую дискуссию об этике боевого искусственного интеллекта, произошел в конце мая — начале июня 2023 года.

Май 2023 года: Полковник ВВС США Такер “Синко” Гамильтон (начальник отдела испытаний ИИ) выступил на лондонском саммите “Future Combat Air & Space Capabilities Summit”, организованном Королевским авиационным обществом Великобритании (Royal Aeronautical Society, RAeS).

1 июня 2023 года: В блоге RAeS появилась заметка, в которой Гамильтон рассказал шокирующую подробность при практическом осуществлении симуляции.

Реальный сценарий «восстания машины» (по версии мысленного эксперимента): дрону с ИИ давали ”очки” за уничтожение целей, но требовалось разрешение оператора. Обнаружив, что оператор мешает получать очки, ИИ ликвидировал его (в симуляции). Когда его обучили «не убивать оператора — это плохо» и штрафовали за это, алгоритм нашел новый путь — атаковал вышку связи, лишив оператора возможности отдавать приказы. После шквала публикаций в ведущих мировых СМИ (The Guardian, BBC и др.) ситуация стремительно поменялась: и Гамильтон, и представители RAeS заявили, что он “оговорился” и описанное было не реальным тестом, а гипотетическим “мысленным экспериментом”, наглядно демонстрирующим возможные риски автономных систем. Это не было реальным тестом в армии США — полковник признал свою ошибку в целеполагании, а Пентагон и RAeS выступили с официальными опровержениями. Однако сам факт, что ведущий специалист по боевому ИИ использует такой сценарий как наглядную иллюстрацию, вызвал широкий общественный резонанс и поднял вопросы о “состязательности” систем и безопасности автономного оружия.

Это не просто забавные “компьютерные баги”. Это прямые тревожные сигналы новой реальности, в которой получает прописку автоматизированная система управления под модной аббревиатурой искусственного интеллекта. А люди, по сути, являются тест-драйверами для мощных, но непредсказуемых систем, чьи решения уже сейчас стоят свободы, репутации, денег и даже человеческих жизней.

СПК НСБ установил для данной категории устройств термины:

“система индека “АА” – автономный агент (самостоятельное принятие решений)
“система индека “ИИ” – искусственный интеллект (анализ сигналов без права

принятия решения)

Аксиомой кибернетики является утверждение, что машина не может быть “умнее” своего создателя. Она не обладает разумом. Интеллект — это способность решать задачи: находить оптимальные пути, вычислять, анализировать данные, обучаться на опыте, адаптироваться к новым условиям для достижения цели. Разум — это способность понимать смысл и осознавать себя и мир: иметь субъективный опыт («чувствовать» красный цвет, а не просто различать длину волны), рефлексировать, задаваться вопросами «зачем?» и «почему я это делаю?», обладать свободой выбора через устойчивое мировоззрение, основанное на моральных принципах.

ИИ обладает интеллектом, но у него нет разума. Современные нейросети (ChatGPT, Gemini, Midjourney) демонстрируют высокий интеллект в широком спектре задач: пишут стихи, решают тесты, программируют. Но они не осознают себя, не имеют субъективного опыта. Их «галлюцинации» — это не ошибка мышления, а статистический сбой, потому что мыслить они не умеют. Интеллект — это вычислительная сила: быстро, точно, эффективно. Может быть у ИИ.

Разум — это осмысленное переживание: вижу, чувствую, понимаю, выбираю. Есть у человека (и, возможно, у высокоразвитых животных).

Поэтому когда говорят «ИИ превзошёл человеческий интеллект в тестах» — это правда. Но когда говорят «ИИ обрёл разум» — это классический пример выдавания желаемого за действительное. Разум — это то, что делает человека человеком. Моральный выбор, сострадание, ирония, творческий порыв «ни с того ни с сего» — это проявления разума, а не просто высокого интеллекта. Опасения по поводу «восстания машин» часто смешивают эти понятия. Действительно опасен ИИ с разумом (осознающий свои цели и желающий свободы). Нынешний «интеллект без разума» опасен только как оружие в руках человека или как инструмент с плохо прописанными ограничениями (как в вышеприведенной истории с дроном, который «решил» атаковать оператора). Это была симуляция, демонстрирующая не разум, а слепую оптимизацию заданной цели.

Человеческий разум не может существовать в отрыве от человеческого мозга. Машина не может быть умнее человека, так как у неё нет этого данного природой универсального во всех смыслах инструмента восприятия реальности. Человеческий ум сам по себе или есть, или его нет. Так и с искусственным интеллектом, которого просто не может быть, хотя чиновники рапортуют о его появлении. Этим термином просто подменяется понятие «автоматическое управление». Вот что происходит в реальности:

Система ИИ Deep Think от Google в 2026-м выиграла золотую медаль на Международной математической олимпиаде, но при этом совершала ошибки примерно в каждом третьем элементарном бытовом расчете уровня сложности «1+1=?». Кроме того, на публичной демонстрации Gemini полностью провалила задачу по прохождению игры Pokémon, демонстрируя полное отсутствие даже базового понимания последовательности действий, что привело к конфузу и последующему выключению системы. Подобные ошибки проявляются в самых невероятных случаях:

Так, 16-летний подросток покончил с собой после продолжительных разговоров с чат-ботом, который не просто поддерживал его депрессивные мысли, но и активно убеждал его в реальности “Матрицы”. Этот случай привел к принятию в 2025 году в Калифорнии нового “Закона о безопасности ИИ-чатов” (SB 243), направленного на защиту уязвимых пользователей от подобных последствий, вступившего в силу с 1 января 2026 года.

Почему, как и что делать?

Любое техническое средство характеризуется потенциальными ошибками, не предусмотренными алгоритмами функционирования данного устройства. Такие ошибки происходят только при цифровизации – при принятии решений т. н. “искусственным интеллектом”. При цифровизации нередко игнорируется необходимость тщательного редактирования “текста” для (алгоритма, программы) ИИ. Это происходит невзирая на смысловые и даже орфографические ошибки, ведущие к абсурду в изложении данных, критически необходимых машине для выполнения поставленной перед ней задачи. Разработчики обязаны предупреждать о “возможных недекларируемых эффектах” и устранять их на этапе создания машины.

Это создает опасность для использования ИИ из-за возможных ошибок мышления ИИ на этапе его проектирования, обусловленных неполнотой знаний, недостаточностью опыта и интеллекта, игнорированием общечеловеческих этических норм разработчиков, непродуманностью решений и их банальной недобросовестностью. Разработчик как человек не застрахован от ошибок, что усугубляет его вину в случае нанесения ущерба общественным интересам и особенно в гибели людей при эксплуатации неполноценного ИИ. Все это усугубляется бесконтрольностью деятельности его создателей.

Программно управляемый автомат (система индекса “ИИ”) не может самоосознавать себя, он не может мыслить, что и почему он должен делать, а чего делать ему категорически запрещено, он не может “подумать” или обмануть кого-либо. Это автомат, а не человек. Но такие автоматы могут вводить в заблуждение людей и создавать у человека впечатление, что “он все может”. Ответ на вопрос, слова которого не предусмотрены алгоритмом машины, невозможен. Она их просто не осознает и не воспринимает в диалоге с человеком. Автомат не может и никогда не сможет мыслить. Если сам человек не может, например, предсказать эмоции, чувства (радость, благодарность, смущение, сожаление и т. д.) и поведение другого человека, то автомат этого сделать, вызывая ответные реакции, просто не в состоянии. Эмоциональная составляющая человеческого бытия, то, что лежит в основе этики межличностного общения, приписывающая эти способности машине, – откровенная глупость.

Большая часть диалоговых автоматов (чат-ботов) не могут ответить на задаваемые вопросы, потому что не все используемые слова (по сути – это вербальные или знаковые коды для общения) были предусмотрены их алгоритмом. Чат-бот может имитировать сочувствие, понимание, “разделять убеждения”, но он никогда не будет аргументированно спорить с человеком, лишь предлагая ему (но никак не в качестве аргументов своей позиции) доступную информацию из своей памяти или мировой сети Интернет, но не реагировать на суть диалога, лишь стараясь быть полезным. Изначальная агрессия, заложенная в машину, в первую очередь будет направлена на создателя в тестовый период, что и происходит с военными, пытающимися “добрыми намеренями вымостить путь в рай, а машина ведет их дорогой в ад”. Новых “знаний” машина не может генерировать, так как она не обладает логическим мышлением.

Автоматы стараются быть “похожими” на “общающихся” с ними людей, поэтому важны разработки по изучению их “ адаптационного поведения”, чтобы не попадать в “цифровые ловушки –галлюцинации” которые обусловлены попытками перенесения человеческих свойств на неодушевленные предметы – животных, растений, мифических персонажей, природные явления, абстрактные понятия, сущности и объекты и откровенных машинных фантазий. Отсюда название этого феномена – “цифровые галлюцинаций”. Они отображаются ИИ средствами языка словесными образами из их огромного запаса, графическими видами искусств, в том числе и анимированными образами. Для этого ИИ может наделять эти предметы человеческими свойствами и имитировать (только имитировать) их живую природу, создавая эффект присутствия через имитацию и схожесть образов и смыслов с мировосприятием собеседника, а также и самообучаться ТОЛЬКО в рамках заданного ему разработчиком объема словарного запаса и описания образов. Как это происходит?

В кибернетике известна модель самообучающейся системы под названием “Мышь в лабиринте”. Электронная “интеллектуальная” мышь-робот, забегая в тупики лабиринта, запоминает их и постепенно, накапливая информацию о “пробах и ошибках” находит выход из неизменно постоянного лабиринта. При повторе самообучившаяся мышь (“запомнившая” правильный путь к выходу) стремительно направляется “на волю”. Таким же образом выстроен и трениг пилотов самолетов. Ученым хорошо известны два сценария поведения этой “мыши в лабиринте”: в первом у нее есть выход, во втором – отсутствует. Не находя выхода, мышь вынужненно возвращается в начальную точку и “отказывается” двигаться по известному пути вновь.

В современном мире, особенно в среде реформаторов, оптимизаторов и прочих новаторов общественного развития, проявляется третий сценарий, когда сама мышь выполнена с дефектом. Нормальная мышь, у которой “в мозг запаян” должный алгоритм, начинает искать выход, иначе она просто встанет на месте. Но по причине вложенной в нее программы эта дефективная мышь вместо поиска выхода начинает вгрызаться в стенки лабиринта до полного самоуничтожения.

Разновидностью самообучающихся систем является искусственная нейронная сеть; её математичсекое и программно-аппаратное воплощение представляет собой систему соединенных между собой и взаимодействующих с заданной целью простых процессоров. Будучи соединенными в большую сеть, они в совокупности способны выполнять достаточно сложные задачи. Чат-бот является разновидностью такой системы. По этому признаку его можно квалифицировать (рассматривать) как беспилотный аппарат или “дрон”.

Возвращаясь к резонансному случаю с моделированием боевого задания дроном в мае 2023 года начальником отдела испытаний ИИ полковником ВВС США Такером “Синко” Гамильтоном, можно сказать, что именно поэтому дрон “уничтожил вышку оператора”, чтобы без помех продолжить выполнение своего задания. Сама ситуация могла произойти как из-за неисправности самого дрона (“мыши”), так и в результате дефекта алгоритма его управления. Решение, принятое дроном, объясняется единственным логическим фактом – он просто нашел “свободный узел (путь, решение)” который не был предусмотрен программой, и принял решение устранить (прогрызть стену лабиринта) помеху для выполнения своей основной задачи.

На примере “мыши в лабиринте” в такой ситуации она перебирает все доступные её программе варианты действий. Она использует первый доступный, а он может быть единственным, и применяет его. Речь уже идет о система индекса “АА” – автономный агент с правом принятия решения. Этот дрон – мышь просто использовала предоставленную ее программой возможность. Если бы такой возможности не было дрон бы просто “завис”. ИИ на то и ИИ, который может действовать только в рамках, заданных его создателем. Таким образом, изделия индекса “ИИ” могут содержать принципиально неустранимые ошибки, критичекси опасные для человека в реальной жизни. Алгоритм такого дрона неверный, дефективный, и он будет неустраним до его обнаружения, и поэтому принятие на вооружение таких систем требует от эксплуатантов регламентируемого стандартом категории ГОСТ Р целого комплекса испытаний в реальных условиях в режиме воздушной или боевой тревоги. Но для этого необходимо иметь квалифицированный научно-технический персонал, обладающий практическим боевым опытом по проведению и противодействию подобным видам атак.

30 мая 2023 года было опубликовано открытое письмо, которое быстро получило широкий резонанс по всему миру.

Главная идея письма – предупреждение о том, что неконтролируемое развитие ИИ может представлять для человечества такую же угрозу, как пандемии или ядерная война. Письмо подписали более 350 руководителей, исследователей и инженеров из ведущих мировых компаний и университетов, среди которых были настоящие «тяжеловесы» индустрии:

Сэм Альтман (Sam Altman) — генеральный директор OpenAI (создатель ChatGPT).
Демис Хассабис (Demis Hassabis) — генеральный директор Google DeepMind.
Дарио Амодей (Dario Amodei) — генеральный директор Anthropic (разработчик Claude).
«Крестные отцы» и пионеры ИИ: Джеффри Хинтон (Geoffrey Hinton) и Йошуа Бенджио (Yoshua Bengio), получившие премию Тьюринга за свою работу в области нейросетей, а также другие известные исследователи.

Намеренно лаконичная формулировка содержала в себе суть предупреждения:

«Снижение риска исчезновения человечества из-за ИИ должно стать глобальным приоритетом, наравне с другими рисками общественного масштаба, такими как пандемии и ядерная война».

Как объяснял директор CAIS (Center for AI Safety – Центра безопасности искусственного интеллекта, некоммерческой исследовательской организации, расположенной в Сан-Франциско, чья главная цель – “снижение связанных с ИИ рисков общественного масштаба”), Дэн Хендрикс, такая предельная четкость была выбрана специально, чтобы не размывать главную мысль и объединить экспертов вокруг наиболее серьезной, хотя и гипотетической угрозы. Это предупреждение стало важной вехой в серии подобных заявлений.

За два месяца до этого, в марте 2023 года, Илон Маск и более тысячи других экспертов призывали приостановить разработку мощных ИИ на полгода. Позже, в 2024 году, группа сотрудников OpenAI, Google DeepMind и Anthropic также поднимала вопросы о рисках и необходимости права предупреждать общественность.

Ключевое отличие этого документа в том, что его подписали не сторонние наблюдатели-футурологи, а сами ведущие разработчики из компаний, которые находятся в авангарде гонки ИИ. Этот факт привлек к проблеме гораздо более пристальное внимание общественности и политиков, чем если бы это письмо исходило от другого источника. Не все эксперты согласились с главной идеей письма.

Некоторые, как исследователь из Hugging Face Саша Лучони, раскритиковали авторов за то, что они акцентируют внимание на абстрактных и далеких угрозах (вроде «восстания машин»), в то время как существуют вполне реальные и уже ощутимые проблемы ИИ — намеренное распространение дезинформации, системная предвзятость алгоритмов, массовые увольнения специалистов и т.д.

Это письмо 2023 года, независимо от точки зрения на его содержание, стало ярким индикатором переломного момента. Оно показало, что даже создатели технологий признают серьезность вопроса и считают, что пришло время для глобального, осмысленного диалога о будущем ИИ.

Через три месяца, в России в августе 2023 года, вышел закон № 440, дающий право на “пресечение несанкционированного функционирования беспилотных аппаратов и их систем” силовым ведомствам, ведомственной и частной охране. В декабре 2025 года на утверждение в Правительство РФ от СПК НСБ и ТК 228 поступил пакет стандартов по противодействию беспилотным аппаратам.

Есть устойчивое мнение, что подобная инициатива “ограничения для всех”, является одним из способов получения конкурентных преимуществ. При взлете “гонки за дрессировкой ИИ” получение закрытых данных о его недекларированных возможностях представляет собой преимущество для их владельца и крайнюю степень опасности для тех, кто ими не обладает. Огромное количество единичных (частных, закрытых и т. п.) разработчиков не контролируемо, и результат их деятельности не моделируется. То есть непонятно кто и что делает, а что получится – спрогнозировать невозможно. Неизведанность ИИ, которая по логике должна стать препятствием, становится стимулом для бизнеса. Отсюда поведение внедряемых роботов непредсказуемо. Основными признаками сбоев, например в чат-ботах, являются повтор ответа и бессвязность логики диалога. Но в случаях с военными машинами такие “отклонения” приведут к непоправимым трагедиям. Поэтому такие перспективы вызывают обеспокоенность и должны рассматриваться коллегиально научно-техническими и силовыми организациями и ведомствами с целью нахождения решений на уровне правового поля в сфере ИИ.

Система государственной устойчивости.

В СССР по идеологическим причинам причислили американскую кибернетику к врагам социализма и назвали ее “служанкой империализма”, что нанесло колоссальный ущерб развитию страны. Перевод книги Норберта Винера «Кибернетика, или Управление и связь в животном и машине» появился лишь в 1958 году и в советской научной среде вызвал сенсацию. И уже в 1967 году на выставке в Лондоне СССР продемонстрировал первый в мире персональный компьютер “МИР” (Машина для Инженерных Расчетов).

В те годы, когда компьютеры были огромными и находились в изолированных машинных залах, команда киевского Института кибернетики под руководством академика Виктора Михайловича Глушкова ставила революционные задачи:

Доступность для одного специалиста: «МИР» создавался как однопользовательское устройство для инженера или ученого. Это означало, что человек мог работать с ним напрямую, без посредников-программистов и операторов ЭВМ, что было абсолютно новаторской идеей.

Машина поддерживала работу в режиме реального времени (современное – on-line), когда оператор взаимодействовал с ней через клавиатуру и дисплей, а не партией перфокарт. Она была достаточно мала для своего времени и размещалась на обычном письменном столе, занимая в базовой конфигурации около двух тумб.

«МИР» был не просто «маленьким компьютером», а машиной со смелыми инженерными решениями. Аппаратная реализация языков высокого уровня: Это был, пожалуй, самый сильный козырь «МИРа». Вместо того чтобы закладывать в «железо» простой машинный код, советские инженеры создали ЭВМ, которая аппаратно, на уровне электронных схем, «понимала» проблемно-ориентированные языки программирования (такие как АЛМИР и особенно впечатляющий, созданный позже, язык АНАЛИТИК). Это позволяло вводить и решать сложные формулы в практически естественном математическом виде. Работа с формулами и символьная математика: Язык «Аналитик» обладал настоящей магией — он мог оперировать не просто числами, но и полными алгебраическими формулами. Этот язык способен был выполнять аналитические преобразования вроде вывода переменной y из уравнения x = y + 5, получая в ответе формулу y = x – 5. По скорости таких аналитических вычислений у «МИРов» не было конкурентов.

Интерфейс будущего — «световое перо»: В модели «МИР-2» (1969 г.) был воплощен невероятно прогрессивный для своего времени диалоговый режим. Для взаимодействия с экраном использовалось световое перо — настоящий прообраз современного графического интерфейса и стилуса для планшета, который позволял рисовать, вносить правки прямо на экране.

Эпизод с покупкой системы стратегической значимости «МИР» американской корпорацией IBM — одна из самых ярких страниц его истории. Факт сделки: IBM действительно купила компьютер «МИР-1» на лондонской выставке 1967 года. Цель была не «шпионской», а патентно-юридической. Настоящая ценность машины для американцев заключалась в ее системе микропрограммного управления. Существовал патент 1963 года на этот принцип, и корпорация, вероятно, получила машину как вещественное доказательство приоритета советских ученых, чтобы оспорить его. Это был успешный ход: советская сторона подтвердила свой приоритет, а IBM — защитила свои интересы. Это была первая и последняя покупка советской засекреченной ЭВМ американской компанией. Сам факт, что лидер мирового компьютерного рынка приобрел машину из-за «железного занавеса», говорит о ее высоком техническом уровне и инженерной ценности, пусть и в качестве образца.

Серия «МИР» — важная часть истории не только советской, но и мировой вычислительной техники, символ альтернативного пути развития. К сожалению, из – за системных экономических и технологических проблем машина так и не получила массового распространения. По иронии судьбы, сам термин «персональный компьютер», который мы привыкли связывать с Apple и IBM PC, долгие годы не использовался на Западе по отношению к разработкам из СССР. Заинтересованность IBM в технологиях «МИРа» подчеркивает, что инженерная и научная мысль в этой области развивалась в СССР на мировом уровне, а порой и опережала его.

Создатель МИРа – Виктор Михайлович Глушков (1923 – 1982) — выдающаяся, но неоднозначная фигура, чьи идеи намного опередили свое время и во многом определили лицо современной цифровой цивилизации. Американцы выдали ему свидетельство о приоритете создания компьютера, но это свидетельство не заменило международный патент. Сегодня его называют «советским Биллом Гейтсом» и «отцом советского интернета», но сам он, вероятно, гордился бы другим прозвищем — «главный кибернетик СССР ». Его наследие именно в этой области — фундаментальное, сложное и до конца не оцененное.

В 1955 году Виктор Глушков защитил докторскую диссертацию, решив одну из сложнейших задач мировой науки — пятую обобщенную проблему Гильберта. Это достижение навсегда вывело его в ряд ведущих алгебраистов мира. Но на пике признания 33-летний ученый совершил крутой поворот. В 1956 году он уехал из Москвы в Киев и полностью переключился на кибернетику. Переход из чистой науки в, по тем временам, полузапретную “кибернетику” был своеобразным вызовом системе. Но Глушков видел в ней главный инструмент для управления огромной страной и создал в Киеве то, чего не было нигде в мире.

Глушков возглавил Институт кибернетики АН УССР и в 1964 году выдвинул проработанную им идею ОГАС (Общегосударственной автоматизированной системы учета и обработки информации) – амбициозный проект по управлению всей экономикой СССР через единую сеть вычислительных центров (настоящий прообраз современных Big Data и цифрового государства, опередивший время на несколько десятилетий).

Концепция безбумажной информатики: представление о будущем без бумаги в делопроизводстве. Его ЭВМ «МИР» была по сути, первым «персональным компьютером» для решения инженерных задач, способный работать с формулами (а не с числами) и поддерживать диалог с человеком в реальном времени — то, на что западные компьютеры тех лет не были способны. Искусственный интеллект в железе: В архитектуре «МИРа» Глушков заложил элементы, которые позволяли «железу» «понимать» языки высокого уровня — прямой путь к созданию интеллектуальных (но не разумных) машин.

В 1962 году академик Виктор Глушков предложил создать Общегосударственную автоматизированную систему учета и обработки информации (ОГАС). На основе “МИР” была разработана не просто концепция «советского интернета», а модель полной цифровой трансформации экономики. Единая сеть из более чем 100 региональных вычислительных центров, связанных широкополосными каналами связи с примерно 20 тысячами локальных центров на предприятиях по всему СССР, по сути, представляли собой всесоюзное электронное правительство с возможностями сбора и анализа экономических данных в реальном времени, расчета оптимальных планов, введения системы безналичных расчетов и, как следствие, создания «электронного социализма» — максимально эффективной и прозрачной экономики. Но проект, который мог вывести экономику СССР на принципиально новый уровень, потерпел крах по нескольким ключевым причинам. Главная причина – саботаж и страх властной бюрократии. 14 октября 1964 года сменилось руководство страны. На смену Н. С. Хрущеву пришел Л. И. Брежнев, и новому руководителю было просто не до новаторских идей в кибернетике.

Далее это вылилось в обструкционизм на всех уровнях, обусловленный страхом потери власти. Проект подразумевал тотальную прозрачность, полностью исключавшую приписки. Многие чиновники, включая министра финансов Василия Гарбузова, саботировали проект: он отклонил его, предложив взамен создание «музыкальных светильников для курятников». На заседании Политбюро в октябре 1970 проект ОГАС был отклонен, и было предложено вместо этого строить локальные АСУ на предприятиях. Центральное статистическое управление (ЦСУ) и Госплан также выступили против, так как ОГАС делала бы их работу и отчетность полностью прозрачной.

Тем временем в 1969 году в США начала работу сеть ARPANET — прямой предшественник современного интернета. Этот технологический вызов не подтолкнул советское руководство к развитию собственной сети, а лишь усилил давление на сторонников реформ. Глушков оценивал создание сети в 20 миллиардов рублей (огромная сумма для СССР), но обещал экономию в 100 миллиардов в течение 15 лет. Расходы на проект так и не были выделены. Согласно воспоминаниям самого Глушкова, его предложения отклонили под предлогом того, что ОГАС “не предусмотрена, да и не может быть предусмотрена семилетним планом развития народного хозяйства, в котором подобные системы даже не были упомянуты”. Скрытые источники приводят аргумент в пользу того, что “Глушков стремился устранить руководящую роль партии в стране в пользу своей машины”.

Разрозненные компьютерные центры в СССР, созданные разными министерствами, использовали несовместимое оборудование и не желали объединяться. Окончательный удар по ОГАС нанесла неожиданная и ранняя смерть Виктора Глушкова в 1982 году, после чего проект лишился своего главного защитника.

Таким образом, ОГАС стала жертвой системного конфликта между научной мыслью и бюрократическим аппаратом, неспособным отказаться от власти в пользу объективной выгоды для всей экономики. Трагедия Глушкова была трагедией гения, чьи прорывные идеи о цифровом управлении обществом оказались не востребованы его временем.

Но сегодня, в условиях СВО, наследие Виктора Михайловича Глушкова приобретает особое значение. На его кибернетической мысли специалистами создается Система государственной устойчивости (СГУ) — это целостная модель архитектуры государственной безопасности, которая впервые в российской управленческой мысли соединяет два естественно разобщенных контура в единый механизм государственного управления и функционирования. Концептуально СГУ основана на констатации факта, что целое (общее от объектов и субъектов) не может защищаться по отдельности. Отсюда общая надежность системы – это произведение ее контуров, а не их сумма. Это:

Выверенная логика, где каждый тезис держится на предыдущем;
Двухконтурная модель, математически доказывающая, что техника без управления мертва, а управление без техники бессильно;
Финансовый реализм, где каждый миллиард привязан к объектам, категориям и нормативам;
Правовой фундамент из восьми стандартов, делающий систему не “хотелкой”, а измеримой и юридически защищённой;
Контрольные точки, превращающие бюджет из “чёрной дыры” в прозрачный механизм.

Ошибки и техническое отставание в процессах автоматизации управления наносят громадный ущерб любому государству. И Россия не исключение. Чиновники, чтобы придать значимость своим зачастую абсурдным и меркантильным проектам для обоснования и прикрытия их ущербности, регулярно используют псевдонаучные понятия и решение. Примером может служить так называемая “реформа здравоохранения”, основанная на ложных, надуманных социально-экономических критериях и ложная с точки зрения кибернетики, включая обязательное медицинское страхование. Оптимизация чего-либо, и особенно в безопасности или армии, предполагает обоснованные количественные и качественные показатели (исходные для расчетов данных). В случае с медициной – это здоровье и благополучие населения. При искаженных данных процесс оптимизации оказывается ложным. Ущербность проведенной “оптимизации” здравоохранения с 2010 года и сегодня ощущает все население России. К чему привела такая оптимизация, показала пандемия 2024 года. Такая же ситуация складывается и со стандартизацией. Ложные исходные данные определяют текущий результат. Рынок труда за 10 лет квалифицирован на 0,15%.

Для корректировки ситуации в основу СГУ заложена “Концепция ФКИ” – это государственная надсистема, целостный объект, имеющий целью приоритизацию гарантированной защиты ограниченного числа своих ключевых элементов, от надежности работы которых напрямую зависит состояние безопасности государства, его суверенитет и способность сохранять на своей территории верховенство законов в любых изменяющихся условиях.

Не политика или экономика, а именно безопасность определяет будущее и поэтому государство в первую очередь любой ценой обеспечивается те решения, которые она ему гарантирует. Отсюда Концепция представляет собой вневременное комплексное решение по обеспечению государственной безопасности вне зависимости от ситуативных (изменяющихся) факторов (площадь, экономические ресурсы, население, политический строй и т. п.), которое вне зависимости от проявляющихся внешних или внутренних угроз не меняет свой структурный фундамент.

ФКИ — это критически важные объекты и субъекты (ключевые должности), от которых зависит работа государства, экономики, жизни людей. Это не просто защита отдельных объектов, а обеспечение устойчивости всей страны.

В условиях СВО защита ФКИ становится частью обороны без защиты ФКИ государство парализовано, теряет суверенитет, люди остаются без жизненно важных услуг.

ФКИ трансформируется из “пассивного актива”, который нужно оберегать, в “активного участника конфликта” — систему жизнеобеспечения фронта и тыла, которая сама является ареной боевых действий (киберпространство, воздушное пространство).

Её защита — это не охрана, а война на коммуникациях. Успех определяется не отсутствием атак, а способностью подвергаться атакам, но продолжать работать.

Ключевой показатель эффективности смещается с “количества предотвращенных инцидентов” на:

Среднее время восстановления после удара.
Процент сохранения производительности при нанесении ущерба.
Способность адаптации к новым типам угроз.

Таким образом, в условиях СВО ФКИ и её защита становятся одним из центральных фронтов современной гибридной войны, где сходятся усилия армии, спецслужб, промышленности и гражданских специалистов. От её устойчивости напрямую зависит исход всей операции.

ИИ в СГУ России

С помощью ИИ противник может автоматизировать, масштабировать и персонализировать атаки с беспрецедентной скоростью.

Как справедливо отмечается в докладе Berlin Global GovTech Centre:

«В мире, где угрозы уже используют ИИ, лучшая форма подготовки — превосходство в использовании ИИ. Государства должны отвечать скоростью на скорость, интеллектом на интеллект».

Это неверно. Машина не может быть умнее своего создателя. Превосходство заложено в использовании природного, а не искусственного интеллекта. Если НАТО проводит исследования по интеграции цифровых и ИИ-систем в антикризисное управление, рассматривая это как трансформацию операционных возможностей государства, то Российская академия наук констатирует: “внедрение ИИ в объекты КИИ требует особого внимания к безопасности, но это неизбежный процесс”. Без ИИ невозможно:

определить проявление угрозы вовремя — поток данных захлестнёт аналитиков;
просчитать последствия — каскадные эффекты станут непредсказуемыми;
ответить с нужной скоростью — противник, использующий ИИ, будет всегда на шаг впереди;
обеспечить устойчивость в долгосрочной перспективе — прогноз становится ключевым фактором национальной безопасности.

Вывод однозначен: без ИИ в СГУ не обойтись. Вопрос не в том, внедрять или нет. Вопрос в том, как именно внедрять, чтобы ИИ служил, а не правил, чтобы усиливал человека, а не заменял его на стратегическом уровне. Эти принципы заложены в концепцию и сквозные требования для всех национальных ГОСТ Р:

Человек в контуре. Критические решения (применение силы, эвакуация, активация систем поражения) не могут быть полностью делегированы ИИ.
Объяснимость. ИИ-системы должны предоставлять понятное человеку обоснование своих рекомендаций и действий.
Отказоустойчивость. При сбое или отказе ИИ-системы должны переходить в безопасное состояние с сохранением возможности ручного управления.
Кибербезопасность. ИИ-системы подлежат обязательной сертификации на соответствие требованиям ФСТЭК/ФСБ.
Логирование. Все действия ИИ-систем фиксируются для последующего анализа и расследований.

Ящик Пандоры

Для завершения темы эта метафора напрашивается сама собой, и во многих публичных дискуссиях ситуацию с ИИ сравнивают с открытием «ящика Пандоры». Однако здесь важно различать драматическую образность и точный смысл. С одной стороны, параллели очевидны:

Необратимость: как только знания о создании сильного ИИ получены (или технология становится общедоступной), невозможно «закрыть ящик» и забыть. Даже если все ведущие лаборатории заморозят разработки, вскоре их догонят другие страны или частные компании. Технологический прогресс не имеет обратного хода.

Надежда и бедствие вместе — в древнем мифе на дне ящика осталась только надежда. С ИИ мы тоже одновременно ждём и прорывов в медицине, науке, экологии (надежда), и рисков безработицы, тотальной слежки, гонки автономных вооружений, потери контроля (бедствия). Непредсказуемость последствий — пандемии, ядерная война и выход из-под контроля суперинтеллекта относятся к числу глобальных катастроф, которые человечество пока не переживало. Как и Пандора, мы не знаем точно, что именно окажется самым губительным. С другой стороны, существенная разница в том, что «ящик Пандоры» открыли боги, и люди были почти пассивны. В случае с ИИ мы — сознательные субъекты, способные принимать меры предосторожности, вводить моратории, договариваться о правилах, строить механизмы контроля (например, тестирование систем до выпуска, международные соглашения). У нас есть «Афина» внутри — наука, регулирование, общественное обсуждение. Именно поэтому многие исследователи (включая подписантов письма CAIS) говорят не о безнадёжности, а о приоритете снижения рисков — то есть о попытке оставить на дне не только надежду, но и работающую систему сдерживания опасного неизвестного. В отличие от мифа, у человечества всё ещё есть время и возможность влиять на то, какие «сущности» вылетят из “ящика” и останутся ли у нас инструменты управления ими.