Российский дрон, полностью управляемый искусственным интеллектом, убил троих украинских мирных жителей, при этом в нем использовались микросхемы американской компании.

Девушка бросилась бежать, чтобы спастись, но было уже слишком поздно. В прошлом месяце небольшой российский дрон, похожий на модель самолета, спустился с неба на город Запорожье на юго-востоке Украины. Пытаясь долететь до автозаправочной станции, он врезался в стену и взорвался, обрушив дождь осколков, в результате чего погибли 19-летняя студентка университета Татьяна Бубынец и еще два человека. Они оказались среди тысяч украинских мирных жителей, погибших в результате российских авиаударов, но обстоятельства их гибели имели неожиданный поворот. Дрон, убивший их, управлялся экспериментальной системой искусственного интеллекта, а не человеком-пилотом, как утверждают эксперты по дронам, украинские военные командиры и команда судебных медиков, которая исследовала останки от этого смертоносного удара и других в городе. Дрон был запрограммирован операторами-людьми на полет к конкретной заправочной станции, но, приблизившись к ней, самостоятельно выбрал точную цель — скорее всего, баллоны с пропаном — на основе своего обучения по распознаванию и атаке таких баллонов, заявили эксперты и военные чиновники. В ходе войны в Украине этот прорыв уже давно находится под пристальным вниманием, поскольку он предвещает дистопическое будущее, в котором роботы-убийцы бродят по небу, принимая решения о жизни и смерти, сводя цели к простым точкам данных. «Это угроза для всего мира», — заявил полковник Сергей Минаев, командующий воздушной обороной Запорожья. «Через несколько лет мы будем жить как в фильме „Терминатор“. Это не шутка. Машины сами принимают решения о нападении». Анализ обломков от этого и других нападений в Запорожье показал, что на борту дронов находились мини-компьютеры, выпускаемые американской компанией Nvidia, которые принимали решения о выборе целей, сообщили эксперты и военные чиновники. Nvidia производит большинство чипов, на которых работают самые передовые в мире системы искусственного интеллекта. Наличие модулей Nvidia и отсутствие антенн на дронах заставили украинских командиров ПВО предположить, что оружие управлялось автономной системой ИИ, что подтвердилось в ходе последующего расследования. Автономные системы ИИ можно обучить на основе тысяч изображений распознавать такие категории, как «река», «военный грузовик» или «человек». Дроны с функцией самостоятельного выбора целей используют свои камеры для обнаружения этих объектов с большей точностью, чем это может обеспечить пилот-человек. Однако противники такого рода оружия утверждают, что без вмешательства человека дроны могут быть более склонны к ошибкам или нарушению законов войны, например, не различая мирных жителей и комбатантов. Использование ИИ с функцией самостоятельного выбора целей при атаке на автозаправочную станцию 6 июля стало бы первым задокументированным случаем, когда гибель мирных жителей была вызвана российским дроном, оснащенным такой системой, заявила Катерина Бондарь, старший научный сотрудник Центра искусственного интеллекта имени Вадхвани при Центре стратегических и международных исследований в Вашингтоне. Она добавила, что модуль Nvidia «является лучшим доказательством» того, что Россия экспериментировала с автономным ИИ. Хотя советник президента Владимира Зеленского написал в социальных сетях, что Россия тестировала системы ИИ с функцией автовыбора целей, ранее не поступало сообщений ни о погибших, ни о деталях использовавшегося компьютерного модуля Nvidia Jetson Orin. И Россия, и Украина уже использовали ИИ в различных моделях дронов до появления полностью автономных дронов. В этих более ранних моделях ИИ используется только для так называемой «последней мили»: заключительного этапа атаки, после того как пилот-человек, управляющий дистанционно, выбрал цель. Полностью автономный ИИ исключает участие человека в окончательном выборе цели. Чип Nvidia, использованный при атаке в Запорожье, не был зашифрован, заявили украинские чиновники, поэтому они смогли увидеть изображения местности, загруженные в модуль, что позволило дрону отслеживать визуальные ориентиры и держать курс. По их словам, им также удалось изучить программное обеспечение, которое показало, какие типы целей дрон был обучен распознавать и атаковать, например, баллоны с пропаном. Предыдущие модели дронов, как правило, управляются операторами-людьми посредством радиосвязи или оптоволоконных кабелей либо заранее запрограммированы с указанием координат. По мере того как дроны захватывают поле боя в Украине, их пилоты становятся главными целями. Автономный дрон, управляемый искусственным интеллектом, напротив, не требует участия пилотов-людей и может быть более точным, чем боеприпас, запрограммированный на атаку по координатам. Местные представители сил противовоздушной обороны заявляют, что Россия при испытаниях автономных дронов в Запорожье нацеливалась на гражданские объекты, такие как бомбы или баллоны с пропаном на автозаправочных станциях, а также на военкоматы. Неясно, почему для испытаний были выбраны именно эти цели. Вадим Кушников, эксперт по дронам из Харьковского авиационного института в Украине, заявил, что дрон, убивший троих мирных жителей, был «заранее запрограммированным и обученным в виртуальной реальности инструментом для отслеживания конкретных объектов». В то время как традиционное программное обеспечение следует пошаговым правилам, написанным человеком, система искусственного интеллекта выводит свои собственные правила, обнаруживая закономерности в огромных объемах данных — этот процесс называется машинным обучением. Это позволяет ей справляться с непредвиденными ситуациями. Это также означает, что никто не может полностью предсказать, как оно может поступить. Правозащитные организации и Международный комитет Красного Креста категорически выступают против использования оружия с ИИ без участия человека. По их мнению, автономные системы по сути позволяют роботам самостоятельно толковать нормы международного права при определении законных целей в ходе военных действий. Однако некоторые эксперты утверждают, что в будущем оружие действительно должно быть оснащено системами искусственного интеллекта. Согласно этой аргументации, такое оружие более безопасно, поскольку способно принимать решения перед нанесением удара, хотя и не всегда безупречно, в отличие от неуправляемых авиационных бомб или обычных артиллерийских снарядов, которые просто падают, не видя, во что они попадут. По словам регионального военного губернатора, командующего городской противовоздушной обороной и дежурной в тот день группы ПВО, дрон, участвовавший в смертоносном нападении, летел в составе группы из примерно полудюжины дронов. Ни один из них не излучал радиосигналов и обладал другими характеристиками, характерными для российских испытаний автономного ИИ, в том числе запускался волнами, сообщили чиновники. Хотя некоторые из испытываемых Россией дронов с ИИ взрывались при ударе, другие этого не делали и оставались целыми, заявили украинские чиновники. Они продемонстрировали журналистам The New York Times обломки двух таких дронов. Газета «Таймс» сфотографировала компьютерный модуль Nvidia внутри дронов и отправила снимки в компанию. Nvidia подтвердила, что на фотографиях запечатлен мини-компьютер Jetson Orin. Такие модули, стоимость которых составляет всего несколько сотен долларов, были обнаружены в различных типах российского оружия. В своём заявлении компания сообщила, что этот мини-компьютер является продуктом потребительского уровня, «продаваемым студентам, разработчикам и стартапам для широкого спектра полезных применений». Nvidia продаёт этот компьютер во многих странах, но не в России. Однако, как отмечается в заявлении, он широко доступен через посредников. Украина также тестировала системы искусственного интеллекта с функцией самостоятельного выбора целей. Недавно уволенный министр обороны Михаил Федоров в интервью газете «Таймс» в конце прошлого месяца заявил, что в последние месяцы Украина тестировала полностью автономную систему искусственного интеллекта в оккупированном Россией Крыму. Федоров отметил, что устройства нацеливались на объекты хранения топлива и военного оборудования и что ни один мирный житель не погиб. Хотя дроны, использовавшиеся в атаке на Запорожье, не имели антенн для передачи данных об испытаниях, российские войска часто запускают разведывательные дроны, способные фиксировать атаки. Также считается, что в городе находятся российские шпионы, которые докладывают об оценках ущерба на поле боя. Само по себе отсутствие антенны не доказывает, что дрон осуществляет самостоятельный выбор целей. Он может быть заранее запрограммирован на полет по заданному маршруту с использованием компьютерных алгоритмов, подобных тем, что десятилетиями применяются в системах автопилота самолетов. Но такому дрону не понадобился бы чип Nvidia. Россия начала испытательные полёты дронов «Молния» с искусственным интеллектом — серийной модели с фиксированным крылом — в мае, а испытания систем автоматического выбора целей на V2U, ещё одном дроне с фиксированным крылом, начались за несколько месяцев до этого, сообщили украинские эксперты по противовоздушной обороне. Некоторые испытания V2U были посвящены исключительно выбору целей на «последней миле». В интервью некоторые жители Запорожья, расположенного всего в 14,5 километрах от линии фронта, сказали, что сама мысль о устройствах, которые жужжат над городом и самостоятельно принимают решения об уничтожении людей, вызывает у них дрожь. Но украинские города на протяжении многих лет подвергались настолько интенсивным бомбардировкам, что жизнь уже изменилась под воздействием менее совершенных дронов. Перехватчики-дроны, управляемые (пока что) мужчинами и женщинами, которые являются местными героями, — это один из ответов на угрозу дронов. Ещё одним средством защиты являются антидроновые сети, которые охватывают около 380 километров дорог в Запорожье и его окрестностях. Ещё одной защитной мерой является маскировка. Например, пластиковые листы располагаются под разными углами вокруг баллонов с пропаном на автозаправочных станциях в попытке обмануть системы распознавания изображений на базе искусственного интеллекта. За мгновение до того, как 6 июля взрывной дрон устремился на заправочную станцию, группа людей из соображений безопасности сгрудилась у стены близлежащего жилого дома, уже услышав взрывы, когда дроны налетали волнами. Оксана Ишенко, сотрудница АЗС, стояла рядом с Бубынец. «Она плакала от страха», — вспомнила Ишенко. Затем некоторые из группы начали кричать: «Самолёт! Самолёт!», — рассказала Ишенко. К ним летел дрон. Бубынец и ещё несколько человек бросились бежать, разбежавшись по парковке. После того как дрон не смог обогнуть жилой дом, он взорвался, не достигнув цели. Бубынец, которая училась на факультете бухгалтерского учета в Запорожском национальном университете, лежала на асфальте, не шевелясь, а из носа у неё текла кровь. В больнице констатировали её смерть, рассказала Татьяна Мелихова, одна из её преподавателей. Двое других погибших — 41-летний Алексей Свирин и 48-летний Роман Карпий — скончались позже от полученных ранений. «Они оттачивают эту технологию», — сказал полковник Минаев, командующий противовоздушной обороной города, говоря о россиянах. ИИ хорош, но пока не идеален, добавил он. «Они ищут ошибки и исправят их». Автор: Эндрю Э. Крамер, «Нью-Йорк Таймс»