Близость Судного дня

Правозащитники испугались восстания машин

Кадр из фильма "Терминатор 2"

Международная неправительственная организация Human Rights Watch совместно с Гарвардской школой права опубликовала доклад об опасности использования полностью автономных боевых роботов и роботизированных вооружений и призвала правительства всех стран отказаться от их разработки. Доклад организации представлен на 50 страницах, но его суть можно выразить одной фразой ─ самостоятельные роботы будут убивать всех без разбора. Военные же как раз настаивают на том, что искусственный интеллект и роботы позволят значительно снизить сопутствующий ущерб и число жертв среди гражданского населения.

Согласно докладу «Теряя человечность: Доводы против роботов-убийц» (Losing Humanity: The Case Against Killer Robots), подготовленному Human Rights Watch (HRW), полностью автономные боевые роботы или системы вооружения будут созданы и приняты на вооружение уже в ближайшие 20-30 лет. Их разработкой занимаются все более или менее технически развитые страны, в первую очередь США, больше других приблизившиеся к созданию самостоятельных дронов. Исключать человека из систем управления вооружением и военной техникой, по мнению авторов доклада, нельзя, потому что в этом случае будут нарушены сразу несколько положений международного гуманитарного права.

Законы военного времени

Проведя ряд исследований, HRW пришла к выводу, что «роботы суть механизмы, оснащенные возможностью воспринимать окружающий мир и действовать в соответствии с программой». Все они в той или иной степени обладают автономностью, то есть способны осуществлять какие-либо действия без вмешательства человека. Степень автономности у дронов может значительно отличаться в зависимости от модели. Условно роботов можно разделить на три категории: «человек-в-системе-управления» (human-in-the-loop), «человек-над-системой-управления» (human-on-the-loop) и «человек-вне-системы-управления» (human-out-of-the-loop).

Первая категория подразумевает, что некая беспилотная машина может самостоятельно обнаруживать и выбирать цели, однако решение об их уничтожении принимает только человек-оператор. Ко второй категории относятся системы, способные самостоятельно обнаруживать и выбирать цели, а также принимать решения об их уничтожении, но человек-оператор, выполняющий роль наблюдателя, в любой момент может вмешаться в эту цепочку. Наконец, в третью категорию HRW включила роботов, способных обнаруживать, выбирать и уничтожать цели вообще без человеческого вмешательства.

С точки зрения международного гуманитарного права, именно последняя категория автономных боевых систем представляет наибольшую опасность для гражданского населения в зоне военного конфликта. В конце концов, большая часть международных «законов войны» посвящена именно защите гражданского населения от последствий военных действий. По оценке HRW, автономные боевые роботы не только не соответствуют требованиям международного гуманитарного права, но также могут спровоцировать дальнейшие его нарушения или даже вовсе отказ от существующих конвенций и договоров.

В первую очередь применение роботизированных систем с высокой степенью автономности нарушит основные положения Женевских конвенций о защите жертв международных вооруженных конфликтов, вступивших в силу в 1950 году и дополненных тремя основными протоколами в 1977-м и 2005 годах. Так, статья 36 Протокола I к Женевским конвенциям требует, чтобы все страны «при изучении, разработке, приобретении или принятии на вооружение новых видов оружия, средств или методов ведения войны» проверяли их на соответствие нормам международного права.

Так, все создаваемые виды оружия должны на каждом из этапов разработки проходить проверку и оценку на опасность для гражданского населения в случае их боевого применения. Например, по мнению правозащитников, подобную проверку не проходили кассетные боеприпасы, неразорвавшиеся суббоеприпасы которых лишь увеличивали число жертв среди мирного населения. К слову, для быстрого обнаружения неразорвавшихся «бомбочек» саперами их красили в яркие цвета, которые привлекали детей и лишь увеличивали потери гражданского населения. Сейчас кассетные боеприпасы оснащены таймерами самоуничтожения и представляют не большую опасность, чем обычная авиабомба.

Не собираются государства проводить и адекватную оценку перспективных роботов на соответствие международному праву, полагают в HRW. Кроме того, автономные роботы будут нарушать не только положения Женевских конвенций, но и требования Декларации Мартенса (представлена в начале 1900-х годов российским юристом Федором Мартенсом, легла в основу Конвенции о законах и обычаях сухопутной войны). Согласно этой декларации, «население и воюющие остаются под охраною и действием начал международного права, поскольку они вытекают из установившихся между образованными народами обычаев, из законов человечности и требований общественного сознания».

В целом же, автономные роботы будут представлять прямую угрозу невоюющему или выбывшему из военного конфликта населению. По мнению HRW, такие системы «не обладают человеческими эмоциями» и не способны сравнивать и сопоставлять действия людей. И, поскольку роботы не могут сострадать, они будут убивать раненых и выбывших из боевых действий (сложивших оружие) противников, хотя это запрещено Женевскими конвенциями.

При этом автономные роботы, каким бы совершенным искусственным интеллектом они ни обладали, не смогут на сколько-нибудь высоком уровне анализировать поведение находящихся перед ними людей. Как отмечает HRW, если для бойца-человека не составит труда отличить «устрашающего вида гражданского» от «представляющего угрозу участника боевых действий», то робот на это не способен. Кроме того, роботы не смогут предугадывать последствия тех или иных действий человека и, следовательно, не сумеют распознать перелом в настроении противника, если он при противостоянии роботу захочет, например, сдаться в плен.

Кроме того, отсутствие у роботов эмоций также сделает их привлекательным инструментом репрессий и установления диктатуры ─ дронам просто не придет в «голову» бунтовать против бесчеловечных приказов «начальства».

Наконец, при широком использовании автономного вооружения категории «человек-вне-системы-управления» невозможно будет установить виновного в случае гибели мирного населения. Предположительно, ответственность в таких случаях можно было бы возложить на офицера, принявшего решение об использовании робота, программиста, производителя или даже самого робота. Все эти варианты, по оценке HRW, неприемлемы. В противоправных и жестоких действиях «будет сложно и нечестно» обвинить офицера, программиста или производителя, а наказание робота представляется и вовсе абсурдным. Таким образом, жертвы военных действий лишатся законного права на правосудие.

На основании всех этих доводов HRW в своем докладе призывает правительства всех стран мира на законодательном уровне запретить разработку, производство и использование автономных роботов и систем вооружения, а также тщательно оценивать все создаваемые технологии, которые так или иначе могут быть использованы при конструировании самостоятельных дронов. Кроме того, разработчиков робототехники и вооружений HRW призвала тщательно проверять свои проекты на соответствие нормам национального и международного гуманитарного права.

Без человека

Между тем, создание автономных роботизированных систем считается правительствами многих стран приоритетным направлением. Так, в конце 2010 года министерство обороны США обнародовало «План развития и интеграции автономных систем на 2011-2036 годы». Согласно этому документу, число воздушных, наземных и подводных автономных систем будет значительно увеличено, причем перед разработчиками ставятся задачи наделить эти аппараты «поднадзорной самостоятельностью» (все действия контролирует человек), а в конечном итоге - и «полной самостоятельностью». При этом ВВС США полагают, что перспективный искусственный интеллект в ходе боя будет способен самостоятельно принимать решения, не нарушающие законодательства.

Правда, Пентагон при этом отмечает, что в обозримом будущем при применении автономных систем решение о применении оружия и выборе целей будет оставаться под контролем человека. Аналогичной позиции придерживается и министерство обороны Великобритании, в 2011 году объявившее, что страна не заинтересована в создании абсолютно самостоятельных роботизированных систем. По оценке HRW, такие заявления являются похвальными, но недостаточными - в будущем взгляды военных ведомств на самостоятельность роботов могут кардинально измениться.

Сами же военные уверены, что роботы ─ не зло, а благо. В частности, они позволяют не подвергать опасности жизнь солдат, которых на поле боя целиком и полностью заменят машины. Кроме того, в конечном итоге применение серийных автономных систем позволит сэкономить значительные средства на страховании, медицинском обслуживании, обеспечении, обучении и переподготовке профессиональных военных. С массовым приходом боевых роботов вооруженные силы можно будет значительно сократить, уделив основное внимание лишь подготовке техников и операторов.

Потери роботов в ходе войны можно компенсировать производством новых систем, взамен выбывших из строя, ─ обеспечить же быстрое «производство» солдат в нужных количествах просто невозможно. Наконец, по утверждению военных, именно роботы и роботизированные вооружения позволят значительно сократить сопутствующий ущерб и число жертв среди мирного населения. Так, в министерстве обороны США уверены, что в цепочке роботозированных систем слабым звеном является именно человек - оператор может не выспаться, устать или заболеть, что во много раз увеличивает вероятность роковой ошибки.

При этом использование в роботах современных систем разведки, наблюдения и рекогносцировки таких устройств, как датчики высокой точности, мощные радары, камеры, сонары, лазерное оборудование, прецизионные механизмы, позволит исключить возможность, например, попадания снаряда или бомбы в не тот объект, который был намечен изначально. «Своих» роботы не тронут ─ не позволят системы «свой-чужой», которые к слову, уже внедряются в разрабатываемую экипировку «солдат будущего» в США, Франции, Германии и России. Одним словом, идеалом военных становятся битвы роботов с роботами в отдаленном будущем.

Предпосылок к созданию полностью автономных систем, по оценке HRW, уже множество. Так, современные зенитные ракетные комплексы могут действовать в полностью автоматическом режиме. Например, такими свойствами обладают американские комплексы Patriot, российская С-400 или израильский «Железный купол». В июле 2010 года Южная Корея начала размещать на границе с КНДР патрульных роботов, способных вести наблюдение за приграничными территориями, обнаруживать нарушителей и, с одобрения оператора, открывать по ним огонь.

В США ведется разработка палубного беспилотного летательного аппарата X-47B, который, хотя и не будет самостоятельно применять вооружение, но сможет без вмешательства человека дозаправляться в воздухе и производить дозаправку других летательных аппаратов, включая и пилотируемые, а также заходить на посадку на палубу авианосца, взлетать, вести разведку и распознавать цели. И все это он будет делать быстрее и точнее человека.

По сути ученым и производителям осталось лишь разработать надежную самообучающуюся систему с искусственным интеллектом, которая бы объединила существующие технологии. Тем более что искусственные нейронные сети уже самостоятельно научились распознавать на изображениях котов, человеческие лица и части тел.

И доводов в пользу создания полностью автономных систем, по мнению военных, существует больше, чем против. Например, предполагается, что перспективный американский истребитель шестого поколения будет беспилотным гиперзвуковым аппаратом. Учитывая, что на скоростях полета более пяти тысяч километров в час и при большом объеме поступающих данных (а их беспилотники уже сегодня дают больше, чем способен обработать человек) оператор просто не сможет вовремя принимать необходимые ситуационные решения, получается, что эту работу придется переложить на «плечи» искусственного интеллекта.

Но при этом открытым остается важный вопрос: этично ли передавать право на решение вопросов о жизни и смерти в условиях боя искусственному механизму? Ведь, как ни крути, убийство человека человеком выглядит действием более логичным (или по крайней мере более эмоционально оправданным), чем убийство человека машиной. В первом случае убийству можно будет приискать какое-то рациональное объяснение; во втором, и правда, впору говорить о наступлении Апокалипсиса.

Обсудить
Наука и техника00:02Сегодня
Вывоз ракеты-носителя «Союз-ФГ» для установки на стартовом столе

С протянутой рукой

«Роскосмос» полетит на американских батутах, пытаясь заработать на других странах
01:4820 сентября
Арабы на выход: курды проголосовали за независимость
Референдум навсегда изменил Ближний Восток
«Пришли русские и всех нагнули»
Курды отомстили мертвому Саддаму на избирательных участках
Ангела Меркель Без свастик
Немецкие ультраправые впервые с 1945 года оказались у власти
Падший дьявол
Неуловимый наркобарон основал культ убийц и варил человеческие мозги в котле
Виталик БутеринСюрприз от Виталика
Кто убьет традиционную экономику
Пирамида изгоев
Кому выгодна смерть биткоина
День пенсионного единства
ПФР поднимает уровень знаний о пенсионной системе по всей России
Жить будем
Россияне обнищают, зато не умрут с голода
Носом чую
Фекалии стали выгодным бизнесом
Золото непризнанной республики
Почему Приднестровье сделало ставку на биткоин
Альтернатива есть
На смену неэффективной системе теплоснабжения придет альткотельная
Открытые инновации
В технопарке «Сколково» встречают шестой форум инновационного развития
Московская история Х
Влюбленные нацисты подгоняли украинские стволы русским националистам
Никита БелыхРобин Гуд из Кировлеса
Обвиняемый во взятке экс-губернатор Белых убеждает суд в своем благородстве
Салам, «Москва»!
Крупнейший торговый центр столицы стал ареной для разборок гастарбайтеров
Поели как люди: убийц-расчленителей задержали в Краснодаре
Они хранили фрагменты тел в холодильнике и, возможно, ели своих жертв
Посыпали пеплом
Необратимая катастрофа навсегда изменит жизнь на Земле
Вывоз ракеты-носителя «Союз-ФГ» для установки на стартовом столеС протянутой рукой
«Роскосмос» полетит на американских батутах, пытаясь заработать на других странах
Перед парадом вермахта и Красной армии в Бресте«Появилась бы "бандеровская Украина" под контролем Германии»
Зачем Сталин подружился с Гитлером и устроил парад Красной армии с вермахтом
Порошок, уходи
Землю ждет вторжение инопланетян и уничтожение Солнца: обзор Destiny 2
«Поеду, куда позовут»
История жителя Набережных Челнов, переехавшего жить на Кипр
Ангелы и демоны
Похищение девочки рассорило мафию, масонов и Папу Римского
Дети шпионов
Секретные гаджеты ЦРУ и КГБ
Своими руками
Увлекшийся сдачей спермы американец собрал всех своих детей
Машины, которые вы никогда не увидите
7 ну очень редких машин, встретить которые в пробке практически невозможно
Тест: узнай машину без «одежды»
Попробуйте опознать автомобили, у которых нет кузовных панелей
Классическая история
Душевные ролики про самые красивые спорткары XX века
«Мерседес», выдыхай!
Как сделать седан S-класса намного шире и не вызвать ни у кого подозрений