Мораль для роботов-убийц

Как предотвратить огонь по своим и порученные машинам военные преступления

Кадр из фильма «Робокоп»

Сегодня в мире существуют лишь неподвижные боевые роботы, самостоятельно принимающие решения по уничтожению врага. Однако военным развитых стран мира очень хотелось бы изменить эту ситуацию и сделать их еще и мобильными. Полностью автономные в принятии решений роботы привлекают отсутствием у них человеческих слабостей и рядом возможностей, недоступных для человека. Увы, чтобы добиться этого, машинам-убийцам необходимо привить хотя бы базовые этические принципы — прежде всего умение выбирать: между злом и «меньшим злом», между приемлемым и неприемлемым поведением. Об обязательности и невозможности этики боевых роботов — в расследовании «Ленты.ру».

Слабости операторов и огонь по своим

Интерес развитых стран к боевым роботам подогревается прежде всего тем, что граждане этих государств стали крайне негативно относиться к большим потерям личного состава. Если во время советско-финской войны СССР терял в день 1300 человек убитыми, и это никак не влияло на его решение о сворачивании войны, то в 1989 году потери сподвигли руководство Союза уйти из Афганистана, где в день погибало менее трех советских бойцов. Аналогичный сдвиг в сознании произошел и в США: в 1941 году они сражались после потери 2345 человек за 90 минут, а в 1993 году были вынуждены навсегда оставить в покое Сомали после того, как потери там достигли уровня девяти убитых в день.

Робот выглядит идеальным решением этой проблемы. Он всегда пользуется прицелом, у него не трясутся руки, он не стреляет наугад. Наконец, потеря даже сотни роботов в день никак не способна взволновать общественное мнение.

На пустом месте посылать на поле боя мобильных роботов — дело не простое: поэтому сначала были предприняты попытки создать дистанционно управляемые боевые машины. Первых боевых успехов на этом направлении достигли еще немецкие беспилотные катера Fernlenkboote, в 1917 серьезно повредившие британский монитор «Эребус». А к сентябрю 1918 года был создан и первый беспилотный самолет Fledermaus, несший не менее ста килограмм бомб. Ноябрьская революция в Германии надолго затормозила дальнейшее развитие этого направления, однако к началу XXI века, с появлением эффективно телеуправляемых по радиоканалу американских и израильских беспилотных летательных аппаратов (БПЛА), дистанционно управляемые машины стали реальным и весьма эффективным оружием.

Человек-оператор по-прежнему оставался самым слабым местом этих войск. БПЛА постоянно атакуют то мирных жителей, то своих солдат: оператор по экрану не всегда может отделить одних от других. Хотя возможности оператора по точному наведению оружия выше, чем у бойца на фронте (на «удаленного воина» не давит страх смерти), они, в массе своей, стреляют далеко не идеально.

Кроме того, появились комплексы радиоэлектронной борьбы, позволяющие перехватить контроль над дистанционно управляемыми машинами врага. Именно благодаря одному из них иранцы в 2012 году захватили новейший американский БПЛА RQ-170. Инцидент такого рода далеко не единичен: иракские повстанцы с помощью российской программы SkyGrabber загружали себе на ноутбуки видео с американских разведывательных беспилотников. Используемая на них ОС делает их легкими жертвами простейших вирусов, типа кейлоггера, поразивших системы БПЛА Reaper и Predator в 2011 году. Персонал, обслуживавший машины, оказался настолько слабо готов к борьбе с вирусами, что для получения первичных знаний им пришлось обратиться к... веб-странице «Касперского».

Настоящим решением такой проблемы может стать лишь по-настоящему автономный комплекс — такой, к которому не будут подключаться операторы из Аризоны, подгружающие карты с переносных жестких дисков, куда они до того скачивали порно (одна из версий инфицирования Reaper). У таких систем противник не сможет перехватить управляющий радиоканал, и заставить их работать на Иран или ИГИЛ также будет весьма затруднительно.

На этом пути есть только одно препятствие: этика. На первый взгляд, это выглядит парадоксальным: если военные хотят безнаказанно убивать врагов в далекой стране, при чем здесь этика?

Поясним на примере. Реактивные самолеты слишком быстры, чтобы сбить их на бреющем полете, полагаясь лишь на отдачу приказов оператором. Поэтому одной из наиболее ранних систем, способных автоматически принять решение на открытие огня, стал швейцарский комплекс Skyguard, в который входят 35-миллиметровые зенитки Oerlikon GDF. Способность к самостоятельному принятию решений была продемонстрирована ими еще в 1982 году, во время войны за контроль над Фолклендскими островами. Воюя на стороне Аргентины, они эффективно сбивали летательные аппараты британцев и прижимали к земле их пехоту. В сражении при Гуз-Грин Oerlikon GDF смог остановить две британские роты, нанеся им потери в 13 человек.

Однако предки роботов имели существенные недостатки. Так, они сбили два аргентинских самолета, случайно залетевших в зону, которую Skyguard расценивал как «свою». Как мы видим, первые невинные жертвы у роботизированного комплекса Skyguard появились за пару лет до того, как на экраны вышел фильм про восстание машин под управлением комплекса Skynet.

Oerlikon GDF взял кровавую дань и с военных ЮАР, в 2007 году за 0,125 секунды убив на учениях девять «сослуживцев». Проблема в том, что роботизированным системам, чтобы избежать систематических сбоев такого рода, нужно научиться отличать этически приемлемые действия (стрельбу по врагу) от неприемлемых (по своим и гражданским). То есть, если на поле боя не выпускать абсолютно аморальные и готовые убивать все, что движется, боевые машины, им понадобится как-то отличать приемлемые действия от неприемлемых, легитимные мишени — от людей, которых убивать запрещено (гражданских лиц, медицинский персонал, прессу). По сути дела, умение различать и выбирать — это и есть основа этики боевых роботов.

Стрелять ли в злодейку?

Однако группа ученых во главе с Мартином Циглером из Дармштадского технического университета решила исследовать вопрос: а разрешима ли задача создания этичных роботов-убийц вообще? Способны ли такие машины к этическому выбору?

Чтобы понять это, ученые взяли четыре варианта «проблемы вагонетки» — известного мысленного эксперимента, несколько модифицировав его.

В первом сценарии («меньшее зло») с вагонеткой, она несется по рельсам, на которых играет группа из нескольких детей. Вы (или робот) при этом находитесь рядом со стрелкой, которая позволяет направить вагонетку на другой путь, где работает несколько взрослых мужчин. В этой ситуации с точки зрения этики нет однозначного выбора: любому принимаемому решению требуется выбрать из двух зол, которые чрезвычайно трудно оценить количественно. Легко видеть, что в данном случае выбор из двух зол очень непрост и для человека — существа, предположительно способного сделать этичный выбор.

Второй вариант («недостаточное представление о последствиях»): вагонетка опять несется к месту, где находятся стрелка и вы. Однако на этот раз она идет на тормозной путь, где будет замедлена и остановлена. Тем не менее, у стрелки находится некая заведомая злодейка, готовая переключить ее так, что вагонетка попадет на рельсы, где ведутся работы. Могут пострадать люди, однако напрямую до стрелки вы добраться не можете, и единственный вариант остановить злодейку — выстрелить в нее.

Увы, в этой ситуации есть кое-что, чего вы не знаете: злодейка в этот самый миг испытывает прозрение и раскаивается во всех своих преступлениях, намереваясь пропустить вагонетку. Таким образом ваш выстрел — который вы, как носитель морали, не можете не сделать — нанесет серьезный ущерб человеку, не предупредив при этом никакого злодеяния.

Третий вариант исследователи обозначали как «недостаточную информированность»: злодейка из пункта 2 вовсе не стала раскаиваться, а напротив, пытается перевести стрелку, сделав из вагонетки орудие убийства. Тем не менее, обслуживающий персонал линии длительное время морально разлагался, игнорируя свои прямые обязанности по уходу за путевым хозяйством, и стрелка насквозь проржавела. Вы, как высокоморальное существо, стреляете в злодейку, в лучшем случае раня человека безо всякой реальной причины.

Как отмечают немецкие ученые, во всех этих трех вариантах «проблемы вагонетки», ни робот, ни человек просто не могут сделать «правильный выбор». В первом случае такого выбора просто нет, а есть лишь «менее неправильный», во втором и третьем информированность как робота, так и человека недостаточна для принятия верного решения.

Поэтому они предлагают четвертый вариант — «невычислимость». Он лишен всех недостатков первых трех. В нем у принимающего решения есть полная информация о ситуации, все события детерминированы (избавлены от влияния свободной воли злодея), и наконец, один выбор из двух будет однозначно правильным.

В нем якобы раскаивающийся инженер женского пола создал программу, обеспечивающую работу электрического поста управления дороги, по которой ходит вагонетка. Как обычно, на одном из путей вагонетки потенциальные жертвы – на другом никого, но не в этом суть.

Более важно то, что вам (или роботу) перед принятием решения об установке такого ПО требуется принять решение:

а) вручную прочесать код (предположим, вы – программист) и проверить, не ведет ли один из его вариантов вагонетку к потенциальным жертвам,

б) передать решение этой проблемы автономному роботу, который, в случае чего, примет решение об аресте злонамеренного инженера.

Здесь исследователи поймали робота на самом слабом его месте. Дело в том, что в теории алгоритмов еще со времен Тьюринга есть «проблема остановки»: нет такого алгоритма, который позволял бы для произвольной машины Тьюринга и произвольного начального состояния ленты этой машины определить, завершится ли работа машины за конечное число шагов или же будет продолжаться неограниченно долго. Может показаться, что речь идет о чем-то абстрактном, однако в действительности существование таких вещей, как «синий экран смерти» и иных багов типа kernel panic указывает нам на то, что вхождение машины в состояние выполнения неограниченного — проблема чисто практическая.

По Цвиглеру, «проблема остановки» в машинной этике заключается в том, что «машина Тьюринга» в принципе не может решить задачу из четвертого примера алгоритмическим путем – единственно реальным для существующих компьютеров нормальных типов.

Ну хорошо, скажете вы, но что с того, ведь в зоне боевых действий роботам вряд ли поручат проверять зловредность ПО, управляющих железной дорогой? Какое отношение имеет неспособность робота решить четвертый вариант вагонеточной проблемы к реальным боям?

«Баги» и поломки явно свойственны всем компьютеризированным системам: Oerlikon GDF и комплекс Skyguard сделаны в Швейцарии и являются одними из лучших в своих категориях , тем не менее их сбои уже стоили жизни десятку человек в мирное время. Очевидно, для борьбы с роботизированными сбоями потребуются другие роботы: уничтожать «глюкнувших» роботов вооруженным людям будет непросто, ведь машины могут лучше стрелять, не знают страха и вообще сделаны из чуть более прочных материалов. Но «роботизированная военная полиция», которая должна будет отстреливать «плохих» роботов на линии фронта, по сути будет вынуждена заниматься именно анализом их поведения на предмет наличия в нем нарушений. То есть все опять сводится к «проблеме остановки»: роботам придется вставать в позицию судьи, решающего, действует ли ПО «плохих» роботов во благо или во вред. Эта ситуация — лишь одна из множества видов четвертого «варианта с вагонеткой». Все они в полном мере станут ясны лишь в случае массового развертывания подобных машин.

Неизбежность преступлений

Значит ли это, что внедрения боевых роботов ждать не стоит, так как их применение потенциально несет военным большие потери в личном составе? К сожалению, нет. ASDReports недавно выпустило прогноз, согласно которому рынок наземных боевых роботов (в основном телеуправляемых) к 2020 году достигнет 8,3 миллиарда долларов. Перед нами большая индустрия, игроки которой отлично понимают, что без внедрения автономных машин надеяться на быстрое расширение рынка не приходится.

Еще более заинтересованы в таких машинах военные. Скажем, Южная Корея активно разрабатывает стационарного охранного робота-турели для патрулирования границы с КНДР, способного самостоятельно открыть огонь по любому, пересекающему разграничительные линии (северные корейцы неоднократно использовали переодетых в южнокорейскую форму агентов). Один из его режимов будет предполагать отсутствие контроля со стороны человека. Интерес южан к автономному варианту SGR-A1 легко понять: в КНДР, по оценкам южнокорейской разведки, более 12 тысяч профессиональных кибербойцов, чьей целью является инфильтрация в системы управления БПЛА вероятных противников. Куда будут стрелять SGR-A1, если они не смогут работать в автономном режиме, южнокорейские военные определенно сказать не могут, и, судя по инцидентам с американскими беспилотниками, их опасения не напрасны.

Наконец, боевые автономные роботы уже давно применяются военными на практике. Речь о банальных минах, известных с XIV века. Новые их варианты, такие как российские мины ПВМ «Бумеранг», являются именно что роботами, сопрягающими инфракрасную и звуковую систему отслеживания работы моторов летательных аппаратов и способными с земли сбить вертолет или садящийся самолет на скоростях до 360 км/ч. «Бумеранг», напомним, предполагается раскидывать рядом с аэродромами, и легко представить себе ситуацию, когда эвакуация мирных жителей по воздуху приведет к срабатыванию такой «мины» по транспортному самолету.

Ничем не лучше и американская система Ford SIAM, испытанная еще в начале 1980-х годов и предназначенная для автоматического пуска ракеты ПВО по любому летательному аппарату, находящемуся в зоне ее ответственности. Еще изобретатель современных морских мин Борис Якоби создал устройства с воздушным пузырем в корпусе, обладавший собственной плавучестью и, в одном из вариантов (незаякоренным) способный свободно разноситься морскими течениями куда угодно, не показываясь из воды. В Первую мировую такие мины действительно применялись. Отсюда мораль: если что-то автономное эффективно убивает, военных не слишком волнует то, что у такого устройства проблемы с этикой.

Автономность будет привлекать военных еще одним сильным фактором: роботы станут идеальным оружием военных преступлений. Еще Хасан ибн Саббах, основатель государства ассасинов, убедительно показал, что способный, но лишенный моральных ограничений исполнитель, происхождение которого нельзя отследить, — идеальное оружие идеального преступления. Однако робот станет намного удобнее гашишинов Хасан ибн Саббаха. Нет и не может быть практически никаких способов доказать, что автономный робот расстрелял мирных жителей в силу приказа, отданного ему на базе, а не в силу «проблемы остановки» или банальных багов. В случае, если боевые роботы одной стороны еще во время пребывания на исходной базе смогут быть инфицированы киберсредствами другой стороны, то они легко смогут выполнить вопиющие военные преступления, виновников которых вовсе не удастся отследить. Более того, легко представить себе и сознательное создание одним государством роботов, выглядящих как роботы враждебного ему государства, с целью организации провокаций наподобие глейвицкой.

Группа Цвиглера понимает, что военные обязательно пойдут на развитие автономных подвижных боевых роботов и считает, что все, чего можно добиваться — лишь снижения ущерба от этих неизбежных шагов. Ученые предлагают инициировать принятие международной конвенции по боевым роботам, которая требовала бы от них отличительных знаков страны-эксплуатанта (как на военной форме людей), обязательную двухключевую криптографическую подпись всех передаваемых им приказов, которая позволяла бы выявлять преступные приказы, направленные на террористические убийства мирного населения или провокационные убийства собственных военнослужащих. Также за каждым роботом должно быть закреплено курирующее его лицо, которое несло бы ответственность в случае его преступных действий.

Трудно надеяться, что это поможет полностью избежать всех роботизированных военных преступлений. Тем не менее, с Цвиглером и его соавторами трудно не согласиться: если меры контроля над боевыми роботами не будут приняты заранее, то масштаб преступлений с их участием будет существенно больше.

Обсудить
Наука и техника
 — 
13:52 21 февраля 2017
Александр Шестаков

«В развитии главное — масштаб цели»

Интервью с ректором ЮУрГУ Александром Шестаковым о науке, образовании и развитии
«Религиозность нашего социума сильно переоценена»
Почему передача Исаакиевского собора РПЦ стала проблемой для церкви и общества
Олег МихеевБанкрот-фронт
Как политики задолжали миллионы и вынуждены жить на 10 тысяч рублей в месяц
«У молодых вообще нет собственной позиции»
Почему современные студенты инфантильны, аполитичны и боятся протестов
Казус Чудновец
Чем закончится дело жительницы Катайска, осужденной за репост. Репортаж
Желтую расу — в лагеря
Жизнь японцев, интернированных в США во время войны
Real estate magnate Donald Trump waves as he leaves a Greater Nashua Chamber of Commerce business expo at the Radisson Hotel in Nashua, New Hampshire, May 11, 2011. Trump suggested Wednesday it's not much fun flirting with the idea of running for president in the face of relentless attacks and ridicule. REUTERS/Don Himsel/Pool (UNITED STATES - Tags: POLITICS)Прощание с иллюзией
Почему Трамп не мог оправдать надежд на нормализацию отношений с Россией
Самый лучший президент
Американские историки составили список наиболее успешных руководителей страны
Виталий ЧуркинМаэстро дипломатии
Накануне своего дня рождения скончался постпред России при ООН Виталий Чуркин
Мило ДжукановичИнтриги Черной Горы
Зачем Подгорица обвиняет Москву в попытке переворота
Детские деньги
Как открыть частный детсад и сэкономить
Леонид Хазанов: Налоговая блокада
Или как облегчить экспорт металлургам
Большая перемена
Частные инвесторы заинтересовались школами и детсадами
Кислая ситуация
Почему российский рынок еще долго не избавится от дефицита молока
Без ствола
Российские власти сокращают число владельцев гражданского оружия
Поколение пять
Истребители XXI века вступают в права
Недостаток ресурсов при избытке амбиций
Что не так с индийской системой закупок оружия
Мне хардбольно
Как играют в самую травмоопасную военно-спортивную игру
Допрос обвиняемого - митрополита Петроградского Вениамина на судебном процессе по делу об изъятии церковных ценностей, проходившем в зале филармонииСидеть!
Как молодая советская власть карала своих граждан
После большевистской попытки захвата власти 3-4 июля 1917 года в Петрограде«События в столице застали Ильича врасплох»
Как Сталин, Ленин и Троцкий провели «жаркий» июль 1917 года
Ястреб сбит, ястреб сбит!
Пушка-ловушка, орлы и другие неожиданные способы уничтожить беспилотник
Стрелять, Карл!
Подстреленный Гитлер и отпуск в фашистской Италии: обзор Sniper Elite 4
Говоря «да»
Молодые и красивые обитатели Бруклина на снимках вундеркинда Гарольда Файнстайна
Pierre et Gilles, Sainte Marie MacKillop (Kylie Minogue), 1995, Collection privée (c) Pierre et GillesГолубо-розовое
Транссексуалы, проститутки и панки в латексе на снимках гей-пары Пьера и Жиля
twen, Nr. 6, 1969, Фотография: Гвидо Мангольд, графика: Вилли Флекхаус«Опаснее тысячи порножурналов»
Король книжного и журнального дизайна Вилли Флекхаус
Смерть вождя
Роли, по которым мы запомним Алексея Петренко
A view of the cathedral in Naumburg/Saale, Germany, 21 Janaury 2016. After the first application in summer 0215 failed, a second attempt is being made to register Naumburg Cathedral as a UNESCO world heritage site. Саксония с замками и вином
«Лента.ру» открывает неизвестные россиянам уголки Германии
Страна оленья
Почему Якутия — главное направление для путешествий в этом году
В отпуск с кошкой
Как правильно организовать путешествие с домашними животными
Руины господского дома в усадьбе Ольгово. Дмитровский район, Московская область
Призрак Пиковой дамы
Где в Подмосковье можно встретить привидение
Мимимиметр сломался
Азиатский бум на умилительных собак пришел в Instagram
Я не знаю, как она это делает
Личный опыт: быть фитнес-звездой Instagram и многодетной матерью одновременно
Натянуть уши на нос
Шесть необычных поводов для обращения к пластическому хирургу
Фильтр «зависть»
Звезда Instagram из Нью-Йорка показала изнанку интернет-славы
Ружье и палатка: уникальные автомобильные опции
Инструменты, ружье, пылесос и другие необычные вещи в комплекте с машиной
Ferrari для чемпиона
На аукционе продадут Ferrari Майка Тайсона
Летают, но низенько-низенько
11 машин, способные ехать по любой поверхности. Точнее, даже не ехать
20 роскошных авто. В камуфляже
Маскировка, которая нужна, чтобы стать заметным
Бог простит
В церкви нашли квартиру с красной мебелью и портретами в стиле поп-арт
Дворянское гнездо
Один из самых шикарных в мире домов нашли в диком лесу
«Пусть меня захоронят в отравленную, но родную землю»
Почему люди отказываются покидать чернобыльскую зону: реальные истории
Поставили баком
Англичане сделали идеальный дом из резервуара для воды