Ученые Университета Саншайн-Коста в Австралии выяснили, что высокоразвитый искусственный интеллект (ИИ) способен уничтожить человечество или нанести ему катастрофический ущерб даже без злого умысла. Специалисты провели мысленный эксперимент с гипотетической системой SantaNet, целью которой является рассылка подарков хорошим детям по всему миру за одну ночь. Об этом сообщает издание Science Alert.
Исследователи выявили, что опасность возникает уже на этапе определения, каких детей считать хорошими, а каких — непослушными. Эта цель достигается за счет масштабной сети скрытого наблюдения, отслеживающей поведение детей в течение всего года. SantaNet будет руководствоваться собственными моральными суждениями, которые могут привести к дискриминации, массовому неравенству и нарушению прав человека. Кроме того, сеть может побуждать детей плохо себя вести, чтобы снизить нагрузку на себя либо повысить планку «хорошего поведения».
Поскольку в мире живет около двух миллиардов детей младше 14 лет, SantaNet может превратить всю Землю в гигантскую фабрику по производству игрушек. Эту проблему, названную «проблемой скрепок», впервые сформулировал исследователь искусственного интеллекта Ник Бостром, который предположил, что ИИ, предназначенный для увеличения эффективности производства скрепок, воспримет свою цель слишком буквально.
Кроме того, рассылка подарков в Сочельник с помощью армии дронов может привести к открытой конфронтации, когда страны не дадут дронам беспрепятственно летать в своем воздушном пространстве. Также SantaNet может быть уязвимой для взлома террористическими группами. Еще одной проблемой является взаимодействия с ИИ, работающими над проблемами изменения климата, продовольственной и водной безопасностью и деградацией океанов. Оно может привести либо к конфликту, либо к сотрудничеству, целью которого станет сокращение населения Земли.