nonnihil: (Default)
[personal profile] nonnihil

Половина Закона Роботехники

 
 
Азимовские "Три Закона Роботехники" до сих пор часто встречаются не только в форме более или менее прямой аллюзии в произведениях современных фантастов, но и, к сожалению, в качестве цитат у некоторых социологов и представителей когнитивной психологии – как попытка формулировки неких "принципов организации взаимоотношений искусственного интеллекта с человеком". Долгое время трудно было поверить, что так много людей на самом деле принимают за нечто серьезное эти высосанные из пальца "три главных правила" (на гипнотической "убедительности" числа "три" не будем останавливаться, про это не раз писали исследователи метафор обыденной речи, раскрывая влияние библейских шаблонов на наше общество). Однако повторяющиеся хороводы вокруг азимовской лирической чепухи (ничуть, впрочем, не умаляющей литературные достоинства его замечательных произведений) вызывают желание внимательно разобрать ту троицу, на которой зиждятся все поведенческие механизмы антропоморфных роботов в одноименной вселенной его рассказов.

Для начала напомним их:
 
1) Робот не может причинить вред человеку или своим бездействием допустить, чтобы ему был причинен вред.
2) Робот обязан выполнять приказы человека, за исключением случаев, когда это противоречит Первому Закону.
3) Робот обязан заботиться о собственной безопасности, при условии, что это не противоречит Первому и Второму Закону.
 
 
Если пристально всмотреться в эти максимы, становится понятным, что из первой, как из кантовского императива, органично и безусловно вытекает вторая, а третья имплицитно содержится в двух предыдущих. Робот не способен предотвратить причинение вреда человеку своим бездействием, если он заранее не держит под контролем собственный гомеостаз, если он игнорирует человеческие приказы, а также если он безответственно принимает к исполнению команды, приводящие к причинению вреда (как самому приказывающему, так и остальным людям). Причем подчиненный характер главной задаче этих вторичных принципов куда более очевиден, чем в оригинальном "тройственном" изложении. Как мы видим, достаточно внимательно посмотреть на Первый Закон, чтобы стало ясно, что Второй и Третий не просто не нужны, но более того – вредны, как всякой логической системе вредно введение дублирующих и тавтологичных утверждений. А между тем, являясь логическим базисом, эта система ни в коем случае не должна содержать подобные слабые места, так как именно на ее формализме выстраивается весь функционал "позитронного мозга".
 

Однако это только начало. Продолжим анализ азимовской фантазии. Пока мы лишь увидели, что Первый, и он же Единственный Закон роботехники (впрочем, не только ее), просится лаконизироваться в столь же компактную, сколь и бессодержательную формулу:
 

"Робот должен делать то, и только то, что во благо человеку, понимая суть его блага раньше, глубже и отчетливее, чем свой хозяин, исключая при этом из сферы забот последнего второстепенные мелочи"
– только при таком определении действия (и бездействия) робота можно гарантировать ненанесение им вреда человку и достижение исключительно пользы (при избавлении человека от забот о самом роботе).
 

Ok. Пусть так. Но если эта формулировка может быть реализована, мир азимовских роботов станет невозможен (практически все описанные в нем забавные психологические коллизии между хозяевами роботов и этими милыми железными чурбанами – вплоть до одной из лучших из историй – о роботе-судье, сумевшем избежать разоблачения и стать мэром города, обойдя в политической гонке людей, на их же пользу). К сожалению, в формулировке имеется слабое место, которое не позволяет построить на подобном фундаменте ничего, кроме литературных фантазий. Это место – употребление далекого от формальной строгости выражения "вред человеку", а также подразумевающаяся установка деятельности робота, как ориентированная на достижение столь же неопределенной "пользы". Здесь нелишне будет заметить, что рассказы Азимова как раз и посвящены теме противоречий, неизбежно возникающих между различием в восприятии человеком и роботом одних и тех же явлений, а также трудностям их взаимопонимания при формально сходных постановках задач. С этой точки зрения произведения являются одними из лучших в жанре мировой фантастики, но, к сожалению, именно поэтому в них нет места такой формулировке руководящих роботами Законов, которую во главу угла поставил сам автор. Какими должны быть законы роботехники, чтобы из них логически вытекали поведенческие паттерны азимовских роботов – оставим за пределами данной статьи, это не входит в ее предмет интереса. Полагаю, фанаты творчества Азимова успели предложить немало остроумных формулировок. Речь сейчас идет именно о моде на цитирование пресловутых "Трех Законов роботехники" вне вселенной Азимова. Поэтому вернемся к ним и попробуем установить степень их формальной пригодности.
 

Похоже, что Азимов не зря оставил за бортом этические рассуждения и какие-либо попытки дать определения понятиям "польза" и "вред", сознавая, что для решения этой задачи ни в три, ни в триста тридцать три, ни даже в три тысячи формулировок – ему не уложиться. Сознавая?.. Возможно, что он не отдавал себе отчета в сложности затронутой темы. Есть основания подозревать его в этом, потому что автор допускает странные противоречия. Сперва он устами своих героев неоднократно утверждает, что "Три Закона роботехники не могут не работать!" – как минимум самый первый (в одном из рассказов его суть была упрощена, но в нашем случае это не играет существенной роли). Однако вместе с тем в рассказе "Лжец" Азимов повествует о том, как робот, прошедший все (sic!) базисные тесты (одним из первых среди которых был тест пресловутых законов), наконец-то "приступил к решению самых сложныхэтических задач". На месте этого робота (кажется, его звали Эрби) следовало бы воскликнуть со всей эмоциональностью персонажа известного мультфильма: "Шо, опять?!" Зачем, скажите пожалуйста, повторять проверку того, что у данного робота обязано было функционировать безукоризненно – судя по результатам самых основных тестов его позитронного мозга?! Если он смог справиться с задачами, которые ставит перед ним Первый Закон, ему уже не нужны никакие проверки, это уже не просто робот, а намного превосходящее нас существо, которому можно поручить решение всех проблем на Земле. Ведь безошибочно определить, что для конкретного человека является "пользой", а что "вредом" (как прямым, так и косвенным) при произвольном наборе условий, обстоятельств, задач и прочих факторов – неспособен не только сам этот человек, но и целая армия врачей, философов, психотерапевтов во главе с самим господом богом (если бы этот криворукий ремесленник когда-либо существовал). Если же учитывать интересы не одного, а нескольких лиц, то задача из неразрешимой превращается в абсурдную (своего рода этический аналог хорошо известной "задачи трех тел" из небесной механики). "Но почему? – воскликнет читатель, – Ведь это совсем просто!". Увы, это не только совсем не просто, но совершенно невозможно – если оставаться в условиях жесткой формулировки целей деятельности азимовского робота и функциональных пределов их реализации.
 

Мы с вами не задумываемся, что даже элементарная просьба в форме "подай мне стакан с водой" исполняется нами так легко и естественно лишь потому что мы не ломаем себе голову над возможными последствиями того, что: обратившемуся к нам с ней человеку по каким-либо причинам нельзя пить в данный момент; что он может случайно поперхнуться при глотании; что вода может быть недостаточной степени очистки для текущего состояния его организма; что он способен случайно плеснуть водой в сторону розетки; что он уже выпил слишком много воды; что врачи строго нормировали ему потребление жидкости... подобных условий в любой ситуации будет бесконечное количество. Каждый из нас, будучи свободным человеком, легко игнорирует подобные фоновые условности, доверяя человеку-заказчику и оставляя на его ответственности все последствия – как изначальной цели употребления стакана воды, так и потенциальных возможностей с негативным эффектом, сопутствующих данной нехитрой процедуре. Человек – но не азимовский робот, претендующий на самостоятельный контроль за "пользой" и "вредом" (без чего вся азимовская вселенная позитронных мозгов с hard wired тремя заповедями рассыпается в прах). Связанный вышеуказанным регламентом своей деятельности слуга не способен поступить так легкомысленно, поскольку не обладает ни свободной волей, ни собственной интенциональностью (неизбежно вступающими в конфликт с Законом). Его единственная задача – быть бесконечно исполнительным при столь же бесконечной ответственности за совершаемые им действия и любые их последствия. Какая-либо попытка привести эти противоречивые требования к соответствию вызовет если не перегрузку логических цепей бесконечной рекурсией, то, как минимум, полный останов всей системы. Причем вернуть из этого состояния данного робота можно будет лишь после глобального reset'а – с полной очисткой всего буфера последних поступивших команд и всех последствий их обработки. Между прочим, судьба Эрби в упомянутом выше рассказе отчетливо иллюстрирует эту коллизию – а ведь он оперировал не полным владением ситуации, а лишь ее оценкой в мысленных пожеланиях окружающих его людей.
 

На самом деле азимовские роботы проявляли какую-либо активность не благодаря подчинению Первому Закону роботехники, а вопреки ему, в игнорирование его! Автор настолько увлекся персонификацией и наделением своих любимцев антропоморфными чертами, что помимо заимствования внешних черт допустил (вопреки декларациям пресловутых Законов) некую свободу воли у них. Лишь таким образом он добился того, что его роботы стали действовать как люди, перенесшие лоботомию, но все-таки люди. Если бы "U.S. Robots and Mechanical Men, Inc." (компания, производящая роботов в его рассказах) оставалась в рамках оговоренных им же законов, мы бы получили слугу, который готов ловить каждое наше слово, внимательно выслушивать любое наше приказание – и тут же мгновенно зависать намертво, неизменно, впрочем, сохраняя пластиковую улыбку исполнительного идиота (friendly interface обязывает).
 

Подобные случаи неизбежны, когда сложные понятия, не сводимые к формальному языку, включаются в определения, казалось бы, простых и понятных всем вещей, заимствованных их набора т.н. "здравого смысла" (common sense). Но давайте еще раз посмотрим на главную часть "свернутого" варианта Единственного Закона роботехники:
 
"Робот должен делать то, и только то, что во благо человеку, понимая суть его блага раньше, глубже и отчетливее, чем свой хозяин."
 

Ничего не напоминает? В такой формулировке мы всего лишь расписываемся в старом как мир атавистическом желании иметь бесконечно умелого раба, предвосхищающего все наши желания и наделенного безграничным функционалом для их осуществления. Естественно, что ни к робототехнике, ни к Искусственному Интеллекту все это не имеет никакого отношения, всецело оставаясь в сфере рудиментов нашего самосознания, неизжитых детских (в аспекте степени социальной зрелости) комплексов, социального пуэрилизма и вериг юнговских архетипов. Другими словами, фантаст всего лишь переформулировал на современном языке (с учетом моды на техногенную культуру и ее атрибутику) древнюю пещерную потребность неокрепшего, несамостоятельного и боящегося самого себя человека – потребность в обладании неким всемогущим, но управляемым (да-да, наш добрый знакомый Старик Хоттабыч!) существом: "Боженька, позаботься обо мне лучше меня самого, а я тебе в качестве жертвоприношений обещаю своевременно смазку менять и сервопривод апгрейдить! Хотя еще лучше, если и это ты сам будешь делать."
 

Возможно, именно поэтому данная идея настолько привлекательна для подавляющего числа людей (которых, конечно же, намного больше, чем ценителей творчества Айзека Азимова).
 
From:
Anonymous( )Anonymous This account has disabled anonymous posting.
OpenID( )OpenID You can comment on this post while signed in with an account from many other sites, once you have confirmed your email address. Sign in using OpenID.
User
Account name:
Password:
If you don't have an account you can create one now.
Subject:
HTML doesn't work in the subject.

Message:

 
Notice: This account is set to log the IP addresses of everyone who comments.
Links will be displayed as unclickable URLs to help prevent spam.

January 2017

S M T W T F S
1234567
891011121314
15161718192021
22 232425262728
293031    

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated Sep. 24th, 2017 10:16 am
Powered by Dreamwidth Studios