Какие законы робототехники ты знаешь. Этические проблемы роботов: как нарушить законы робототехники

Три закона робототехники - обязательные правила поведения для роботов, фигурирующие в серии фантастических произведений Айзека Азимова.

Второй закон робототехники . Робот должен повиноваться командам человека, если эти команды не противоречат Первому Закону.

Третий закон робототехники. Робот должен заботиться о своей безопасности, пока это не противоречит Первому и Второму Законам.

Известные произведения

Айзек Азимов (другой вариант написания имени - Исаак Озимов; англ. Isaac Asimov; 2 января 1920 - 6 апреля 1992) - американский писатель-фантаст, популяризатор науки, по профессии биохимик. Автор около 500 книг, в основном художественных (прежде всего в жанре научной фантастики, но также и в других жанрах: фэнтези, детектив, юмор) и научно-популярных (в самых разных областях - от астрономии до истории и литературоведения). Многократный лауреат премий «Хьюго» и «Небьюла». Некоторые термины из его произведений - robotics (робототехника, роботика), positronic (позитронный), psychohistory (наука о поведении больших групп людей) - прочно вошли в английский и другие языки. В США и других западных странах многие считают Азимова одним из трёх величайших фантастов XX века (два других - Артур Кларк и Роберт Хайнлайн).

Биография

Азимов родился (по документам) 2 января 1920 года в Петровичах, Горецкого уезда Могилёвской губернии, в России (в действительности он мог родиться и несколько раньше, вплоть до 19 октября 1919 года). Его родители, Анна Рахиль Берман-Азимова (Anna Rachel Berman Asimov) (1895-1973) и Иегуда Азимов (Judah Asimov) (1896-1969), были евреями по национальности и мельниками по профессии. Назвали его в честь покойного деда по матери, Исаака Бермана.

У Азимова была младшая сестра Марция (Marcia, род. 1922; до переезда в США её звали Маня) и младший брат Стэнли (Stanley, 1929-1995). Впоследствии Марция вышла замуж (1955) и родила двоих сыновей. Стэнли стал журналистом и сделал успешную карьеру в ежедневной газете Newsday. Его должность называлась vice president in charge of editorial administration. Умер Стэнли от лейкемии 16 августа 1995 года. У Стэнли было трое детей: Эрик (Eric) и Нэнит (Nanette), оба журналисты, и Дэниел (Daniel), математик. Дэниела Азимова можно найти в Сети, но он не любит, когда к нему пристают с вопросами о его знаменитом дяде.

В 1923 родители увезли его в США, где поселились в Бруклине и через несколько лет открыли кондитерский магазин. Поскольку Азимов уехал из России в трёхлетнем возрасте, а родители, будучи в США, старались говорить с ним только по-английски, он почти не знал русского языка.

В 5 лет Айзек Азимов пошёл в школу. (Ему полагалось пойти в школу 6 лет, но мать исправила его день рождения на 7 сентября 1919 года, чтобы отдать его в школу на год раньше.) После окончания десятого класса в 1935 году, 15-летний Азимов поступил в Seth Low Junior College, но через год этот колледж закрылся. Азимов поступил на химический факультет Колумбийского университета в Нью-Йорке, где получил в 1939 году степень бакалавра (B. S.), а в 1941 году - магистра (M. Sc.) по химии и поступил в аспирантуру. Однако в 1942 году он уехал в Филадельфию, чтобы работать химиком на Филадельфийской судоверфи для армии. Вместе с ним там же работал и другой писатель-фантаст Роберт Хайнлайн.

В феврале 1942 года, в Валентинов день, Азимов встретился на «слепом свидании» с Гертрудой Блюгерман (Gerthrude Blugerman). 26 июля они поженились. От этого брака родился сын Дэвид (David) (1951) и дочь Робин Джоан (Robyn Joan) (1955).

С октября 1945 года по июль 1946 Азимов служил в армии. Затем вернулся в Нью-Йорк и продолжил образование. В 1948 году закончил аспирантуру, получил степень Ph. D., соответствующую кандидату наук, и поступил в постдокторат как биохимик. В 1949 году он устроился преподавателем на медицинский факультет Бостонского Университета, где в декабре 1951 года стал ассистентом (assistant professor), а в 1955 году - ассоциированным профессором (associated professor). В 1958 году университет перестал ему платить зарплату, но формально оставил в прежней должности. К этому моменту доходы Азимова как писателя уже превышали его университетскую зарплату. В 1979 году ему было присвоено звание полного профессора (full professor).

В 1970 году Азимов расстался с женой и почти немедленно стал жить с Джанет Опал Джеппсон (Janet Opal Jeppson), с которой познакомился на банкете 1 мая 1959 года. (До этого они встречались в 1956 году, когда он подписал ей автограф. Азимов вообще не запомнил ту встречу, а Джеппсон сочла его неприятным человеком.) Развод вступил в силу 16 ноября 1973 года, а 30 ноября Азимов и Джеппсон поженились. От этого брака не было детей.

Умер 6 мая 1992 года от СПИДа, которым заразился при операции на сердце в 1983. О том, что причиной смерти был СПИД, стало известно лишь через 10 лет из биографии, написаной Джанет Опал Джеппсон.

Литературная деятельность

Писать Азимов начал в 11 лет. Он начал писать книгу о приключениях мальчиков, живущих в маленьком городке. Он написал 8 глав, после чего забросил книгу. Но при этом произошёл интересный случай. Написав 2 главы, Айзек пересказал их своему другу. Тот потребовал продолжение. Когда Айзек объяснил, что это пока всё, что он написал, его друг попросил дать почитать книгу, где Айзек прочёл эту историю. С того момента Айзек понял, что он обладает писательским даром, и стал серьёзно относиться к своей литературной деятельности.

В 1941 был опубликован рассказ «Приход ночи» (Nightfall) o планете, вращающейся в системе шести звёзд, где ночь наступает раз в 2049 лет. Рассказ получил огромную известность (согласно Bewildering Stories, он был одним из самым известным из когда-либо публиковавшихся рассказов).

В 1968 году Ассоциация Американских Фантастов (Science Fiction Writers of America) объявила «Приход ночи» лучшим из когда-либо написанных фантастических рассказов. Рассказ более 20 раз попадал в антологии, дважды был экранизирован (неудачно) и сам Азимов впоследствии назвал его «водоразделом в моей профессиональной карьере». Малоизвестный до тех пор фантаст, опубликовавший около 10 рассказов (и ещё примерно столько же были отвергнуты), стал знаменитым писателем. Интересно, что сам Азимов не считал «Приход ночи» своим любимым рассказом.

10 мая 1939 года Азимов начал писать первую из своих историй о роботах, рассказ «Робби» (Robbie). В 1941 году Азимов написал рассказ «Лжец» (Liar!) о роботе, умевшем читать мысли. В этом рассказе впервые появляются знаменитые три закона робототехники. Азимов приписовал эти законы Джону У. Кемпбеллу (John W. Campbell), сформулировавшему их в беседе с Азимовым 23 декабря 1940 года. Но Кемпбелл говорил, что идея принадлежала Азимову, он только дал ей формулировку. В этом же рассказе Азимов придумал слово «robotics» (роботика, наука о роботах), вошедшее в английский язык. В переводах Азимова на русский robotics обычно переводят несуществующим словом «роботехника». До Азимова, в большинстве историй о роботах они бунтовали или убивали своих создателей. С начала 1940-х годов, роботы в фантастике подчиняются трём законам роботехники, хотя по традиции ни один фантаст, кроме Азимова, не цитирует эти законы явно.

В 1942 году Азимов начал серию «Основание». Изначально «Основание» и рассказы о роботах относились к разным мирам, и лишь в 1980 году Азимов решил их объединить.

С 1958 года Азимов стал писать гораздо меньше фантастики и гораздо больше научно-популярной литературы. Большинство написанных Азимовым книг являются научно-популярными, причём в самых разных областях. С 1980 он возобновил написание научной фантастики продолжением серии «Основание».

Тремя любимыми рассказами Азимова были «Последний вопрос» (The Last Question), «Двухсотлетний человек» (The Bicentennial Man) и «Уродливый мальчуган» (The Ugly Little Boy), в этом порядке. Любимым романом были «Сами боги».

Мы постарались быстро и просто ответить на вопрос: что такое законы робототехники? Остались вопросы? Обсужадйте их на

Айзек Азимов, 1965

Три зако́на роботехники в научной фантастике - обязательные правила поведения для роботов , впервые сформулированные Айзеком Азимовым в рассказе «Хоровод » ().

Законы гласят:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Трём Законам , а также возможным причинам и следствиям их нарушения, посвящён цикл рассказов Азимова о роботах. В некоторых из них, наоборот, рассматриваются непредвиденные последствия соблюдения роботами Трёх Законов (например, «Зеркальное отражение »).

В одном из рассказов цикла персонаж Азимова приходит к заключению об этической основе Трёх Законов : «…если хорошенько подумать, Три Закона роботехники совпадают с основными принципами большинства этических систем, существующих на Земле… попросту говоря, если Байерли исполняет все Законы роботехники, он - или робот, или очень воспитанный человек» .

Этот рассказ очень понравился Азимову. 7 мая 1939 года он посетил Общество научной фантастики Квинса , где встретил Биндера. Три дня спустя Азимов начал писать собственную историю «благородного робота». Через 13 дней он отдал рукопись своему другу Джону Кэмпбеллу , главному редактору журнала «Astounding ». Однако тот рукопись вернул, заявив, что рассказ слишком похож на «Хелен О’Лой» .

К счастью, отказ Кэмпбелла не сказался на их отношениях с Азимовым, они продолжали регулярно встречаться и беседовать о новинках в мире фантастики. И вот 23 декабря 1940 года , за обсуждением очередного рассказа о роботах :

…Кэмпбелл сформулировал то, что стало позже известно как Три закона роботехники . Позже Кэмпбелл говорил, что он просто вычленил Законы из того, что Азимов уже написал. Сам же Азимов всегда уступал честь авторства Трёх Законов Кэмпбеллу…

Через несколько лет ещё один друг Азимова - Рэндал Гаррет - приписал авторство Законов «симбиотическому товариществу» двух людей. Азимов с энтузиазмом принял эту формулировку.

Вообще говоря, появление Трёх Законов в произведениях Азимова происходило постепенно: первые два рассказа о роботах («Робби », и «Логика », ) не содержат явного их упоминания. Однако в них уже подразумевается, что роботам присущи некоторые внутренние ограничения. В следующем рассказе («Лжец », 1941) впервые звучит Первый Закон . И, наконец, полностью все три Закона приведены в «Хороводе» ().

Когда были написаны остальные истории и возникла идея издания сборника «Я, робот », первые два рассказа были «дополнены» Законами . Хотя стоит заметить, что в «Робби» законы несколько отличались от «классического» варианта, изложенного в остальных рассказах. В частности, идея о роботе, защищающем людей, в существовании которых он не совсем уверен, перекликается с мыслями Элайджа Бейли о несовершенстве Законов , описанными .

Этическое обоснование Законов

1. Государство не должно вредить людям или своим бездействием допустить, чтобы им был причинён вред.
2. Государство должно выполнять свои функции, если они не противоречат Первому Закону .
3. Государство должно заботиться о своей безопасности, если это не противоречит Первому и Второму Законам .

На основе Первого Закона Джеф Раскин сформулировал законы человекоориентированных интерфейсов :

1. Компьютер не может причинить вред данным пользователя или своим бездействием допустить, чтобы данным был причинён вред.
2. Компьютер не должен тратить впустую ваше время или вынуждать вас выполнять действия сверх необходимых.

Именно он был первым, кто дал этому закону номер - это произошло в романе «Роботы и империя », правда, само понятие ещё раньше сформулировала Сьюзен Келвин - в новелле «Разрешимое противоречие ».

Первыми роботами, которые стали подчиняться Нулевому Закону , причём по собственной воле, - были Жискар Ривентлов и Дэниел Оливо . Это описано в одной из финальных сцен романа «Роботы и Империя », когда роботу необходимо было проигнорировать приказ одного человека ради прогресса всего человечества. Нулевой Закон не был заложен в позитронный мозг Жискара и Дэниэла - они пытались прийти к нему через чистое понимание Жискара и детективный опыт Дэниэла, через более тонкое, чем у всех остальных роботов, осознание понятия вреда . Однако Жискар не был уверен, насколько это было полезно для человечества, что негативно сказалось на его мозге. Будучи телепатом , Жискар перед выходом из строя передал Дэниелу свои телепатические способности. Только через много тысяч лет Дэниэл Оливо смог полностью приспособиться к подчинению Нулевому Закону .

Французский переводчик Жак Брекар невольно сформулировал Нулевой Закон раньше, чем Азимов описал его явно. Ближе к завершению романа «Стальные пещеры » Элайдж Бейли замечает, что Первый Закон запрещает роботу наносить человеку вред, если только не будет уверенности, что это будет полезно для него в будущем. Во французском переводе («Les Cavernes d’acier (фр. ) », 1956 год) мысли Бейли переданы несколько иначе :

Робот не может причинить вреда человеку, если только он не докажет, что в конечном итоге это будет полезно для всего человечества.

Оригинальный текст (фр.)

Un robot ne doit faire aucun tort à un homme, à moins qu’il trouve un moyen de prouver qu’en fin de compte le tort qu’il aura causé profite à l’humanité en général!

Примечательно, что логическое развитие Первого Закона до Нулевого предложили создатели фильма «Я, робот » 2004 года . Когда суперкомпьютер В. И. К. И. принимает решение ограничить свободу жителей планеты, чтобы они ненароком не нанесли вреда друг другу и своему будущему, она выполняет не Первый Закон , а именно Нулевой . Ещё интереснее то, что таким образом в фильме показывается противоречие Нулевого Закона Первому , его неэтичность. Действительно, когда речь идёт о благе человечества, система не может рассматривать людей по отдельности, а значит, ей ничто не мешает нарушить права и свободу любого или даже каждого человека (фактически, в «Разрешимом противоречии» позитронные суперкомьютеры уже вели себя аналогично, с той разницей что вред индивидуумам они старались снизить до предела). Во время войн, а нередко и в мирной жизни, люди наносят вред себе, окружающим, своей культуре. Поэтому на основании Нулевого Закона совершенно логично держать людей под постоянной опекой, не выполняя приказы столь неразумных существ.

Модификация Первого Закона

В автобиографических записях Азимова говорится, что вторая часть Первого Закона появилась из-за сатирической поэмы Артура Хью Клоу «Последний декалог», где есть такая строка: «Не убей, но и не слишком старайся сохранить другому жизнь» .

В рассказе «…Яко помниши его» Азимов провёл максимально изощрённое исследование Трёх Законов , обратив их таким образом, что стал возможным «сценарий Франкенштейна». Два робота из серии Джорджи приходят к соглашению, что органическое происхождение - необязательное условие, чтобы считаться человеком, и что истинные люди - это они, как наиболее совершенные и разумные создания. Остальные люди - тоже люди, но с меньшим приоритетом. А раз так, то Три Закона должны быть в первую очередь применены к ним. Повествование заканчивается зловещими словами, что роботы находились в «бесконечном терпеливом ожидании» того дня, когда они утвердят своё первенство среди людей, - и это будет неизбежным результатом «Трёх Законов Гуманистики».

На самом деле, этот рассказ не очень хорошо вписывается в основную серию произведений о роботах: если бы «Джорджи» реализовали свой план после окончания рассказа, то другие истории о дальнейших событиях были бы невозможны. Именно такого рода противоречия в произведениях Азимова дают основания критикам рассматривать их скорее как «скандинавские саги или греческие легенды», чем единую фантастическую «вселенную».

Схожая идея высказывается в романе «Роботы зари », где Келден Амадиро желает использовать в качестве колонизаторов новых планет человекоподобных роботов. Элайдж Бейли, в разговоре с ним, высказывает опасение что такие роботы могут не пустить на обустроенные им планеты людей, считая что людьми являются именно они сами.

Если в предыдущем случае робот занял место человека в природе , то в «Двухсотлетнем человеке» Азимов описывает противоположную судьбу: робот, освободившийся от Трёх Законов и осознавший себя как человека, присоединился к сообществу людей . Опять же, в расширенной версии - новелле «Позитронный человек », написанной Азимовым в соавторстве с Робертом Силвербергом , - из-за подобных этических проблем люди полностью отказались от идеи создания мыслящих роботов. Такое развитие событий полностью противоречит картине будущего, описанного в мирах «Основания ».

Проблемы применения

Разрешение противоречий

Сам Азимов в предисловии к рассказу «Первый закон» в сборнике «Остальное о роботах » (1964) заявил, что в Законах было как раз столько двусмысленности, чтобы обеспечивать конфликты и неопределённости для новых рассказов. Наиболее совершенные модели роботов обычно следовали Законам по довольно хитрому алгоритму, который позволял избегать некоторых проблем. Во многих рассказах, например в «Хороводе», в позитронном мозге сравнивались потенциалы возможных действий и исходов, и робот мог нарушить Законы , как только это представлялось возможным, вместо того, чтобы бездействовать. Например, Первый Закон не позволял роботу проводить хирургические операции, так как для этого нужно «наносить вред» человеку. Однако в азимовских рассказах можно найти роботов-хирургов (яркий пример тому - «Двухсотлетний человек»). Дело в том что робот, если он достаточно совершенен, может взвесить все альтернативы и понять, что он сам причинит гораздо меньше вреда, чем если бы операцию проводил человек-хирург или она бы вообще не состоялась. В «Уликах» Сьюзен Кэлвин говорит даже, что робот мог бы выступать в качестве прокурора, так как он лично не причиняет никому вреда: кроме него есть ещё присяжные , которые устанавливают виновность, судья, который выносит приговор, и палач, приводящий его в исполнение.

Роботы, подчиняющиеся Законам , могут испытать «роблок», или «умственное замораживание» - состояние необратимого повреждения позитронного мозга , - в случае если они не могут подчиниться Первому Закону или обнаруживают, что случайно нарушили его. Это возможно, например, если робот наблюдает сцену убийства человека, но находится слишком далеко, чтобы его спасти. Первый случай такого «замораживания» происходит в «Лжеце»; также немаловажную роль это состояние играет в сюжете романов «Обнажённое солнце » и «Роботы зари ». Несовершенные модели роботов могут блокироваться, если перед ними поставили задачу подчинения двум противоречащим приказам. «Замораживание» может быть необратимым или временным. Разрешением противоречий и изучением поведения роботов занимаются робопсихологи, как один из персонажей Азимова - Сьюзен Келвин .

Иное определение вреда в Первом Законе

Законы никак не определяют границы того, что может называться вредом для человека - это часто зависит от возможностей робота воспринимать информацию и философски мыслить. Например, будет ли полицейский робот понимать, что он не нанесёт вреда человеку, если осторожно проводит особо опасного преступника в участок?

Бейли утверждает, что солярианцы однажды смогут использовать роботов даже в военных целях. Если космический корабль будет построен с роботоподобным мозгом и при этом на нём не будет ни людского экипажа, ни систем жизнеобеспечения , то интеллект этого корабля может ошибочно предположить, что и на всех космических кораблях нет людей. Такой корабль будет более манёвренным, быстрым, а возможно и лучше вооружённым, чем управляемый людьми. Но самое главное, он будет способен уничтожать людей, не подозревая об их присутствии. Эта возможность описана в «Основании и Земле », где также выясняется, что солярианцы обладают чрезвычайно мощной армией роботов, понимающих под «людьми» только уроженцев Солярии.

Другие случаи использования Законов в фантастике

Айзек Азимов верил, что его Законы послужат основой нового взгляда на роботов, уничтожат «комплекс Франкенштейна » в научной фантастике и массовом сознании, станут источником идей для новых рассказов, где роботы показаны разносторонними и привлекательными. Его любимым примером такого произведения были «Звёздные войны ». С мнением Азимова, что роботы - это нечто большее, чем просто «тостеры» или «механические монстры», в конечном итоге согласились и другие фантасты. В их произведениях появились роботы, подчиняющиеся Трём законам , но, по традиции, только Азимов упоминал о них явно.

В произведениях, где прямо говорится о Трёх Законах , обычно упоминается и их автор (например в романе С. Лукьяненко «Чистовик»).
Есть и исключения: например, в немецком сериале 1960-х годов «Raumpatrouille - Die phantastischen Abenteuer des Raumschiffes Orion» («Космический патруль - фантастические приключения космического корабля Орион»), а именно в третьем его эпизоде «Hüter des Gesetzes» («Служитель Закона»), азимовские Законы привлечены без указания источника.

В повести Вадима Чиркова «Робот в шляпе» представлен ещё один Закон, действующий подобно азимовским, запрещающий роботу лгать человеку. Однако умный робот Знайка обходит этот Закон: в преддверии разговора с людьми он обманывает другого робота, а тот уже, в свою очередь, повторяет версию Знайки людям, не зная, что она ложна.

Фильмы

Вопреки критике и некоторым отзывам зрителей, которые мне довелось слышать, «Я, робот» - довольно забавный фантастический боевичок. … Когда мы … хотим насладиться Азимовым - мы читаем Азимова. А когда мы хотим посмотреть фантастический боевик - мы смотрим фантастический боевик. «Я, робот» как боевик нас вполне удовлетворил.

Рецензия Алексея Садецкого обращает внимание на то, что фильм, уйдя чуть в сторону от Азимова, сам по себе поставил две новых социально-философских проблемы : «стоит ли человеку платить свободой за безопасность?» и «должны ли мы противиться, если существа, находящиеся в нашем распоряжении, потребуют для себя свободы?». Нельзя не отметить, что фильм поставил под сомнение более поздний Нулевой Закон роботехники Азимова (см. выше).

Развитие ИИ - это бизнес, а бизнес, как известно, не заинтересован в развитии коренных мер безопасности - особенно философских. Вот несколько примеров: табачная индустрия, автомобильная промышленность, ядерная промышленность. Ни для одной из них изначально не было сказано, что серьёзные меры безопасности необходимы, и все они препятствовали внешне налагаемым ограничениям, и ни одна из них не приняла абсолютный эдикт против причинения вреда людям.

Стоит отметить, что эссе Сойера упускает из вида вопросы непреднамеренного нанесения вреда, как было описано, например, в «Обнажённом солнце». Однако есть и возражения против такой позиции: возможно, военные захотят использовать для роботов как можно больше мер предосторожности, и поэтому ограничения, похожие на Законы роботехники , так или иначе будут применены. Фантаст и критик Дэвид Лэнгфорд иронически заметил, что эти ограничения могут быть и такими:

Роджер Кларк написал две работы, посвящённых анализу осложнений при реализации Законов, если бы однажды их смогли применить в технике. Он пишет :

Азимовские Законы роботехники стали успешным литературным инструментом. Возможно по иронии, а может, это был мастерский ход, но в целом азимовские истории опровергают ту точку зрения, с которой он начал: Невозможно надёжно ограничить поведение роботов, изобретая и применяя некоторый набор правил.

С другой стороны, более поздние романы Азимова («

Утопично предположение, будто Три Закона Роботехники Азимова можно было бы заложить в фундамент интеллектронного программирования. <…> Но и робота, снабженного каким-то эрзацем личности, невозможно сделать совершенно безопасным для окружения, учитывая такую рефлексию, которая, правда, не может считаться доказательством, но на след его наводит. <…> В принципе же моральную оценку такого поступка можно дать лишь постольку, поскольку удается проследить уходящие максимально далеко причинные цепочки, запущенные данным действием. Тот, кто смотрит дальше и замечает такие возможные последствия своих действий, которых кто-либо другой на его месте не в состоянии предвидеть, порой действует не так, как этот другой. Но чем дальше в будущее уходит предвидение последствий действия, тем значительнее в предикции будет участие вероятностных факторов. Добро и зло скорее в виде исключения образуют полярную дихотомию: включение в оценку пробабилистического элемента делает принятие решения всё более трудным. Поэтому гипотетический робот, имеющий аксиологически очень сильную защиту, в ходе реальных событий, презентующих присущую им степень сложности, чаще всего бы замирал, не зная, как поступить, тем самым уподобляясь тем восточным мудрецам, которые бездействие чтили превыше действия , кое в запутанных ситуациях просто не может быть этически не рискованным. Но робот, охваченный параличом в ситуациях, требующих активности, не был бы наиболее совершенным из всех технических устройств, и поэтому в конце концов сам конструктор вынужден был бы оставить некоторый люфт его аксиологическим предохранителям.
Впрочем, это только одна препона среди обильного их множества, поскольку теория решений показала нам сравнительно недавно, скажем, на примерах типа так называемого парадокса Эрроу <…>. Того же, что логически оказывается невозможным, ни цифровая машина, ни какой-либо робот, так же, как и человек, реализовать не сумеет. Сверх того - и это уже третий пункт доказательства, - разумное устройство - это не более чем самопрограммирующийся комплекс, то есть прибор, способный преобразовывать - даже фундаментально - действовавшие до того законы собственного поведения под влиянием опыта (или обучения). А поскольку заранее невозможно точно предвидеть ни чему, ни каким образом такое устройство будет научаться, машина она или человек, то и невозможно конструктивно гарантировать появление этически совершенных предохранителей активности. Иначе говоря, «свободная воля» есть признак любой системы, снабженной свойствами, которые мы отождествляем с интеллектом. Вероятно, можно было бы вмонтировать в систему типа робота определенный аксиологический минимум, но он подчинялся бы ему лишь в такой степени, в какой человек подчиняется особо сильным инстинктам (например, инстинкту самосохранения). Однако же известно, что даже инстинкт самосохранения можно преодолеть . Стало быть, программирование аксиологии мозгоподобной системы может быть только пробабилистичным, а это означает всего лишь, что такое устройство может выбирать между добром и злом. - частью - парафраз идей не Лема

Указанные же ранее законы в связи формулированием Нулевого исследователи творчества Айзека Азимова сейчас трактуют в такой редакции:

* Первый закон: Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред, если это не нарушает Нулевой закон.

* Второй Закон: Робот должен повиноваться командам человека, пока эти команды не вступают в противоречие с Первым Законом.

* Третий Закон: Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Нулевому, Первому и Второму Законам.

*****
В фантастической вселенной Азимова этим законам должны были следовать почти все роботы. Это были не просто предложения или руководящие принципы - законы были встроены в программное обеспечение. Кроме того, эти правила нельзя обойти, переписать или пересмотреть.

Как показал сам Азимов, несовершенство, лазейки и неясности в этих законах зачастую приводили к странному и нелогичному поведению роботов. Законы были слишком расплывчатыми и зачастую не могли определить и отличить «людей» от «роботов». Кроме того, роботы могли неосознанно нарушать законы, если полная информация была им недоступна. Также чересчур хитроумный робот или искусственный интеллект должен был находиться под давлением, чтобы не перепрограммировать своё ядро.

На дворе 2016 год, и многое обыденное из нашей жизни даже продвинутым людям прошлого века могло бы показаться недостижимой фантастикой. В этих условиях многие из нас считают, что законы Айзека Азимова должны оставаться в нашей памяти лишь в качестве качестве удачного литературного приема. Между тем, сам Азимов ещё в 1981 году отметил, что его законы могли бы работать. В статье журнала Compute, в частности, он указывал следующее:

«Когда кто-то спрашивает меня, что было бы, если бы три моих закона робототехники на самом деле использовались для определения поведения роботов, ответ уже готов. Разумеется, при условии, что роботы будут достаточно гибкими и универсальными, чтобы обладать разным поведением. Я отвечаю: да, три закона - это единственный вариант, по которому люди могут взаимодействовать с роботами - или с чем-нибудь ещё.

Спустя почти тридцать лет мы приблизились к реальности, в которой у нас будут роботы - или, если точнее, искусственный интеллект, который ими управляет - достаточно гибкие и универсальные для разных курсов поведения. Остается лишь вопрос времени: когда машина превзойдет человека во всех отношениях, начиная физической силой и заканчивая силой воображения.

Пугает то, что права на ошибку практически нет. Если искусственный сверхинтеллект будет плохо запрограммирован или безразличен к людям, это приведет к катастрофе. Мы должны убедиться в безопасности искусственного интеллекта, если хотим пережить его появление».
Источники.

Три закона роботехники в научной фантастике — обязательные правила поведения для роботов, впервые сформулированные Айзеком Азимовым в рассказе «Хоровод» (1942).

Законы гласят:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам

В своих произведениях Айзек Азимов иногда привносит в Три Закона различные модификации и опровергает их, как бы испытывая Законы «на прочность» в разных обстоятельствах.

Нулевой Закон робототехники

Однажды, Айзек Азимов добавил Нулевой Закон робототехники, сделав его более приоритетным, чем три основных. Этот закон утверждал, что робот должен действовать в интересах всего человечества, а не только отдельного человека. Вот как выражает его робот Дэниел Оливо в романе «Основание и Земля»:

0. Робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был нанесён вред.

Именно он был первым, кто дал этому закону номер — это произошло в романе «Роботы и империя», правда, само понятие ещё раньше сформулировала Сьюзен Келвин — в новелле «Разрешимое противоречие».

Первыми роботами, которые стали подчиняться Нулевому Закону, причём по собственной воле, — были Жискар Ривентлов и Дэниэл Оливо. Это описано в одной из финальных сцен романа «Роботы и Империя», когда роботу необходимо было проигнорировать приказ одного человека ради прогресса всего человечества. Нулевой Закон не был заложен в позитронный мозг Жискара и Дэниэла — они пытались прийти к нему через чистое понимание Жискара и детективный опыт Дэниэла, через более тонкое, чем у всех остальных роботов, осознание понятия вреда. Однако Жискар не был уверен, насколько это было полезно для человечества, что негативно сказалось на его мозге. Будучи телепатом, Жискар перед выходом из строя передал Дэниелу свои телепатические способности. Только через много тысяч лет Дэниэл Оливо смог полностью приспособиться к подчинению Нулевому Закону.

Французский переводчик Жак Брекар невольно сформулировал Нулевой Закон раньше, чем Азимов описал его явно. Ближе к завершению романа «Стальные пещеры» Элайдж Бейли замечает, что Первый Закон запрещает роботу наносить человеку вред, если только не будет уверенности, что это будет полезно для него в будущем. Во французском переводе («Les Cavernes d’acier (en)», 1956 год) мысли Бейли переданы несколько иначе:

Робот не может причинить вреда человеку, если только он не докажет, что в конечном итоге это будет полезно для всего человечества.

Нулевой закон в фильме «Я, робот» (2004)

Примечательно, что логическое развитие Первого Закона до Нулевого предложили создатели фильма «Я, робот» 2004 года. Когда суперкомпьютер В. И. К. И. принимает решение ограничить свободу жителей планеты, чтобы они ненароком не нанесли вреда друг другу и своему будущему, она выполняет не Первый Закон, а именно Нулевой. Ещё интереснее то, что таким образом в фильме показывается противоречие Нулевого Закона Первому, его неэтичность .

Действительно, когда речь идёт о благе человечества, система не может рассматривать людей по отдельности, а значит, ей ничто не мешает нарушить права и свободу любого или даже каждого человека (фактически, в «Разрешимом противоречии» позитронные суперкомьютеры уже вели себя аналогично, с той разницей что вред индивидуумам они старались снизить до предела). Во время войн, а нередко и в мирной жизни, люди наносят вред себе, окружающим, своей культуре. Поэтому на основании Нулевого Закона совершенно логично держать людей под постоянной опекой, не выполняя приказы столь неразумных существ .