Наши взаимоотношения с электронными машинами не всегда удаётся свести к цифрам. Коллизии, возникающие в пограничных областях информационных технологий, часто имеют и нравственный аспект: вспомните проблему человеческого отношения к роботам, феномен апскирта или осложнения, вызываемые лёгкостью копирования информации в цифровом виде. И этим список, конечно, не ограничивается. Теперь уже очевидно, что не сегодня завтра нам предстоит столкнуться с ещё одной дилеммой, где технологическая грань противостоит моральной. В центре её — робоавтомобиль и простой вроде бы вопрос: если столкновение с другими участниками движения неминуемо, но имеется возможность совершить последний манёвр, как должен поступить бортовой компьютер?


via http://www.computerra.ru/99206/robofreedom/

Вообразите следующую дорожную ситуацию. Вы катите по хайвею в новеньком робокаре — и вдруг оказываетесь в безвыходном положении, когда аварии не избежать. Увы, какой бы совершенной ни была электронная и механическая часть, такое случается: желаете вы того или нет, кинетическую энергию придётся гасить в следующие доли секунды. И — надо же такому произойти — у вас (точнее, у вашего робоавто) есть выбор: выкрутить баранку влево и врезаться в сравнительно тяжёлый внедорожник либо выкрутить вправо и ударить относительно лёгкий «компакт». Для простоты предположим, что движутся они в том же направлении, что и мы; наша масса средняя, и оцениваем мы только энергию удара, не задумываясь о пассажирах.

Водители из плоти и крови в подобные ситуации, естественно, тоже попадают, но человек действует здесь интуитивно — и обвинять его, что в последние миллисекунды он поступил так, а не иначе, никому и в голову не приходит: мы физически не успеваем продумать действие. Иное дело компьютер. Он не ограничен несколькими решениями в секунду, не страдает от туннельного зрения в критические моменты, избавлен от страха. Он видит картину во всей полноте и имеет возможность выбирать, куда направить колёса. А значит, будет действовать так, как его запрограммируют конструкторы.

Что ж, последствия столкновения можно предсказать с достаточной точностью. Массы транспортных средств известны, скорости — тоже (когда же «случится» всеобщий V2V, речь пойдёт даже не о приблизительных оценках, а о точных цифрах, плюс дополнительно будет известно, какое ТС оснащено лучшими средствами защиты, и прочее подобное), а физика диктует, что при столкновении с телом большей массы энергия движения будет погашена эффективней. Вывод? Тормозить нужно о внедорожник.


Не спешите указывать на очевидный просчёт. Да, вы совершенно правы: по статистике, наши шансы погибнуть после столкновения с внедорожником в разы выше, чем после столкновения с «компактом». Однако повторю: наш мысленный эксперимент сильно упрощён, это своего рода сферический конь в вакууме, нужный, чтобы проиллюстрировать возникающую принципиально новую проблему. Суть её вот в чём. Если бы мы управляли автомобилем самостоятельно, вероятности подвергнуться удару с нашей стороны для внедорожника и «компакта» были бы (статистически) равны. Иначе говоря, бал правила бы случайность. А вот для робопилота внедорожник оказывается предпочтительной целью. Понравится ли такая «дискриминация» производителям внедорожников? Понравится ли она их покупателям и пассажирам?

Усложнение опыта — путём изменения состава участников движения и добавления в уравнение человеческих жизней — повлияет на стратегию робокара, но не устранит дискриминацию. Скажем, если робопилот беспокоится за жизни своих пассажиров, будет логично бить машину меньшей массы. И, получается, конструкторы робоавто умышленно заложат в свои продукты идею убийства менее защищённых участников движения.

Ещё более неприглядной картинка выходит, если заменить внедорожник и «компакт» мотоциклистами: один пусть будет в шлеме, другой — без него. Бить, естественно, лучше того, который в шлеме — но тогда получается, что само по себе ношение шлема увеличивает риск попасть под колёса!

А представьте, что перед робокаром оказался случайный пешеход. Сбить его и наверняка убить — или тормозить о бордюр и другие автомобили, рискуя жизнью людей в салоне?

Эту головоломку можно крутить и так и эдак, но какой бы стороной мы её ни повернули, в конце концов получим один и тот же вопрос: кто дал конструкторам робоавто право решать, кем и чем пожертвовать? Тему эту поднял на днях в журнале Wired исследователь из США, занятый, в частности, робоэтикой. Но поднималась она и до него, так что к настоящему моменту накопилась хорошая подборка аргументов за и против. Главный контраргумент: исходить нужно не из этических соображений, а только и исключительно из правил дорожного движения.


Логика в этом есть: раз уж автомобиль имеет возможность манёвра, он должен прежде всего соблюсти правила, запрещающие, к примеру, выезд на левую полосу, когда она занята. К сожалению, в ситуациях, подобных рассмотренным выше, ориентироваться на правила будет плохой идеей. Что если, оценив все мгновенные факторы, робопилот решит, что наилучшим с точки зрения минимизации вреда будет вариант, требующий нарушения правил? Разве можно будет конструкторов за это осудить?

Такое рассуждение приводит к пониманию, что действия робоавтомобиля в критических ситуациях, скорее всего, будут диктоваться математикой — а именно решением системы уравнений, с поиском точки минимальных повреждений для техники и людей. Однако это лишь подтверждает ранее сделанный вывод: исход дорожно-транспортного происшествия с участием робокара не будет случайным! Кто-то из его участников неизбежно окажется в систематически менее выгодном положении по сравнению с другими.

И тогда... Мотоциклиста без шлема (из примера выше) можно будет обвинить в провоцировании смерти или увечий мотоциклиста в шлеме (и всё равно безопасней станет ездить без шлемов). Программистов, писавших софт для робокара, который затормозил о «компакт», обвинят в преднамеренном убийстве пассажиров «компакта». Если же робоавтомобили будут предпочитать биться о более тяжёлые и лучше защищённые авто, могут пострадать продажи внедорожников и ультрабезопасных седанов, ибо пропадёт стимул к их развитию.

Всего этого можно избежать, если запретить робопилоту принимать «осознанные» решения перед столкновением. Но в таком случае не будут продаваться уже сами робокары: кто же купит автомобиль, который не ценит жизнь своих пассажиров, не ставит её выше чужих?