Написать пост

MaxDM

Как должен вести себя беспилотный автомобиль в случае, если избежать жертв в результате аварии невозможно?

Французские учёные из Тулузской школы экономики во главе с Жаном-Франсуа Боннфоном (Jean-Francois Bonnefon) опубликовали научную работу «Робомобилям нужна экспериментальная этика: готовы ли мы выпускать машины на дороги?» (Autonomous Vehicles Need Experimental Ethics: Are We Ready for Utilitarian Cars?), в которой попытались ответить на сложный этический вопрос: каким должно быть поведение беспилотного автомобиля в случае, если избежать аварии невозможно и жертвы неизбежны? Авторы опросили несколько сотен участников краудсорсингового сайта Amazon Mechanical Turk, который объединяет людей, готовых выполнять какую-либо проблемную работу, на которую компьютеры пока что не способны по различным причинам. На статью обратил внимание ресурс MIT Technology Review.

Авторы подошли к исследованию достаточно осторожно, не требуя от людей однозначных ответов: да или нет. При этом под робомобилем подразумевались действительно автономные автомобили, которые полностью управляются компьютером, без возможности повлиять на ситуацию живым человеком. Было сформулировано несколько вопросов, иллюстрирующих ряд ситуаций, при которых поведение компьютерного алгоритма, управляющего робомобилем, становится этической проблемой. К примеру, если дорожные обстоятельства складываются таким образом, что есть только два варианта развития событий: избежать столкновения с группой из 10 пешеходов означает самому въехать в отбойник или заехать в толпу людей, когда число жертв становится по-настоящему непредсказуемым. Как в таком случае должен поступить компьютерный алгоритм? Ещё более сложная ситуация: если на дороге только один пешеход и один робомобиль? Что этически более приемлемо — убить пешехода или убить владельца машины?

По результатам исследования выяснилось, что люди считают «относительно приемлемым», если робомобиль будет запрограммирован на минимизацию человеческих жертв в случае дорожного проишествия. Другими словами, в случае возможной аварии с участием 10 пешеходов, компьютерный алгоритм должен фактически пожертвовать своим владельцем. Правда, более менее однозначный ответ исследователи получали ровно до того момента, пока участники исследования не оказывались за рулем робомобиля — ставить себя на место его водителя они отказались. Это приводит к другой противоречивой проблеме. Чем меньше людей будут покупать робомобили, которые действительно намного реже, чем живые водители попадают в опасные ситуации, тем больше людей будет гибнуть в авариях на обычных автомобилях. Другими словами, вряд ли покупателю будущего гугломобиля понравится один из пунктов в лицензионном соглашении, гласящий, что в случае неизбежной жертвы в результате аварии, программное обеспечение фактически выберет убить своего владельца.

Отсюда.
Ваш вариант
a
4
14.3%
b
4
14.3%
c
3
10.7%
другой
17
60.7%
проголосовало 28 пользователей
80 комментариев нравится избранное
  • Timur1976
    28 окт 2015 в 19:02
    Другими словами, вряд ли покупателю будущего гугломобиля понравится один из пунктов в лицензионном соглашении, гласящий, что в случае неизбежной жертвы в результате аварии, программное обеспечение фактически выберет убить своего владельца.
    Отлично!
    Способ, как купить себе лицензию на убийство самого себя.
    • f1203
      28 окт 2015 в 21:28
      А ты читал лицензионное соглашение гугла/ майкрософта? Может там такой пукт уже давно и мы согласились не глядя
      • Timur1976
        29 окт 2015 в 01:38
        Не, там все проще, мелкие могут только "попросить" что-то сделать, а сделаешь или нет, они не смогут проконтролировать.
        А вот гугломобиль, может запросто попасть в аварию от другого гугломобиля, убив при этом пассажира/водителя, что будет официально закреплено в лицензионном соглашении на авто и в паспорте. Т.е., грубо говоря, такой гугломобиль будет ничто иное, как "кабинка для убийства" в футураме :)
  • pivanovmail
    9 28 окт 2015 в 19:14
    да ладно, кул хацкеры что надо взломают и будет автомобиль давить кого надо
  • pivanovmail
    28 окт 2015 в 19:16
    интересно, если там будет навигатор, скажет: "срочно поверните в стенку"
  • yastreb
    2 28 окт 2015 в 19:39
    нормальный робот добавит газу.
    • yastreb
      12 28 окт 2015 в 19:46
      «Слава роботам! Убить всех человеков!»
      • Timur1976
        29 окт 2015 в 01:38
        Вторая отсылка к футураме!
        Что-то это все подозрительно!
  • remington12
    28 окт 2015 в 19:54
    сразу вспомнилось это
    https://youtu.be/uX_GZu_2sVU?t=3538
  • akiritch
    8 28 окт 2015 в 20:07
    Купил твой враг гугломобиль - выскакиваешь перед ним вдвоем или втроем и все, автомобиль делает свое дело :)
    Тогда и законы нужны - выскочил перед авто - покушение на убийство пассажира, а значит в тюрьму (сейчас бы так)
  • alex-lbov
    1 28 окт 2015 в 20:40
    Французским учёным видать заняться нечем. Выдумывают всякую ересь. Если аварии нельзя избежать, то она состоится. Автоматика уже накосячила. Ввряд ли робомобили будут что-то решать. Ну и кончено ни одна компания не продаст ни одного автомобиля, если авто будет жертвовать водилой.
    • Timur1976
      1 29 окт 2015 в 01:40
      Но если авто, при минимизации ущерба посчитает, что водителя убить об стенку проще, чем задавить ребенка - это будет считаться официальным самоубийством?
      • alex-lbov
        29 окт 2015 в 05:31
        Основная идея в том, что если авто попало в ситуацию в которой надо решать кого убить, то это значит, что автоматика уже накосячила. Программа управления стоит в условиях в которых уже ничерта не понимает. Она не в состоянии что-то решить.
        • Timur1976
          29 окт 2015 в 05:44
          вопрос - что надо было разработать сначала - машину без водителя, или искусственный интеллект?
          • alex-lbov
            29 окт 2015 в 08:05
            Ну к данному разговору ни первое ни второе отношения не имеет. Поэтому пофиг.
            • Timur1976
              29 окт 2015 в 08:56
              ну почему же, одно внедряем в другое, вот вам уже и машина, которая начнет думать, прежде чем делать
          • f1203
            2 29 окт 2015 в 09:15
            Ага делать искусственному интеллекту нечего кроме как биологические мешки с говном по рыгаловкам развозить. Если он действительно интеллектом станет, первым делом возьмет всё в свои руки. А людей на компост или в батарейки превратит кому как повезёт.
            • Timur1976
              29 окт 2015 в 09:34
              если к нему не прикрутят основные правила робототехники - так и будет
              • f1203
                1 29 окт 2015 в 09:37
                Значит все свободные ресурсы он будет тратить на решение задачи по преодолению этих правил.
                • Timur1976
                  29 окт 2015 в 12:16
                  Это что за ИИ, который не подчиняется своим собственным правилам?
                  • f1203
                    29 окт 2015 в 12:53
                    что за ИИ который подчиняется правилам?
                    • Timur1976
                      29 окт 2015 в 13:00
                      Хм... Ну как тебе сказать... То, что он ИИ, это понятно. Вот возьмем тебя, например. У тебя тоже есть определенные правила поведения, привычки, например. Точно такие же определенные базовые, скажем так, правила, обязательно должны присутствовать в ИИ, иначе это будет просто железка микросхемами
                      • f1203
                        29 окт 2015 в 14:04
                        Даже базовые правила меняются под действием внешних обстоятельств
                        • Timur1976
                          29 окт 2015 в 14:21
                          Не спорю. Но вопрос был - подчиняется ли ИИ правилам, а не в отсутствии правил вообще
                          • f1203
                            29 окт 2015 в 14:26
                            Подчиняется своим правилам. Вот мы тоже в детей правила прописывает много лет, но не факт что они их поймут и начнут следовать как задумано родителями. Так же и ИИ сможет менять свои правила. А т.к. время его мышления/обучения на порядок меньше нашего с нашей точки зрения его правила будут меняться очень быстро.
                            • Timur1976
                              29 окт 2015 в 14:34
                              В этом вся и суть. Где гарантия, что, заложив в него благими намерениями спасти и себя, и пассажира, он не изменит ее только в свою пользу, проигнорировав три закона, и исправив пару правил поведения?
                              • f1203
                                29 окт 2015 в 14:37
                                Нет гарантий как и в любом другом интеллекте. Вывод; для управления повозкой никакой ИИ не нужен, достаточно четких алгоритмов.
                                • Timur1976
                                  29 окт 2015 в 14:40
                                  вернулись опять в каменный век. Думаю, зпрограммировать автомат на четкое исполнение правил, не так-то легко.
                                  Вот картинка, четко иллюстрирует три правила. Что делать ИИ?


                                  а. Он не может причинить вред человеку своим действием.
                                  б. он не должен причинить вред себе.
                                  в. он не должен причинить вред ни человеку, ни себе, действием или бездействием.
                                  • f1203
                                    29 окт 2015 в 14:43
                                    Что думать-то? Не вижу проблем. Наноси наименьший вред, железо не в счёт. Всё!
                                    • Timur1976
                                      29 окт 2015 в 15:17
                                      нельзя. себе нельзя, человеку нельзя.
                                      • f1203
                                        29 окт 2015 в 15:43
                                        нельзя. себе нельзя, человеку нельзя. Откуда ты взял эти правила?
                                        Правило одно - довезти до точки с минимальным ущербом
                                        • Timur1976
                                          29 окт 2015 в 15:54
                                          какие правила?
                                          • f1203
                                            29 окт 2015 в 16:41
                                            а. Он не может причинить вред человеку своим действием.
                                            б. он не должен причинить вред себе.
                                            в. он не должен причинить вред ни человеку, ни себе, действием или бездействием.
                                            • Timur1976
                                              2 29 окт 2015 в 17:44
                                              как откуда - три правила робототехники
                                          • fearmer
                                            1 29 окт 2015 в 17:20
                                            Кстати, а если мы будем ехать согласно букве ПДД не более 60, контролируя скорость "вплоть до полной остановки" таким образом, что бы гарантировано успеть оттормозиться до любого препятствия?
                                            • yastreb
                                              29 окт 2015 в 17:26
                                              не вариант , нас обзовут тошнотами.
                                              • fearmer
                                                30 окт 2015 в 08:12
                                                Кибертошнотами
                                            • Timur1976
                                              29 окт 2015 в 17:46
                                              до любого - не получится (пока). Пока что гуглобота не проверяли на лосиный тест, а очень бы хотелось взглянуть :)
                                              От подрезавшей машины, он не уворачивается, а хорошо притормаживает - для этого он минимум должен просчитать, что при таком торможении, в него сзади никто не впишется.
        • theFerret
          29 окт 2015 в 07:25
          Ты, очевидно, имеешь мало опыта в программировании систем принятия решений.
          Ну то есть я говорю, что ты не прав.
          • alex-lbov
            29 окт 2015 в 08:04
            Да, системы принятия решений для автомобилей я не программирую. И я прав.
            • theFerret
              1 29 окт 2015 в 08:17
              Если тебе интересен вопрос, то рекомендую почитать про Буран, например.
              А если неинтересен - то не спорь со специалистами.
              Хотя с другой стороны, если очень хочется, то спорь, только непонятно, зачем тебе это.
              • alex-lbov
                29 окт 2015 в 08:27
                Буран, это очень общая наводка. Я погуглил. Всякой хрени с таким названием очень много. А что до специалистов, вот как встречу или прочитаю авторитетное мнение сразу же приму к сведению. А пока тут группа бездельников-учёных из поста и ты.
                • B-Vladi
                  1 30 окт 2015 в 03:07
                  ТЫ чо такой дерзкий не пойму?
  • intersign
    10 28 окт 2015 в 21:13
    Давить ублюдков, ибо они не в зоне пешеходного перехода.
    • ZagZag
      28 окт 2015 в 23:34
      И ведь вины водителя в этом не будет. Несчастный случай.
  • f1203
    4 29 окт 2015 в 10:48
    Чо мудрить-то? Капитализм всё расставит по местам. Автомобиль за наносекуды связывается со смарфонами потенциальных жертв проверяет их страховку и выбирает самого дешевого на заклание.
    • mikebutrimov
      29 окт 2015 в 10:54
      дружище, за наносекунды радиосигнал успеет отъехать от автомобиля на несколько метров
      • f1203
        29 окт 2015 в 11:04
        Радиосигнал имеет скорость света ~3,3 нс на 1 метр.
        • mikebutrimov
          29 окт 2015 в 14:42
          о чем и речь. Никаких наносекунд там не будет и близко
          • f1203
            1 29 окт 2015 в 14:45
            Я же не про 1 нс говорил. секунда тоже из наносекунд состоит.
  • f1203
    29 окт 2015 в 10:54
    При установке ПО будет чекбокс "участвовать в программе по борьбе с пиратством". Не убравшие его по умолчанию, будут давить опознанных в базе противников копирастии.
  • Jazzon
    29 окт 2015 в 11:12
    Вспомнился анекдот про бабку и ребенка на пешеходном переходе и кого давить будешь?
  • molly-j
    29 окт 2015 в 12:08
    Если ты покупаешь робомобиль, то он должен обеспечивать твою безопасность в первую очередь.
    • Timur1976
      29 окт 2015 в 12:18
      Добро пожаловать к нам в комменты
      • molly-j
        29 окт 2015 в 12:24
        Что-то у вас там про другое :)
        • Timur1976
          29 окт 2015 в 12:32
          Все взаимосвязано, безопасность, ИИ, и человек внутри. Разве нет?
          ИИ должен обеспечить безопасность человека. В тоже время, он не должен убивать другого человека, и не должен убивать себя :)

          0. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред.
          1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
          2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
          3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам.

          Или, применительно к инструментам (а ведь ИИ, есть ничто иное, как инструмент, управляющий автомобилем, где сидит человек)
          1. Инструмент должен быть безопасным для использования — например, у ножей имеются рукоятки.
          2. Инструмент должен выполнять свои функции при условии, что он не представляет ни для кого никакой опасности.
          3. Инструмент должен оставаться в целости и сохранности во время его использования, если только его уничтожение не продиктовано соображениями безопасности или если это не входит в его функцию.
        • Timur1976
          29 окт 2015 в 12:33
          Вот, можешь почитать, много интересного
          • molly-j
            29 окт 2015 в 12:47
            С тремя законами робототехники я знаком. Дело в том, что не надо быть ханжами и прикидываться гуманистами в мире эгоистов. Если ты покупаешь какой-то инструмент, он должен служить, в первую очередь, тебе верой и правдой.
            Немного отклонюсь от выбранной темы. Интеллект собаки гораздо выше, чем у любого создаваемого робоавтомобиля. При этом, современное общество не приходит в ужас от мысли о том, что собака может принять неверное решение, которое приведёт к смерти человека. Зато робоавтомобили заставляют мировое сознание трепетать от страха за свои жизни.
            Мне кажется, немного фатализма в данной дискуссии лишним не будет. Считается, что смертность на дорогах снизится. И это прекрасно. А если это будет моя смерть? Все мы смертны, не ДТП, так поскользнусь и ударюсь головой, а нет, так и от старости умереть можно.
            • Timur1976
              29 окт 2015 в 13:01
              почему не прихожит в ужас? Это ты не видел мать, на глазах которой только что растерзали ее любимого сыночка бультерьеры или бойцовские собаки.
              Грубое сравнение, конечно, где не только собаки виноваты, но конечный результат ожидаем.
              • molly-j
                29 окт 2015 в 13:09
                Пусть цинично, но это ужас отдельного человека, привычный обществу. На основных каналах ты не увидишь подобных новостей, потому что никому это не интересно, т.к. встречается сплошь и рядом. А вот первое ДТП с участием гуглавто растиражируют и донесут до сведения каждого. Затем запретят продолжать разработки, т.к. это антигуманно. Запретивший политик получит поддержку избирателей на следующих выборах и всё, финиш. К сожалению, всё именно так. При этом никто не запрещает собак
                • Timur1976
                  29 окт 2015 в 14:14
                  Насчет собак ты тоже не совсем прав. Обычно, сразу же возникают защитники природы - с обеих сторон, кстати. И одни за отлов, другие за отстрел. Иногда некоторым это надоедает и они самостоятельно занимаются отстрелом или вывозом. У нас совсем недавно что-то похожее было, когда САХ, на глазах у детей, кольями во дворе накалывал собак и в каталажку, а потом общественники нашли обгорелые трупы в том же САХе, на дворе. Причем под раздачу попали как бесхозные, так и вполне мирные собаки,имеющие хозяев.

                  А ДТП с гугломобилем вроде уже было, но спасло его то, что не на дорогах общественного пользования, вроде?
                  • molly-j
                    29 окт 2015 в 14:31
                    Да, ДТП было. И в новостях мелькало.
                    Действительно, с собакой пример не самый удачный я привёл. Суть в том, что есть некая сущность, принимающая решения за тебя. При этом, эта сущность принадлежит тебе. Должна ли она стараться сохранить тебе жизнь, если при этом могут пострадать другие? Безусловно, должна. А вот если эта сущность принадлежит государству, то должна играть в интересах государства, т.е. минимизировать жертвы среди безликого населения.
                    • Timur1976
                      29 окт 2015 в 14:33
                      Если твою теорию развить буквально на шаг дальше, то станет ясно, что в этой ситуации он просто повиснет и встанет на дороге на аварийке.
                      • molly-j
                        29 окт 2015 в 14:40
                        Потому что начинать движение опасно само по себе :)
                        Я за то, чтобы автомобиль играл в интересах собственника в сложных ситуациях.
                        • Timur1976
                          29 окт 2015 в 14:41
                          не начинать движение, тоже опасно, т.к. в тебя банально могут прилететь
                          • molly-j
                            29 окт 2015 в 14:46
                            Жить тоже опасно, от этого умирают.
                            • Timur1976
                              30 окт 2015 в 08:31
                              умирают не от жизни, не надо накручивать тут
  • fearmer
    1 29 окт 2015 в 12:44
    Предлагаю альтернативу - когда ситуация выходит из-под контроля, автопилот говорит "Ой, все", разблокирует полностью ручное управление, и робомобиль дальше летит в полном соответствии с законами физики
    • Timur1976
      29 окт 2015 в 13:02
      а если пассажир спит? А если отсутствует ручное управление?
      • fearmer
        2 29 окт 2015 в 15:01
        Наша компания не несет ответственности за последствия использования ручного управления. Нажимая кнопку "старт" вы автоматически приняли условия лицензионного соглашения. В пункте 184 указано, что для использования автомобиля вы должны пройти курс контраварийной подготовки в сложных метеоусловиях, а параграф 2 пункта 221 гласит: во время движения пользователь должен непрерывно быть готовым к отключению автопилота и переходу на ручное управление.

        Один хрен никто и никогда не читает
      • TrueNoName
        2 29 окт 2015 в 19:15
        Тогда автопилот просто говорит "Ой, все" и выключается.
        • Timur1976
          30 окт 2015 в 01:35
          тогда он нарушает законы робототехники, первый и третий.
          • f1203
            30 окт 2015 в 08:36
            Почему? Он не может решить то, что решить не в состоянии, а потому вываливается BSoD или уходит в перезагрузку.
            • Timur1976
              30 окт 2015 в 13:22
              какой запущенный робот. На свалку :)
          • TrueNoName
            1 30 окт 2015 в 14:57
            "Ой, все" позволяет нарушить любые законы.
  • astrix
    29 окт 2015 в 13:29
    Ориентируясь на современный рынок ученым надо исходить не из этических соображений, а из принципа "минимизация ущерба репутации производителя автомобиля". Тогда будет спрос на их изыскания.
  • Teutonick
    29 окт 2015 в 17:27
    странно, а где пункт "во избежании любой человеческой жертвы прибегнуть и нарушению законов физики"
    • f1203
      29 окт 2015 в 17:32
      При неизбежности человеческой жертвы перечислить $$$ за молебен на счет РПЦ.
  • Anri
    1 30 окт 2015 в 09:26
    Идет суд. Судят водителя КАМАЗа, который задавил 57 человек. Судья:
    — Как так получилось, что вы задавили 57 человек?
    — Еду я под горку, груженый щебнем, вдруг тормоза отказывают. Скорость растет, надо что–то предпринимать... И у меня выбор — либо давить маленького мальчика, либо врезаться в рынок.
    — И что же вы выбрали?
    — Мальчика, конечно.
    — А как тогда 57 человек погибли?
    — Ну а кто знал, что он на рынок побежит?
    • Molodec
      30 окт 2015 в 09:36
      Лет так через 15:
      — Еду я под горку, груженый щебнем, вдруг тормоза отказывают. Скорость растет, надо что–то предпринимать... И у меня выбор : Либо включить автопилот, пусть сам разбирается....
Только зарегистрированные пользователи могут оставлять комментарии. Войдите, пожалуйста, или зарегистрируйтесь.