Was für ein Irrsinn: Eine Millionen Menschen wurden gefragt, wen oder was ein autonom fahrendes Auto im Krisenfall totfahren soll. Das fragliche Auto fahre auf eine Kreuzung zu und durch einen Defekt sei ein Unfall unvermeidlich. Aber das Fahrzeug könne noch Einfluss auf die Art des Unfalls nehmen. Die weiteren Details der Frage wurden in der Befragung immer wieder variiert, um eine Rangfolge festzustellen: Lieber Rentner totfahren oder Kinder? Lieber zwei dicke Männer oder eine athletische Frau? Lieber fünf kranke Katzenbabys oder einen gesunden Dieb? Und eine Millionen Menschen haben brav und überwiegend sozialkonform geantwortet. (Quelle: Edmond Awad u. a.: The Moral Machine Experiment, Nature, 24.10.2018)

Diese Fragen sind falsch und sie so zu diskutieren ist vielfach gefährlich.

Lieber Rentner totfahren oder Kinder? Lieber zwei dicke Männer oder eine athletische Frau? Lieber fünf kranke Katzenbabys oder einen gesunden Dieb?

Was stimmt nicht mit dem Moral Machine Experiment?

Was für ein Aufwand. Dabei hätte doch ein einfacher Blick in die Straßenverkehrsordnung genügt: Ein Auto darf überhaupt niemanden (und nichts) totfahren. Jeder Fahrschüler lernt hoffentlich in der ersten Stunde, dass er das Fahrzeug so zu führen hat, dass er es jederzeit unter Kontrolle hat. Bei Glätte oder schlechter Sicht gilt es, langsamer zu fahren. Sind die Bremsen kaputt, sollte man gar nicht fahren! Das, und nichts anderes, muss auch für autonome Autos gelten. Nur dass diese Dinger, anders als Menschen dann und wann, sich auch wirklich daran halten werden, wenn sie es so einprogrammiert bekommen.

Ich bin nicht so technologiegläubig, dass ich vermuten würde, es wird mit den autonomen Fahrzeugen keine Unfälle mehr geben. Aber entweder das Fahrzeug befindet sich in einem definierten Zustand, dann darf und wird es keinen Unfall bauen. Oder es befindet sich nicht in einem definierten Zustand, dann braucht man aber auch nicht mehr darauf zu hoffen, dass es sinnvolle Entscheidungen trifft. Wenn man jetzt in bester utilitaristischer Manier beginnt, dem System eine Liste der Subjekte einzuimpfen, auf die die Gesellschaft im Zweifel auch verzichten kann (Anmerkung: Man verzeihe mir dem sarkastischen Ton, aber darauf läuft die oben genannte Frage hinaus), eröffnet sich eine dritte Möglichkeit, die vorher nicht gegeben war und die schlicht nicht da sein sollte: Auf einmal darf das System in einem definierten Zustand sein und gleichzeitig Leute (oder zumindest Katzenbabies) totfahren. Jeder der schon mal etwas ausführlicher programmiert hat, sollte bemerkt haben, dass Computer unheimlich findig darin sind, die Lücken im Code zu finden und hineinzulaufen. Bei den sogenannten selbstlernenden Systemen ist das nicht grundsätzlich anders, denn auch hier holt sie früher oder später die Lücke in den Trainingsdaten oder in der Zielfunktion (die wäre es wohl im betrachteten Fall) ein. Das nannte man bisher Bug oder Absturz (Anmerkung für Insider: die Fachbegriffe Race Condition und Deadlock werden dann vielleicht undefiniert). Bald nennt man es dann einen tragischen Verkehrsunfall.

Um es plastisch zu machen, das autonome Auto mit dieser fragwürdigen Ethik kann beispielsweise den Sicherheitsabstand geringer wählen, als ein Fahrzeug, das überhaupt keine Unfälle bauen darf. Und das macht diese „Ethikdebatte“ gefährlich.

Das ist noch nicht alles. Der Blogger Felix von Leitner weist etwa vollkommen zu Recht darauf hin, dass in China das Social Scoring dann dafür sorgt, dass linientreue Parteigenossen im Straßenverkehr sicherer sind als Dissidenten. (Anmerkung: https://blog.fefe.de/?ts=a52c1e89, vergl. auch Marc–Uwe Kling: Qualityland, Ullstein, 2017) Bevor Sie jetzt aber mit dem Finger nach Fernost zeigen oder witzeln, dass man im arabischen Raum Kreuzungen meiden sollte, wenn Angehörige des Hochadels in der Nähe sind, überlegen Sie bitte, ob es dann nicht auch in Westeuropa bald entsprechende Ausnahmen für Manager kritischer Infrastrukturen und Politiker geben könnte.

Nochmal, wer anfängt so eine Rangfolge zu führen, stößt unweigerlich eine Tür auf, die Ingenieure oder auch die deutsche Ethikkommission bewusst geschlossen gehalten haben.

Wenn man einmal damit anfängt, festzulegen, in welcher Rangfolge Menschen gerettet – oder eben „nicht getötet“ – werden, weckt das schnell Begehrlichkeiten. Da können die Autoren der genannten Studie noch so oft betonen, dass sie nur eine ethische Debatte anstoßen wollen: So naiv kann man doch gar nicht sein, zu glauben, dass am Ende eine dem gesunden Menschenempfinden folgende Rangfolge einprogrammiert wird (und selbst das wäre eine Katastrophe für Minderheiten und Außenseiter). Die Autoren rechtfertigen auch noch, dass neben dem Autounfall auch Rettungseinsätze entsprechend priorisiert werden könnten (Anmerkung: Das mag den aufmerksamen Cineasten an „I, Robot“ aus dem Jahr 2004 erinnern und auch Isaac Asimov hat das ganze Thema schon in den 1950ern literarisch verarbeitet). Aber warum wurden im beschriebenen Experiment die Fragen dann nicht entsprechend gestellt? Abgesehen davon ist auch in einem Rettungseinsatz der Utilitarismus mit äußerster Vorsicht zu genießen, aber das ist eine andere Diskussion.

Nochmal, wer anfängt so eine Rangfolge zu führen, stößt unweigerlich eine Tür auf, die Ingenieure oder auch die deutsche Ethikkommission bewusst geschlossen gehalten haben. (Anmerkung: https://www.bmvi.de/SharedDocs/DE/Publikationen/DG/bericht-der-ethik-kommission.html?nn=12830  vgl. auch http://m.spiegel.de/wissenschaft/technik/unfaelle-mit-selbstfahrenden-autos-wer-soll-leben-wer-soll-sterben-a-1234901.html)

Ist der Case wirklich realistisch?

Vermutlich das zentralste Problem ist, dass die Wahrscheinlichkeit des jeweiligen Szenarios um ein vielfach überschätzt wird. Die Story klingt plausibel und alltäglich. Wir können sie uns gut vorstellen und sie wird so dargestellt, als würde der Wagen schon rollen. Da steigt unsere Fantasie sofort ein, verstärkt dadurch, dass es um eine Situation geht, vor der wir Angst haben. Wir finden sofort auch Parallelen  zu ähnlichen Ereignissen und stellen uns Fragen wie „Was, wenn ein Kind hinter dem Busch hervorspringt?“ Doch wie realistisch ist das Szenario wirklich? So wie es dargestellt ist, nicht besonders. Ja, es gibt Unfälle, bei denen keine Zeit mehr zum Bremsen oder ausweichen bleibt. Aber um diese Unfälle geht es im Beispiel nicht, sondern um solche, in denen der Akteur gleich zwei Katastrophen vor dem Steuer hat, aber aus narrativen Gründen keine dritte Option. Sowas eignet sich toll für eine klassische Tragödie, hat aber wenig mit der Realität zu tun. Ein fahrendes Auto hat ja immer mehr als zwei Richtungen zur Auswahl, außerdem eine Motorbremse, eine Handbremse, eine Hupe und vielleicht auch Car-to-Car-Kommunikation, mit der die umgebenen Fahrzeuge gewarnt werden. Während also die einzelnen Aspekte der Geschichte für sich alle plausibel klingen, ist die Chance, dass alles gleichzeitig und alternativlos passiert, nah bei null. Dafür braucht man keine Ordnungsrelation der Wertigkeit von Leben, sondern allenfalls noch eine weitere Ersatzbremse. Meine Sorge ist, dass diese Bremse gespart wird, wenn die Gesellschaft sich erstmal darauf geeinigt hat, das Obdachlose, Kriminelle und Rentner totzufahren nicht ganz so schlimm ist.

Das Team um Edmond Awad ist sich immerhin bewusst, dass die Erhebung ihrer Moral Machine nicht repräsentativ ist, und gerade die Antwort auf die Frage nach der eigenen Opferbereitschaft nicht unbedingt der Überprüfung durch die Realität standhält.

Statistisch ist das Experiment murks

Die Ergebnisse der Befragung sind statistisch murks. Ich muss dazu gestehen, dass mir das Originalpaper nicht vorliegt, nur die Berichterstattung. Zwei Probleme haben sich aber meiner Meinung nach ergeben: Das erste Problem ist die Durchschnittbildung, das zweite die fehlende Transitivität. In Asien wird dem Alter Respekt gezollt, im Westen gehört der Jugend die Zukunft (dieser regionale Unterschied wird lt. Spiegel im Paper beschrieben). Im Westen gilt „Frauen und Kinder zuerst retten“.  In Indien und China sind Mädchen bei der eigene Familie generell unbeliebter als Jungs. Das liest man immer wieder, aber ob es im Paper steht, ist mir unbekannt. Und nun? Sollen wir einen Durchschnitt bilden? Dann gewinnen China und Indien allein durch Masse? Oder in China wird anders gebremst als in Italien. Was zählt dann, der Ort des Unfalls oder die Nationalität der Beteiligten? Da sind wir dann bei einem grundlegenden Problem des Utilitarismus: er wird schnell beliebig.

Ordnungsbeziehungen sind transitiv, wenn gilt „aus x > y und y > z folgt x > z“. Das Problem ist, bei Abstimmungen und Umfragen ist das meistens nicht gegeben. Wer jetzt in dem Test angegeben hat, dass, sagen wir, Katzen stärker als Pferde geschützt werden sollen und Pferde stärker als Rehe, kann trotzdem der Meinung sein, dass Rehe wiederum schützenswerter sind als Katzen. In so einer Situation lässt sich kein sinnvoller Durchschnitt bilden.

Beim „Moral Machine Experiment“ war die Stichprobe nicht repräsentativ, was die Autoren auch unumwunden einräumen. Doch auch mit einer repräsentativen Stichprobe gibt es auf solche Fragen keine brauchbare Antwort. Außer, dass sich die Mehrheit über Minderheiten hinwegsetzen kann.

Blog abonnieren und keinen Beitrag mehr verpassen!

Hier geht es zum Blog-Abo!
Vincent Wolff-Marting
Vincent Wolff-Marting ist seit 2013 bei den Versicherungsforen Leipzig, wo er die Leitung des Kompetenzteams »Digitalisierung & Innovation« übernommen hat. Nachdem er einige Jahre als wissenschaftlicher Mitarbeiter an den Universitäten Essen und Leipzig tätig war, bringt er nun sein fundiertes (IT-)Wissen in der Versicherungspraxis ein. Er ist Ansprechpartner für alle Themen im Bereich der Versicherungsinformatik, Digitalisierung und Innovation und begleitet Versicherungsunternehmen bei Strategie- und Entwicklungsprojekten.