Читать книгу Kämpf um deine Daten - Max Schrems - Страница 15

8. Computer says »No«

Оглавление

Haben Sie schon mal die Fernsehserie »Little Britain« gesehen? Diese etwas skurrile Ausformung von britischem Humor hat eine für uns recht spannende Szene, die regelmäßig wiederholt wird: Eine Sachbearbeiterin namens Carol arbeitet in einer Bank und sitzt hinter ihrem Computer. Menschen kommen zu ihr, die dringend einen Kredit brauchen. Sie tippt kurz auf ihrer Tastatur herum, sieht die Kunden fadisiert an und verkündet: »Computer says No«.

Jede weitere Diskussion erübrigt sich. Der Computer hat den Traum vom Haus, den dringend nötigen Überbrückungskredit oder den Start einer tollen Geschäftsidee mit einem einfachen Nein zerstört. Carol braucht sich um den Kunden nicht weiter zu kümmern und schiebt die Entscheidung des Computers vor. Keiner weiß, wie es zur Entscheidung kommt, warum man abgewiesen wird und ob man etwas tun kann. Der Computer sagt einfach nein, und Carol muss nicht weiterarbeiten.

Natürlich ist das auf den ersten Blick stark überspitzt, aber in vielen Bereichen läuft es genau so: Irgendwelche intransparenten Systeme errechnen, ob wir etwas bekommen, die Kriterien und auch die Datenbasis dürfen wir nicht wissen. Wir dürfen nur wissen, dass das System nein gesagt hat.

Die Mitarbeiter werden ebenfalls zu Automaten: Sie dürfen nicht mehr selbst entscheiden, sondern nur noch verkünden, was das System ihnen vorgibt. Damit spart man als Unternehmen an der Ausbildung der Angestellten, macht sie möglichst austauschbar und spart Kosten. In den USA ist das besonders ausgeprägt. Hier wird praktisch alles quantifiziert. Kreditscoring, Aufnahme an der Uni oder Terrorgefahr: Für alles gibt es einen Wert. Wenn der Computer entscheidet, dass man in eine gewisse Schublade gehört, ist das Ende der Debatte erreicht: »Computer says No«. Kein Mensch ist mehr verantwortlich, verantwortlich ist das System, und dieses entscheidet autoritär, wie der König das früher tat. Man kann das System nicht hinterfragen, man darf nicht wissen wie es zur Entscheidung kam, und man kann schon gar nicht seinen persönlichen Einzelfall erklären. Es entsteht eine schleichende Algorithmusdiktatur.

Die ersten Ansätze haben wir heute schon. Als ich das letzte Mal in die USA geflogen bin, erklärte mir der Mitarbeiter am Check-In, dass auf meiner Karte vier »S« gedruckt sind. Das steht für »Secondary Security Scanning Scheme«. Der Mitarbeiter weiß auch nicht, warum ich auserwählt wurde. Die Markierung SSSS bekommen die Austrian Airlines von den US-Behörden übermittelt. Ich musste jedenfalls zu einer Sonderuntersuchung, in der ich von oben bis unten abgetastet wurde und mein Handgepäck feinsäuberlich neben allen anderen Passagieren ausgebreitet wurde. Die Blicke der anderen Leute waren klar: Was ist denn mit dem los? Zum Glück hatte ich keine Kondome oder Ähnliches dabei. Warum der Zirkus? »Computer says SSSS«. Weder der Austrian Airlines-Mitarbeiter noch die Sicherheitsleute wissen, warum jemand unter die Räder kommt, das weiß nur der Algorithmus.

Zurück in Wien hatte ich dann noch die Freude, dass ein weiterer Computer einen gelben Rahmen um etwas in meinem Gepäck machte. Also wurde ebenfalls mein ganzes Gepäck von einer Zollwachebeamtin durchsucht.

Zollwache: »Haben Sie Essen mitgenommen?«

Ich: »Nein, wieso?«

Zollwache: »Sicher haben Sie Essen mitgenommen!«

Ich: »Wie kommen Sie darauf?«

Zollwache: »Da ist ein gelber Rahmen am Bildschirm!«

Ich: »Auf was reagiert denn der Computer? Dann kann ich Ihnen vielleicht sagen, was es ist. Essen ist es sicher nicht.«

Zollwache: »Was weiß ich, auf was er reagiert, ich bin Hausfrau!«

Also stand ich da und ließ von der Zollwachebeamtin (die sich selbst nicht als Beamtin, sondern als Hausfrau bezeichnete) mein Gepäck 15 Minuten lang durchsuchen. Am Ende ohne Erfolg. Warum der ganze Zirkus? »Computer said: Durchsuchen.«

Das sind nur ein paar von hunderten Beispielen, in denen wir unsere Entscheidungen der Software überlassen. Das kann zwar auch seine positiven Seiten haben, so ist es einem Computer zum Beispiel im Prinzip egal, ob Sie weiblich oder männlich, Inländer oder Ausländer sind. Gleichzeitig unterlaufen wir mit der Übertragung von Entscheidungen von Menschen auf Maschinen aber jede Art von persönlicher Verantwortung, die unsere Gesellschaft ausmacht. Ein Algorithmus ist weder moralisch noch faktisch verantwortlich für das, was er tut. Kein Mensch kann nachfragen: Warum? Keiner kann sagen: Aber! Der Algorithmus sagt: Nein. Punkt. Für eine Diskussion, für eine Beschwerde oder für den Sinn dahinter gibt es leider keinen Knopf.

Genau diese Frustration über willkürliche Entscheidungsfindung hat schon Revolutionen ausgelöst. Unberechenbare, intransparente und nicht hinterfragbare Entscheidungen zeichneten bisher vor allem autoritäre Staaten aus. Deswegen haben wir sie abgeschafft und transparente, berechenbare Systeme eingeführt. Vor allem sind Entscheidungsträger heute persönlich verantwortlich für ihr Handeln. Mittels diverser automatisierter Systeme wird aber durch die Hintertüre eventuell auch an diesen Errungenschaften gesägt. Kein Beamter muss mehr erklären, warum jemand besonders gründlich durchsucht wurde und ob es vielleicht reine Willkür war. Der Beamte zeigt einfach auf den Computer.

Natürlich gilt das staatliche Willkürverbot nicht für den Bereich der Privatwirtschaft. Jedes Unternehmen kann frei entscheiden, ob es mit Ihnen Handel treibt oder ob es Sie ausschließt. Sie haben kein Recht, vom Türsteher vor einem Szenelokal zu erfahren, warum Sie nicht gut genug sind, um für 20 Euro einen Cocktail zu schlürfen. Wenn Sie ihn lange genug anlächeln, finden Sie es aber vermutlich trotzdem raus. Sie können außerdem heute etwas pokern, sich schön herrichten und auf dicke Hose machen, der Türsteher weiß ja nicht, wer Sie sind. Wenn es am Ende trotzdem nicht funktioniert, ist das auch nicht so schlimm: Sie können ja woanders hingehen und dort Ihr gekränktes Ego aufpeppeln.

Wenn nun aber alle Türsteher nur noch Computer und tendenziell vernetzt sind, dann sieht die Sache anders aus. Erstens weiß der Türsteher, wer Sie sind, was Sie haben und ob Sie würdig sind. Außerdem können Sie Ihren Frust gegenüber einem Computer nicht wirklich ablassen, außer Sie begehen Sachbeschädigung. Schlussendlich sieht es vermutlich bei der nächsten Bar nicht anders aus, weil diese virtuellen Türsteher gleichgeschaltet sind.

Natürlich sind Szeneclubs nur eine Analogie und nicht der reale Anwendungsfall, aber virtuelle Türsteher gibt es schon jetzt. Jede Kreditauskunftei und jede Warnliste ist nichts anderes. An deren Datenbank hängt ein großer Teil aller Algorithmen, die zu Ihnen »No« sagen und die Türe zuschlagen. Warum Sie ein »No« sind, dürfen Sie nicht erfahren. So ist das in einer Algorithmusdiktatur.

Kämpf um deine Daten

Подняться наверх