Diesen Beitrag habe ich lange vor mir hergeschoben. Nicht, weil ich Bedenken bezüglich der Veröffentlichung auf meinem Blog und in den Social Media Kanälen hatte. Nein, es lag an zwei Dingen: Zum einen zehrt das durch Corona ausgelöste Dauer-Home-Office an mir. Es fällt mir schwerer nach einem Tag in Video Calls und vor dem Bildschirm noch die Energie aufzubringen, mich an einen Blogbeitrag zu setzen. Zum anderen ist es aber auch so, dass mir das Thema sehr wichtig ist und auch so umfangreich, dass ich die Befürchtung hatte, dem nicht gerecht zu werden. Aber wenn man nicht anfängt, wird man auch nicht fertig und ich werde hier auch unmöglich alle Facetten darstellen können, die das Thema mit sich bringt. Vielleicht regt es aber die/den eine/n oder andere/n dazu an, sich mehr mit dem Thema zu beschäftigen. Vielleicht bewegt es die/den eine/n oder andere/n sogar dazu, nochmal genauer hinzuschauen, bevor die nächste rassistisch motivierte Datenkrake veröffentlicht wird.
Technologische Weiterentwicklungen befinden sich auf der Überholspur. Wer hätte vor ein paar Jahren noch gedacht, dass man zu jedem Zeitpunkt aktuelle Kinofilme direkt auf sein Handy laden und anschauen kann. Wir können unser Smartphone durch intelligente Gesichtserkennung entsperren, unsere Wohnungen lassen sich dank neuster Smart Home Technik per Spracheingabe steuern und lassen uns im täglichen Leben durch raffinierte Algorithmen unterstützen – oftmals ohne dass wir es mitbekommen.
Big Data for the win
Algorithmen benötigen Daten damit sie Entscheidungen treffen können. Viele Daten. Big Data… Daten. Big Data dient als Grundlage für viele Algorithmen und suggeriert uns, dass Entscheidungen, die damit getroffen wurden, eine sehr hohe Wahrscheinlichkeit haben, dass diese stimmen. Praktisch unfehlbar.
Wie kommt es dann aber, dass Stellenanzeigen für hochbezahlte Jobs eher an Männer ausgespielt werden? Wie kann es sein, dass Amazons 1-Tages-Lieferung teilweise nicht für Bezirke angeboten wurde, die mehrheitlich von Schwarzen bewohnt wurden, obwohl angrenzende Wohngebiete diesen Service nutzen konnten? Wie kann es sein, dass COMPAS – eine Software, die einen Risikowert errechnet für Personen, die verhaftet wurden – Weiße fast doppelt so oft als risikoarm einschätzt als Schwarze? Sicher ist dabei nur, dass es keinen Belegt dafür gibt, dass es sich dabei um eine gerechte Einschätzung handelt.
Ungerechte Behandlungen dieser Art sind (in der Regel) keineswegs geplant. Sie entstehen dadurch, dass bei der Erstellung dieser Algorithmen nicht umfassend genug gedacht wurde. Niemand hatte sich mit möglichen Konsequenzen auseinandergesetzt und dafür gesorgt, dass es nicht soweit kommt. Vor allem aber wurde nicht bedacht, wie die zugehörigen Algorithmen antrainiert wurden. “Big data processes codify the past,” schreibt Cathy O’Neil. “They do not invent the future.” Genau darin liegt das Problem. Wenn die Vergangenheit mit Vorurteilen behaftet war, dann werden diese in genau denselben Algorithmen am Leben gehalten, die heutzutage einen Großteil unseres Lebens steuern – ob wir das wollen oder nicht. Man denke da nur mal an die Macht, die die SCHUFA über unser aller Leben hat, ohne dass man sich je dazu bereit erklärt hat, sich durch sie bewerten zu lassen.
Spracherkennung wird beispielsweise auch auf Basis vorhandener Bücher und Texte angelernt und kann dadurch zu einprogrammierten Vorurteilen führen: europäische Namen werden von diesen Systemen beispielsweise positiver belegt als afroamerikanische. Vorurteile, die nur langsam wieder verlernt werden können, wenn sie im System sind. Ein weiteres Beispiel sind Gesichtserkennungssysteme. Diese wurden hauptsächlich mit Menschen heller Hautfarbe antrainiert. Rassismus ist dann praktisch von vorneherein ins System einprogrammiert. Google hatte damals Probleme bei der automatischen Kategorisierung von Fotos auf Smartphones, als Schwarze plötzlich als Gorillas identifiziert wurden. Der Fehler wurde zwar behoben, zeigt aber was passieren kann.
Aber dass es auch anders geht, zeigt jetzt ganz aktuell Neuseeland. Die Regierung hat eine Satzung verabschiedet, die mit Hilfe von Transparenz genau diesem Problem entgegentreten will (Link zum Artikel auf Medium.com). Diese beinhaltet beispielsweise, dass in einfacher und verständlicher Sprache öffentlich dargelegt werden muss, wie und wo ein Algorithmus eingesetzt wird, Vorurteilsfreiheit sichergestellt werden muss und auch ein unabhängiges Gutachten durchgeführt werden kann. Außerdem müssen die Te Ao Māori Ureinwohner berücksichtigt werden bei der Entwicklung von Algorithmen und für die Öffentlichkeit Kontaktmöglichkeiten bereitgestellt werden, um Auskünfte zu einem Algorithmus einholen zu können.
Es handelt sich dabei zwar um eine Satzung, die auf freiwilliger Basis unterzeichnet werden kann. Dennoch ist dies wegweisend dafür, in welche Richtung es gehen sollte.
Konsequenzen
Wir können als Designer nicht tatenlos dabei zusehen, wie neue Technologien oder Apps oder sonstige Systeme entwickelt werden, ohne dabei genau zu betrachten, welche Konsequenzen diese auf die Bevölkerung haben könnten. Ein guter Designer designt nicht nur für den Fall, wenn etwas nicht funktioniert. Ein guter Designer designt vor allem auch für Personen, die nicht in die Zielgruppe “Weiß, männlich, Mitte Zwanzig und ohne nennenswerte körperliche Beeinträchtigung” passen.
Wer sich mit dem Thema nicht gezielt auseinandersetzt und sich nur der tollen neuen technischen Möglichkeiten erfreut, wird vielleicht nicht auf Anhieb mit möglicher ungerechter Behandlung durch einen Algorithmus rechnen. Schließlich handelt es sich um emotionslose Technik, die jeden gleich behandelt. Aber jede positive technische Errungenschaft bringt eben auch immer eine negative Seite mit sich. Denn wer das Flugzeug erfindet, erfindet damit auch den Flugzeugabsturz. Unerwartete Konsequenzen also, die zwar nicht beabsichtigt sind, aber nichtsdestotrotz auftreten. Das bedeutet aber nicht, dass man diese einfach hinnehmen muss. Vielmehr sollte man versuchen, mögliche Konsequenzen vorherzusehen und versuchen zu verhindern.
Anders sieht es aus bei externen Effekten. Diese sorgen für Konsequenzen, die teilweise gar nicht so unerwartet sind, dafür aber gerne ignoriert werden. Nehmen wir als Beispiel Airbnb: hier können Privatpersonen ihre leer stehenden Räumlichkeiten anbieten und Reisende günstig übernachten. Auf die Nachbarschaft hat das aber teilweise große Auswirkungen, wie zum Beispiel die Reduzierung verfügbarer Mietwohnungen oder auch das sich dadurch veränderte Umfeld. Denn eine Nachbarschaft mit ständig wechselnden Bewohnern unterschiedet sich stark von einer mit dauerhaft ansässigen Nachbarn. Die (nicht nur finanziellen) Kosten, die dadurch entstehen, werden dabei auf die Nachbarn abgewälzt, während Airbnb und die Vermieter die Gewinne einnehmen.
Man kann bei solchen Entwicklungen darüber streiten, ob es sich dabei um notwendige Übel handelt, die für die Weiterentwicklung der Gesellschaft in Kauf genommen werden müssen. Man kann dabei aber schwer verneinen, dass hier Menschen ungerecht behandelt werden. Es gäbe gegebenenfalls sogar bessere Lösungen, wenn man sich darum kümmern würde, diese externen Effekte mit der gleichen Sorgfalt zu behandeln, wie die Steigerung der Umsätze.
Man muss sich die Frage stellen, ob das alles ethisch und moralisch betrachtet eigentlich noch in Ordnung ist, was “Techies” im Namen des Fortschritts (ob es sich dabei immer um echten Fortschritt handelt darf man auch in Frage stellen) auf die Menschheit loslassen, während sie nur den Profit im Blick haben und ihnen mögliche Auswirkungen auf Dritte egal sind.
Ethik und Moral
Wie kann man nun aber verhindern, dass es soweit kommt? Die heutige Technologie hat einen starken Einfluss darauf, wie wir die Welt wahrnehmen. Dennoch gibt es keine Instanz, die dafür verantwortlich ist, dass Technik sich an ethisch-moralische Werte hält. Wer würde diese Werte überhaupt festlegen? Wieso gibt es für Designer nichts, das einem hippokratischen Eid ähnelt? Ansätze dazu gab es tatsächlich schon, wurden von der Öffentlichkeit aber leider nicht ausreichend unterstützt. Und wie gehen wir in Zeiten der Globalisierung damit um, wenn Werte anderer Gesellschaften, nicht mit unseren zusammenpassen?
Normalerweise legt die Gesellschaft ethische Standards fest. Aber was, wenn technologische Entwicklungen auf dem Markt erscheinen, die neue Standards erfordern? Welchen Einfluss haben solche Entwicklungen auf die Ausformung neuer ethischer Regelwerke? Die Erfinder solcher Entwicklungen haben unbewusst einen erheblichen Einfluss auf die Entwicklung der Gesellschaft. Einzelne sollten aber nicht einen derartigen Einfluss ausüben können. Vor allem dann nicht, wenn sie nicht über das dafür notwendige Wissen verfügen, das sie zu einer ethischen Autorität machen könnte.
Für den Einstieg, möchte ich hier kurz auf zwei Ansätze eingehen, wie sie auch von Cennydd Bowles in Future Ethics (nur um dieses fantastische Buch hier direkt mal nennen zu können) beschrieben werden und als erster Denkanstoß dienen sollen.
Deontologischer Ansatz
Die deontologische Ethik bewertet den moralischen Status einer Handlung nicht nur anhand ihrer Konsequenzen. Sie basiert darauf, dass sie aus Regeln und Prinzipien besteht und es eine moralische Pflicht ist, sich an diese zu halten. So sollte man sich beispielsweise immer fragen: “Was wäre, wenn jeder das tun würde, was ich im Begriff bin zu tun?” und damit zu einem universellen Gesetz werden würde (siehe auch: “kategorischer Imperativ” von Immanuel Kant), oder auch “Behandle ich Menschen als Mittel zum Zweck?”.
Man erhält dadurch ein sehr ausgereiftes Regelwerk, an das man sich halten kann. Durch die strikte Einhaltung der Regeln kann es aber auch zu schwierigen Konflikten kommen.
Ein Beispiel: “Wenn Person A die deontologische Pflicht, die Person B nicht zu foltern, nicht verletzt, dann werden zehn oder tausend oder eine Million unschuldige Personen aufgrund eines Nuklearschlages sterben.” (Quelle: Wikipedia)
Ein anderes Beispiel aus dem Bereich des Designers. Wie sieht es mit A/B-Tests aus, die wir ohne ganz offensichtliche Einwilligung auf Webseiten mit Nutzern durchführen? Auf den ersten Blick scheint man dadurch eigentlich nicht wirklich einen Schaden anzurichten. Nutzer willigen aber nicht bewusst ein, daran teilzunehmen, was deren Selbstbestimmtheit einschränkt. Als universelles Gesetz wird niemand wollen, dass man einfach die Selbstbestimmtheit einschränken darf. Darüber hinaus werden getestete Varianten auch gerne so lange ausgetauscht bis Nutzer so reagieren, wie man es sich wünscht. Dadurch behandelt man Menschen als Mittel zum Zweck. Ebenfalls nicht vereinbar mit dem deontologischen Ansatz.
Wie solche Experimente besser durchgeführt werden könnten, beschreibt Bowles auch sehr schön. Das will ich jetzt hier aber nicht vorwegnehmen. Das kann man im Buch nachlesen. (Man könnte meinen, ich werde vom Verlag gesponsert. Nein, werde ich nicht.)
Schleier des Nichtwissens
John Rawl beschreibt in seinem Buch “Theory of Justice” ein für unsere Zwecke sehr nützliches Prinzip: den “Schleier des Nichtwissens” oder auch “Veil of ignorance”. Die Grundidee ist, dass Architekten einer Gesellschaft nicht wissen sollten, in welcher Rolle sie später in dieser Gesellschaft auftauchen. Sozialer Status, Intelligenz oder auch persönliche Interessen wären niemandem vorher bekannt. Dennoch wäre man später zufrieden, ein Teil dieser Gesellschaft zu sein, sofern diese fair aufgebaut ist.
Der Ansatz lässt sich sehr gut auf unsere technologische Welt übertragen indem wir gerechte Systeme entwickeln, die in Betracht ziehen, welche Auswirkungen diese auf Menschen aller Art haben könnten. Versuchen wir beispielsweise Nutzer mit gezielter Werbung zum Kauf zu überzeugen, so müsste das Resultat fair für den überzeugten Nutzer sein und auch für denjenigen, der überzeugen will.
Empathie
Ein weiteres Mittel für bessere Produkte, kann Empathie sein. Immer wieder wird es gerne als wichtiges Element bei der Produktentwicklung genannt. Es soll bei Designern ein besseres Verständnis für Nutzer und deren Probleme, Ängste und Sorgen aufbauen. Ich bin auch großer Befürworter echter Empathie, stellt es doch einen wichtigen Bestandteil bei der Entscheidungsfindung dar. Aber das folgende Zitat beschreibt auch die damit einhergehende Problematik:
Based on my experience working with designers in large companies, however, I believe empathy is used mostly in good faith to ‘humanize’ a project that has little to do with human needs […] Empathy is applied retroactively to fit a business-centric product into a human-centric frame. It becomes an ethical practice designers use to feel better about the potentiality of making superfluous things that no one actually needs.
– Thomas Wendt, “Empathy as Faux Ethics”
Die Tech-Industrie hat komplett versagt
Es lässt sich leider nicht anders sagen: Aber ein Großteil der Tech-Industrie hat in Hinblick auf ethisch-moralisches Handeln versagt. Soziale Netzwerke erlauben Mobbing und geben Nationalsozialisten als gern gesehene Mitglieder eine Plattform, wie z.B. Twitter – alles im Namen von “Engagement”. Facebook erlaubt Werbung gezielt nach Rasse auszuspielen – auch wenn das offiziell nicht geht, da man nur noch nach Vorlieben ausspielen kann, die einer bestimmten Gruppe der Bevölkerung zuzuordnen sind. Nutzer werden ohne vorherige Einwilligung für Experimente missbraucht, die ohne Rücksicht auf psychische Folgen durchgeführt werden (siehe Facebooks “emotional contagion” Studie) – wer liest schon wirklich die AGB, wenn man einem sozialen Netzwerk beitritt und ist sich dessen bewusst? London’s Picadilly Lights Werbefläche überprüft anhand von Kameras, wer sich auf dem Platz befindet und spielt passende Werbung aus, die den Konsum antreiben soll – doch wer gibt den Betreibern das Recht, Menschen unbewusst so zu manipulieren? Und von der Ungerechtigkeit, die von nicht vorhandener Barrierefreiheit ausgeht, will ich hier gar nicht anfangen.
Wie konnte es soweit kommen?
Wir befinden uns in einer Welt, die den Profit für eine Seite der Gleichung maximiert, auf Kosten der anderen und ohne Rücksicht auf Verluste. Produkte werden entwickelt, ohne die Vielfalt der Menschen mit einzubeziehen, die sie später nutzen wollen. Sofern ein Produkt für weiße Männer in den Zwanzigern funktioniert, wird es auf den Markt losgelassen. Verwundern sollte das niemanden, wenn Silikon Valley aus 70-80% Männern und wie bei Google 1% Schwarzen und 3% Hispanoamerikanern besteht (Quelle: “Technically Wrong” von Sara Wachter-Boettcher). Das Diversitätsproblem ist ja auch durchaus weithin bekannt. Es wird nur leider gerne darauf zurückgeführt, dass es einfach zu wenig Frauen oder Personen anderer ethnischer Herkunft gibt, die in diesen Berufen arbeiten wollen.
Doch das eigentlich Problem liegt an anderer Stelle. Wer will schon in einem Beruf arbeiten, in dem man sich nicht wiederfindet? Solange zum Beispiel nicht sehr viel mehr Frauen in Unternehmen der Tech-Industrie arbeiten, werden diese Berufe auch wenig Interesse bei Frauen hervorrufen. Auch Frauenquoten werden daran nichts ändern, wenn wir nicht auch an den toxischen Zuständen in der Arbeitswelt arbeiten. Wer will sich schon tagtäglich mit sexistischen und/oder rassistischen Sprüchen auseinandersetzen? Ich musste selbst miterleben, wie das aussehen kann und bin in solchen Situationen mehr als froh das Privileg eines weißen Mannes genießen zu dürfen.
Solch ein Verhalten darf nicht existieren. Es muss möglich sein vielfältige Teams aufzubauen, damit Produkte von unterschiedlichsten Sichtweisen profitieren können. Ja, in solchen Teams wird es auch zu Spannungen zwischen den einzelnen Mitgliedern kommen. Aber genau das sorgt dafür, dass am Ende ein besseres Produkt herauskommt.
Vertrauen als neue Währung
Kommen wir aber wieder zurück zu Ethik und Moral. Damit Produkte einer ethisch-moralischen Betrachtung standhalten können, ist es notwendig, dass diese von Teams, bestehend aus Menschen vielfältigster Herkunft und Geschlechter entwickelt werden. Nur so können möglichst viele Sichtweisen in Betracht gezogen werden. Es ist außerdem wichtig, dass wir als Designer darauf achten, dass Produkte einer solchen Betrachtung unterzogen werden. Sollte das Risiko bestehen, dass man den hohen ethischen und moralischen Ansprüchen nicht gerecht wird – die man sich hoffentlich gesetzt hat – dann muss darauf hingewiesen und dafür gekämpft werden, dass sich das ändert. Wir als Designer sind geradezu verpflichtet, steuernd einzugreifen. Mike Monteiro hat das sehr schön formuliert: “Design is not about expressing yourself. Design is not about following your dream. Design is not about becoming a creative. Design is about keeping people from doing terrible things to other people.”
Es liegt an uns, zukünftig auf Basis dieser Mittel, Vertrauen in unsere Produkte bei den Nutzern aufzubauen. Der Umgang mit Nutzerdaten, mit der Umwelt, mit Menschen: all das wird immer mehr in den Fokus rücken. Gesetze wie die DSGVO zwingen Unternehmen jetzt schon, ihre bislang “dunklen” Machenschaften offenzulegen und schränken diese massiv ein. Aber das kann nur ein Anfang sein. Es liegt an jedem einzelnen, ethisch-moralische Entscheidungen zu treffen. Ich hoffe dabei immer nur, dass die richtigen Entscheidungen getroffen werden.
Wer mehr zum Thema wissen will, dem kann ich sehr die folgenden Bücher empfehlen, die unter anderem auch als Quelle für meinen Artikel gedient haben:
- “Future Ethics” von Cennydd Bowles
- “Ruined by Design: How Designers Destroyed the World, and What We Can Do to Fix It” von Mike Monteiro
- “Technically Wrong” von Sara Wachter-Boettcher