taz.de/1/!5900647 - Gopher HTTP proxy

# taz.de -- Foto-App „Lensa“: Nicht so schön, wie es scheint

> Die Fotobearbeitungs-App Lensa kommt ganz unschuldig daher. Doch sie
> macht immer wiederkehrende schwere Fehler im Maschinenlernen sichtbar.

IMG Bild: So oder so ähnlich sehen die Avatare aus, die mit der Lensa-App erstellt werden

Bilder von Märchenprinzessinnen, Kriegshelden, Feen und Astronauten – mehr
oder weniger erinnern sie an die eigenen Gesichtszüge, etwas entrückt,
gestrafft, aufgerichtet, geglättet. Irgendwie schöner. Oder eben gerade
nicht. Der gewaltige Erfolg der Fotobearbeitungs-App Lensa ruft jede Menge
Kritik auf den Plan. Dabei werden anhand der offensichtlichen Schwächen des
zunächst einmal gänzlich unschuldig daherkommenden Produkts altbekannte und
immer wiederkehrende schwere Fehler im Maschinenlernen sichtbar gemacht.

Die technologische Basis der App, die von Nutzer*innen bereitgestellte
Bilder bearbeitet, bildet eine sogenannte KI, Stable Diffusion. Diese
erlernt anhand eines sehr großen, frei zugänglichen Datensatzes mit dem
Namen Laion-5B, wiederkehrende Muster in Bildern und den dazugehörigen
Beschreibungen zu erkennen. Die Technologie ist inzwischen so weit
fortgeschritten, dass die Eingabe einer Textzeile wie zum Beispiel
„Astronaut isst eine Erdbeere auf dem Mond“ pseudokünstlerisch verfremdete
oder auch fotorealistische visuelle Ergebnisse hervorruft.

So ein Projekt der Bilderzeugung durch lernende Maschinen ist vollständig
von der Qualität des Inputs, also des Trainingsets abhängig. Laion-5B, die
Schule von Lensa, wurde nun durch das völlig wahllose und dabei jegliches
Urheberrecht missachtende Absaugen von Bildern aus dem öffentlich
zugänglichen Internet erzeugt. Jenes Internet, das bei einer allgemeinen
Google-Bilder-Suche mit dem Wort „beautiful“ in übergroßer Mehrheit junge,
weiße Frauen, viele davon in sexualisierten Posen, als Ergebnis vorlegt.
Und das ist beileibe nicht alles. Eine unmoderierte KI „lernt“ neben
Frauenverachtung auch Rassismus, brutale Gewalt und dergleichen in
millionenfacher Ausführung und ohne eigene Bewertung als zu allen anderen
gleichwertige Ausdrucksformen kennen und integriert diese kritiklos in
seine Nachahmungsmodelle.

Das Ergebnis sind dann zum Beispiel an [1][User*innen trainierte
Chatbots], wie Microsofts [2][Tay], der 2016 nach seiner Veröffentlichung
einfach nur noch ein rassistisches Arschloch war. Als genauso eins
entpuppte sich, immerhin erst nach zwei Tagen, im Sommer 2022 Blenderbot 3,
ein ähnliches Tool, diesmal von Meta. Googles Versuch auf demselben Gebiet
tat sich besonders durch ausufernden Sexismus hervor.

## Virtuelles Gefängnis der Zukunft

So nimmt es nicht wunder, dass sich die Berichte zu Lensa häufen, in denen
von [3][hypersexualisierten Frauenbildern] die Rede ist. Das geht bis hin
zu Pornoposen für offensichtlich [4][minderjährige Mädchen] und
Schlimmerem. Dazu berichten viele BPoC Nutzer*innen, dass ihre äußeren
Merkmale „aufgehellt“ würden oder die KI überhaupt Schwierigkeiten habe,
ihre Gesichter korrekt darzustellen.

Insbesondere letzteres Problem bei der Gesichtserkennung ist bekannt. So
führten wiederholte, von Gesichtserkennungssoftware angestoßene absurde
Ermittlungen gegen Schwarze Verdächtige zu einem Verbot der Technologie in
vielen US-Städten. Mangels bundesgesetzlicher Regulierung in den USA und
angesichts des gewaltigen Schadensersatzrisikos bei falschen
Beschuldigungen haben die ansonsten nicht sonderlich [5][zimperlichen
Konzerne wie Amazon] sich bis auf Weiteres verpflichtet, die Software nicht
mehr an Sicherheitsbehörden zu verkaufen.

KIs wie Stable Diffusion aber lernen immer weiter über die angedockten Apps
wie Lensa, Bilder präziser zuzuordnen und Gesichter genauer zu definieren
und das alles für den Spaß – und eine Nutzungsgebühr. Glaubt man also der
Kritik, bezahlen Nutzer*innen von Lensa dafür, am rassistischen und
frauenverachtenden virtuellen Gefängnis der Zukunft mitbauen zu dürfen;
eine Art gamifizierter Autoritarismus wird da beschrieben.

Prisma Lab, das Unternehmen hinter Lensa, wiegelt derweil ab. Allein in den
erst Mitte Dezember überarbeiteten Nutzungsbedingungen und Verpflichtungen
zur Privatsphäre wird ausführlich und für ein Technologie-Start-up
überraschend verständlich und zugewandt ausformuliert, dass weder die von
Nutzer*innen hochgeladenen Bilder noch das individuelle Trainingsmodell
der KI über den unmittelbaren Bearbeitungsprozess hinaus gespeichert
würden.

## Prekäre Lage von Technologie-Start-ups

Der Kritik zum rassistischen und sexistischen Bias der KI weicht Prisma
Lab-Sprecher Andrey Usoltsev in [6][einem Pressestatement] in zwei
Richtungen gleichzeitig aus. Einerseits behauptet er, dass Nacktheit nur
vorkommen könne, wenn Nutzer*innen die KI in diese Richtung
„provozieren“ würden. Andererseits bestätigt er lapidar, dass sowohl Lensa
als auch Stable Diffusion um die Existenz des Bias wüssten. Eine aus diesem
Wissen folgende Verantwortung wird offenbar nicht gesehen.

Der Grund dafür dürfte in der häufig prekären Lage von
Technologie-Start-ups liegen. Deren Ideen werden von
Wagniskapitalgesellschaften auf einem eher basalen Level finanziert.
Gearbeitet wird dann vornehmlich an der Funktionalität der Maschine, nicht
an ihren ethischen Implikationen. Eine wirkungsvolle Moderation der Inhalte
ist schon Branchenriesen wie Facebook viel zu teuer. Ein kleines Start-up
hat erst recht keine Mittel, Hunderte oder gar Tausende Menschen zu
bezahlen, um einen Haufen Bilder auf illegale oder sonstwie schwierige
Inhalte zu scannen.

Es geht darum, entweder weitere Finanzspritzen der Investoren zu bekommen
oder gleich ganz von einem der großen Konzerne wie Meta, Amazon oder Google
gekauft zu werden.

Was dann unter anderem zum Verkauf steht, ist in den Nutzungsbedingungen
der Lensa-App klar bezeichnet: alle Daten der Nutzer*innen, die noch auf
den Servern der Firma liegen. Welche genau das sind, könnte nur eine
unabhängige Überprüfung bestätigen. Die aber ist in diesem Geschäftsfeld
eher unüblich. Was bleibt, ist also ein Vertrauensvorschuss der
Nutzer*innen, dass Prisma Lab es ernst meint mit dem auf der Webseite
annoncierten Versprechen, daran zu arbeiten, „Video- und Fotobearbeitung zu
demokratisieren“.

20 Dec 2022

## LINKS

DIR [1] /Kuenstliche-Intelligenz-via-ChatGPT/!5903102
DIR [2] https://www.theverge.com/2016/3/24/11297050/tay-microsoft-chatbot-racist
DIR [3] https://www.technologyreview.com/2022/12/12/1064751/the-viral-ai-avatar-app-lensa-undressed-me-without-my-consent/
DIR [4] https://www.wired.com/story/lensa-artificial-intelligence-csem/
DIR [5] /Amazon-beendet-Kooperation/!5688012
DIR [6] https://techcrunch.com/2022/12/06/prisma-ai-regulation/

## AUTOREN

DIR Daniél Kretschmar

## TAGS

DIR Datenschutz
DIR Digitalisierung
DIR Schwerpunkt Künstliche Intelligenz
DIR Zukunft
DIR Bot
DIR Stadtplanung
DIR Schwerpunkt Meta

## ARTIKEL ZUM THEMA

DIR Ethik für Künstliche Intelligenz: Wo Schwaben Kalifornien sein will

Das Tübinger Cyber Valley will transparent und fair künstliche Intelligenz
entwickeln – Hand in Hand mit Milliardenkonzernen wie Amazon und BMW.

DIR Künstliche Intelligenz via ChatGPT: Alles verändert?

Eine KI, die für uns Texte schreibt? Klingt toll. Und ist inzwischen
Wirklichkeit. ChatGPT ist lustig, eloquent – und gefährlich.

DIR Hype um Smart Citys: Die Stadt ist kein Computer

Die Smart City beflügelt die Fantasie der Techkonzerne, die Industrie
wächst. Doch die Idee einer voll automatisierten Stadt ist gar nicht so
smart.

DIR Datenschutz und FaceApp: Immer mitten in die Fresse rein

Nebensache Datenschutz: Die App zur Modifikation von Gesichtern, FaceApp,
wird in den USA als Sicherheitsrisiko angesehen – weil sie aus Russland
ist.