Die Präsentation von The Bots wird von der neunteiligen Arbeit Abuse Standards Violations ergänzt, die den Beginn der Recherche von Eva & Franco Mattes mit dem Thema Content-Moderation markiert. Thematisiert wird die Frage nach der Moral der sozialen Medien und Tech-Giganten.

In neun Plexiglasrahmen, die mit Isoliermaterial gefüllt sind, werden Richtlinien von Unternehmen präsentiert, zum Beispiel Auszüge der Facebook-Community-Standards, die nicht für die Öffentlichkeit und nur für interne Zwecke bestimmt sind. Die Unternehmen, die diese Richtlinien erstellt haben, sind fast alle unbekannt, weil sie anonym bleiben wollen. Meistens wissen sogar die Moderator:innen selbst nicht, wer ihre Arbeitgeber:innen sind – eine:r von ihnen sagte zu Eva & Franco Mattes: „Ich bin mir ziemlich sicher, dass ich für Google arbeite.“ Die Richtlinien gegen Verletzungen der Missbrauchsstandards legen moralische Grenzen fragwürdiger Inhalte auf Social Media fest und entscheiden, wann diese als rassistisch, hasserfüllt, kontrovers, terroristisch, pornografisch oder gewalttätig definiert und somit entfernt werden. Clean oder ok to show bezieht sich auf Bilder, die als angemessen angesehen werden und daher in den sozialen Medien zirkulieren können, wie z. B. „ohne Hemd, aber mit Hose oder Hemd (und nicht mehr als der obere Streifen der Unterwäsche ist sichtbar)“, während „unangemessene“ Bilder Politik und kontroverse soziale Themen beinhalten können und gefiltert werden sollten. Zu den „sicheren“ Inhalten gehören Kunst und Klatsch und Tratsch über Prominente. Trotz festgelegter Richtlinien fehlt eine Eindeutigkeit darin, wann ein Inhalt entfernt werden sollte. Hier ist menschliche Interpretation erforderlich, eine algorithmische Einschätzung reicht nicht aus.

Richtlinien großer Social Media-Plattformen ändern sich täglich. Sie passen sich den aktuellen sozialen und politischen Ereignissen an. Da die meisten IT-Unternehmen ihren Sitz in Kalifornien haben, folgen sie meist den Richtlinien der US-Gesetze und der US-amerikanischen „Moral“, versuchen aber gleichzeitig, lokale und kulturspezifische Moralvorstellungen aufzugreifen. Die Schwierigkeit besteht darin, Content-Moderation für alle kulturellen Kontexte so auszuüben, dass die Gefahr vermieden wird, kulturelle Bias zu politischen Interpretationen werden zu lassen.

Für The Bots haben Eva und Franco Mattes mit dem investigativen Journalist Adrian Chen und den Schauspieler:innen Irina Cocimarov, Jesse Hoffman, Jake Levy, Alexandra Marzella, Ruby McCollister und Bobbi Salvör Menuez zusammengearbeitet. Sie präsentieren anonyme Zeugenaussagen von Content-Moderator:innen, die in Berlin für Facebook gearbeitet haben. Es sind sechs Videos entstanden. Im Raum sehen die Besucher:innen hochgestellte Tischplatten, die eine minimalistische Installation bilden. Die Tischplatten verweisen auf das Mobiliar des Berliner Moderationszentrums, in dem die Befragten arbeiteten. Die Videos werden für die Betrachter:innen erst sichtbar, wenn sie hinter die errichtete Barriere treten und hinter die Arbeitsoberfläche schauen.

Was wissen wir über die Mechanismen und Regulierungen von Social-Media-Kanälen, die wir täglich verwenden? Welche Inhalte bleiben sichtbar und welche werden herausgefiltert? Und gibt es klare Richtlinien, nach denen Inhalte gelöscht werden?

Die Filme wurden mit der typischen Ästhetik und den Merkmalen von online Make-Up-Tutorials umgesetzt. Die Aussagen in den Filmen stammen aus investigativen Recherchen, aus Interviews bei denen zahlreiche Zeug:innen befragt wurden, die als Dienstleistungsanbieter:innen für Facebook angestellt waren. Um die Aussagen der Content-Moderator:innen zu anonymisieren, wurden die Filme von Schauspieler:innen interpretiert. Sie spielen die Rolle von Influencer:innen, die sich in direkter Ansprache an ihre Follower:innen wenden. Sie haben die Videos mit ihren Smartphones aufgezeichnet. Aus diesem Grund handelt es sich bei den Bildern um Hochformate. Ratschläge zu Make-up-Produkten wechseln sich mit erschütternden Beschreibungen ihrer Arbeit ab.

Inhalte auf sozialen Kanälen unterliegen Beschränkungen und werden somit überprüft und überwacht. Die Plattformen geben an, ihre Inhalte durch Gemeinschaftsrichtlinien (community guidelines) zu regeln. Vereinzelte Kanäle wie Telegram lassen auch unzensierte und problematische Inhalte zu. Die Richtlinien können allerdings nicht vermeiden, dass täglich tausende von „verbotenen“ Inhalten online gepostet werden: Gewalt, sexuelle Übergriffe, Hassreden, Terrorismus und Pornografie sind nur einige der Kategorien von unerwünschtem Content auf Social Media. Die meisten dieser Inhalte bekommen wir nicht zu sehen, weil sie zuvor gelöscht werden. Diese Überprüfung kritischer Bilder und Videos findet immer über Menschen statt. Es handelt sich nicht um eine automatisierte Bereinigung, die von Algorithmen erledigt wird. Programme filtern zwar Inhalte, die gegen die Richtlinien der jeweiligen Plattform zu verstoßen scheinen, können aber meistens nicht den Kontext eines Beitrags eigenständig interpretieren.

Eva & Franco Mattes machen in ihrer Arbeit The Bots explizit darauf aufmerksam, dass kritische Inhalte in großen Mengen von Individuen gesehen und bearbeitet werden. Es sind eben nicht Bots, nicht Programme, sondern Menschen. Sie heißen „Content-Moderator:innen“ und ihr Beruf zählt zu den „nicht regulierten” Jobs, die mit dem Aufkommen von Tech-Unternehmen entstanden sind (z.B. Amazons Mechanical Turk).

Im Fall von Crowdsourcing-Arbeitsvermittlung wissen Content-Moderator:innen oft nicht für welche Firmen sie arbeiten. Sie werden von sogenannten contractors angestellt, die zwischen Tech-Giganten wie Google, Meta, Youtube, Twitter und den Arbeitnehmer:innen vermitteln. Somit wird die Anonymität der Firmen gewahrt, deren rechtliche Verantwortlichkeit minimiert und dank einer Verschwiegenheitserklärungen geschützt. Die Arbeitsbedingungen werden weder öffentlich debattiert noch politisch reguliert. Dienstleistungen werden durch Leiharbeitsverträge geregelt und minimal bezahlt.

Dank investigativer journalistischer Arbeit drangen in den letzten Jahren dennoch immer wieder Berichte über Missstände an die Öffentlichkeit. Der Journalist Adrian Chen war 2014 der Erste, der mit seinem Artikel The Laborers Who Keep Dick Pics and Beheadings Out of Your Facebook Feed in Wired das Thema beleuchtete. Eva & Franco Mattes arbeiten mit Chen seit Jahren zusammen.

Eines der wesentlichen Probleme ist, dass Content-Moderator:innen täglich tausende Beiträge sichten müssen, bevor sie sie löschen. Enthauptungen, Kinderpornografie, grobe Gewalt jeglicher Art, fanatische Hassreden und viele weitere Ausdrucksformen menschlicher Abgründe sowie auch die einfache Flut banaler Uploads hinterlassen Traumata und tiefe Verstörung bei den Menschen.

Zwar existieren guidelines über die Klassifizierung anstößiger Inhalte. Diese werden aber nicht öffentlich gemacht und müssen von Content-Moderator:innen geheim gehalten werden. Die Regularien werden täglich verändert. Zur Quantifizierung der Arbeitsleistung muss die Mindestquote von 95 % der zu löschenden Beiträge erreicht werden, ansonsten droht eine Entlassung. Über die anonymen Aussagen ist bekannt, dass Arbeiter:innen überwacht werden und unter starkem Leistungsdruck stehen.

In vielen Kulturkreisen werden die Regeln an das entsprechende Moralempfinden angepasst. Oft findet Content-Moderation durch Arbeiter:innen im Globalen Süden, Asien und in ehemaligen Kolonien statt. Der Grund hierfür ist neben unreguliertem Arbeitsrecht, die Kenntnis westlicher Sprachen und ein Verständnis für westliches Moralempfinden.

Doch auch Moderator:innen sind keine objektiven Filter. Der Prozess ist trotz Richtlinien subjektiv und von individuellen Interpretationen geprägt. Inhalte werden entfernt, wenn sie beispielsweise politisch oder ideologisch als unangemessen angesehen werden. Die eigene politische Gesinnung wirkt sich unter Umständen auf die Moderationsentscheidung aus.

Eva & Franco Mattes erzeugen mit der gewählten Ästhetik einen bewusst harten Bruch zu den Inhalten. Sie nutzen die Inszenierung von Make-Up-Tutorials für ihre künstlerische Arbeit. Um Zensuren zu umgehen, werden politische Inhalte getarnt. Diese Vorgehensweise kommt von Aktivist:innen, die politische Botschaften und Menschenrechtsverletzungen in autokratischen Staaten so an die Öffentlichkeit tragen. Es war die junge TikTok-Nutzerin und Aktivistin Feroza Azis, die sich vor wenigen Jahren beim Schminken filmte, um die Zensur der chinesischen Regierung zu umgehen. Somit konnte sie frei über die systematische Unterdrückung und Überwachung von Uiguren im Nordwesten Chinas sprechen, bevor sie von der Plattform gesperrt wurde.

Gleichzeitig ist das Sujet Make-Up sinnbildlich zu verstehen. Wie die Künstler:innen selber aussagen: „Make-up ist eine Möglichkeit, Unvollkommenheiten in unserem Gesicht zu kaschieren, nicht viel anders als die Moderation von Inhalten, die die Oberfläche des Internets verschönert, indem sie unerwünschte Inhalte entfernt.“

Personal Photographs November 2007 ist ein in sich geschlossenes Netzwerk zwischen zwei Raspberry Pi-Mikrocomputern, die mit Kabeln verbunden sind und ständig Dateien miteinander austauschen. Mit den Kabeln und Kabeltrassen entsteht eine ortsspezifische temporäre Skulptur. Wie der Titel der Installation bereits andeutet, zirkulieren im geschlossenen System 101 persönliche Fotos des Künstler:innenduos. Die Bilddateien bleiben für die Besucher:innen allerdings bewusst unsichtbar – Bilder ohne Betrachter:in und doch immer da, wie die meisten Bilder heutzutage.

Die Installation basiert auf dem mit David Huerta entwickelten Code, der auf der Open-Source-Plattform Github verfügbar ist. Huerta ist Trainer für digitale Sicherheit bei der Freedom of the Press Foundation, wo er an Methoden arbeitet, um Journalist:innen darin zu schulen, die Vorteile von Technologien zur Verbesserung der Privatsphäre zu nutzen, um eine freie Presse zu stärken. Das Open-Sourcing ermöglicht Entwickler:innen und Künstler:innen weltweit, den Code zu nutzen, zu erweitern und anzupassen.

Die Bilddateien, die im System Personal Photographs zirkulieren, wurden von Eva & Franco Mattes im November 2007 aufgenommen. Die Auswahl vermittelt einen Eindruck davon, welch riesige Quantität an Bildern sich auf Handys und Computern ansammelt, da Kommunikation und Interaktion zunehmend in Form digitaler Bilder stattfindet und in immenser Menge hochgeladen wird.

Seit der Entstehung des öffentlichen Internets gab es wesentliche Phasen der Entwicklung. Anfangs als Read-Only-Instrument – also reines Zugreifen auf Informationen – entwickelte es sich zu einem interaktiven Kommunikationsnetz. Ab 2004 wurde mit Web 2.0 die direkte Beteiligung der Nutzer:innen möglich. Jeder konnte Inhalte selbst generieren und veröffentlichen. In nachfolgenden Wellen wurden Bildplattformen zum Trend, die sich in immer rasanterer Abfolge gegenseitig ablösten: die Fotobörse Flickr (2004), der Fotoblog WordPress (2005), das soziale Netzwerk Facebook (2004), der Mikrobloggingdienst Twitter (2006), Instagram (2010) oder TikTok (2016) sowie Instant-Messaging-Apps wie WhatsApp (2009), Snapchat (2011) und BeReal (2020).

Die überwiegende Mehrheit der Bilder existiert heutzutage nicht in Form von gedruckten Fotografien, die an einer Wand hängen oder in einem Buch abgebildet sind. Sie werden als allgegenwärtige Dateien ständig kopiert und zwischen Geräten, von einem Datenzentrum zu einem anderen, durch kilometerlange Kabel oder Luft übertragen.

Die freiwillige Teilnahme aller Nutzer:innen weltweit gibt den wenigen globalen Internetkonzernen die Möglichkeit, die Totalität der veröffentlichten Inhalte als Datensätze zu nutzen. Einerseits existiert ein nur geringes Bewusstsein über den Zugriff der Konzerne auf die Daten. Andererseits ist die Akkumulation von Informationen bei den wenigen, großen Konzernen so erschreckend hoch, dass sie über Big Data Management Vorhersagen über kollektives Verhalten, aber auch Kontrolle über Gesellschaften ausüben können. Politik und demokratische Strukturen hinken hinterher.

Über die Metadaten geben digitale Bilder viele Informationen preis: das Datum und die Uhrzeit der Aufnahme, geografische Koordinaten, aber auch Details über die verwendete Technik. Somit werden beim Teilen von Bildern unbewusst zusätzliche Informationen an eine Öffentlichkeit weitergegeben. Auch wurden Social Media-Inhalte bereits seit ihrer Entstehung ohne das Wissen der Nutzer:innen als Datensätze für das maschinelle Lernen genutzt.

Während Menschen Content auf sozialen Medien zum Zweck der Unterhaltung und Freizeit hochladen, werden diese frei zugänglichen Informationen von Unternehmen genutzt und monetarisiert, um Einnahmen zu erzielen, ohne dass die Autorenschaft eine Rolle spielt.

Lange vor dem Aufkommen sozialer Medien haben sich Eva & Franco Mattes mit dem Teilen persönlicher Informationen auseinandergesetzt. In ihrer Performance Life Sharing, die von 2001 bis 2004 stattfand, veröffentlichten die Künstler:innen alle Inhalte ihres Computers: Alle ihre Kunstwerke sowie privates Material – einschließlich E-Mails, Texte, Fotos und Kontoauszüge – waren über ihre Webseite frei zugänglich. Damals als radikaler Akt empfunden, wird heute diese Handlung des oversharing auf sozialen Medien als akzeptabel, oder sogar wünschenswert, wahrgenommen.

Durch ihre Installation Personal Photographs revidieren die Künstler:innen diese Praxis und stellen ein Privatarchiv aus, zu dem Außenstehende keinen Zugang haben. Allein die Trägerstruktur, die Hardware, bleibt als skulpturale Erscheinung im Raum zurück. Nicht ihre Privatsphäre, sondern die Infrastruktur von Daten wird sichtbar gemacht. Die Materialität erzeugt eine Präsenz im Raum. Diese verweist darauf, dass digitale Inhalte und Bilder eine materielle Infrastruktur benötigen, um gespeichert, gesendet und geteilt zu werden. Die physische Fragilität von digitalen Netzwerken wird als Skulptur umgesetzt. Diese passt sich der bereits vorhandenen Architektur an und prägt die Art und Weise, wie sich die Besucher:innen im Raum bewegen. In diesem Fall kanalisiert sie nur die physischen Bewegungen, aber natürlich formt die Technologie auch unser Verhalten, unsere Gefühle, Erinnerungen, Erwartungen, Ängste und Träume.

Wir danken OBO Bettermann

Faina Yunusova beschäftigt sich mit den Konventionen im Netz und der Entstehung von Communities, die zur kollektiven Konstruktion von digitalen Phänomenen beitragen. Sie identifiziert und nutzt möglichst viele der Faktoren, die in sozialen Medien erfolgreich sind und hohe Nutzerzahlen generieren.

Die für den Frankfurter Kunstverein geschaffene digitale Performance #SugarMacht beginnt auf Instagram und findet ihre Erweiterung im Ausstellungsraum. Yunusova zitiert eine Vielzahl aktuell erfolgreicher Ästhetiken, die als Kulisse für Selbstinszenierungen in den Sozialen Medien zu sehen sind: das violette Licht, die Ringleuchte für bessere Selbstportraits, die intime Atmosphäre eines Schlafzimmers. Das Bett inszeniert eine vermeintliche Privatsphäre der Künstlerin, die nur dazu dient, sich der Öffentlichkeit zu präsentieren. Die von der Decke hängende Neon Schrift mit dem Hashtag SugarMacht ist eine Einladung der Künstlerin an die Besucher*innen bei der Performance mitzumachen und Teil ihres Werkes zu werden.

Auf einem ersten Bildschirm sieht man eine Compilation von Content, den die Künstlerin selbst produziert und gepostet hat. Hier inszeniert sich Yunusova als Influencerin, die TikTok-Trends ausführt und damit das Publikum vor Ort zur Teilnahme und Nachahmung einlädt. TikTok und Instagram verstärken die Praxis des Remix. Dort werden Mashups und Challenges generiert, die auf der Wiederholung und das Interpretieren der Vorgaben anderer beruhen. Ihre Inszenierung ist ein fake, die als gängige Praxis der Selbstdarstellung im Netz praktiziert wird. Die Künstlerin setzt ihren Körper als Platzhalter für kollektive Vorstellungen ein, der aber durch eine Vielzahl von Filtern, Musik und lustigen Verfremdungen als Inszenierung einer digitalen Person zum Einsatz kommt.

Was in der digitalen Präsentation sichtbar ist und als mögliche Realität verkannt werden kann, wird von Besucher*innen der Ausstellung real betreten und somit als Kulisse wiederum nutzbar gemacht. Somit schafft Yunusova einen Loop der Selbstbespiegelung zwischen digital und analog, in dem der inszenierte Raum nicht nur über die Mobiltelefonoberfläche eingesehen, sondern als reale Bühne angeboten wird, auf der sich nun auch die Besucher*innen selber inszenieren. Postet man ein Bild oder ein Video auf Instagram unter dem Hashtag #SugarMacht, wird man Teil der Installation: das Publikum kann sich in Echtzeit auf einem Bildschirm betrachten, der mit dem Internet verbunden ist und durch Zufallswiedergabe Beiträge zeigt, die unter dem Hashtag geteilt wurden.

Durch eine eigene Sprache, die auf Tanzen, Musik und Selbstironie basiert, zeigt die Künstlerin den spielerischen Charakter von Social Media (#Sugar) und deckt auf, wie die Verbreitung von Trends eine kollektive Identität aufbaut und somit eine online Community zunehmend miteinander verschmilzt. Einfache Interaktionsmechanismen von Social Media werden aufgedeckt: Das, was als banal erscheint, suggeriert die Abhängigkeit von Selbstinszenierung und die Macht der Massenproduktion bei der Herstellung von Content, die aus der Verwendung von Social Media resultieren können (#Macht). Wer sich als Influencer*in definiert und glaubt, Macht zu haben, Menschen beeinflussen zu können, wird selbst von der Massenkultur der anderen beeinflusst. So zeigt der Hashtag #SugarMacht die Doppeldeutigkeit von Social Media auf.

Faina Yunusova (*1991, Tashkent, UZ) lebt und arbeitet in Darmstadt (DE) und Frankfurt am Main (DE). Ihre Arbeiten beschäftigen sich mit digitaler Präsenz in sozialen Medien und der Kreation virtueller Identitäten. Seit 2017 studiert sie an der Hochschule für Gestaltung Offenbach (DE). Zuvor studierte sie an der Moskauer Stroganov-Akademie für industrielle und angewandte Kunst in Moskau (RU), bevor sie wegen ihres Internet-Aktivismus der Universität verwiesen wurde. Unter anderem hat Faina Yunusova in den folgenden Institutionen ausgestellt: Basis Projektraum, Frankfurt am Main (DE), Rumplmayr Neukirchen, Sägewerk, Neukirchen (AT), Academy for interdisciplinary processes, Offenbach am Main (DE), Zwo Gallery, Wien (AT).