Tiktok-Dschihad: Machen Algorithmen Jugendliche zu Terroristen?

Wenn Teenager zu Waffen greifen, werden oft soziale Netzwerke dafür verantwortlich gemacht. Ein Jugendpsychologe und zwei Technologieexperten analysieren die Situation und präsentieren ihre Ideen für verbesserte Plattformen.

Er ist erst 15 Jahre alt. Ein Jugendlicher, der theoretisch auch mit Freunden Fußball spielen, Schlagzeug üben oder ein Computerspiel spielen könnte. Stattdessen zieht er am Abend des 3. März durch die Straßen Zürichs und verletzt einen jüdischen Mann mit einem Messer.

Es scheint ein extremer, isolierter Fall zu sein. Doch leider werden solche Taten immer wieder versucht. So mussten beispielsweise im Juli die Konzerte von Taylor Swift in Wien aufgrund von Terrorplänen abgesagt werden. Dahinter standen Jugendliche, die sich zum Islamismus bekannten und aus dieser Ideologie heraus Menschen töten wollten.

Was muss in einem Jugendlichen vorgehen, damit er eine solche Tat plant? Was muss er gelesen, gehört, gefühlt haben? Vermutete Antworten lieferten die Tageszeitungen kürzlich nach dem Anschlag in Solingen. Es wurde von “TikTok-Terroristen” und “Islamismus-Influencern” gesprochen. Die zugrundeliegende Annahme: Soziale Netzwerke radikalisieren junge Menschen. Sie ziehen sie in einen Strudel gewalttätiger Videos, bis sie selbst zur Waffe greifen. Aber ist das wirklich so? Und was könnten die Plattformen ändern, um ihre Nutzer besser vor Radikalisierung zu schützen?

Vom Gamer zum Attentäter

Leonardo Vertone, leitender Psychologe und Co-Direktor des Zentrums für Kinder- und Jugendforensik an der Psychiatrischen Universitätsklinik Zürich, untersucht und behandelt Jugendliche, die straffällig wurden. Einige haben Symbole des Terrors wie die Flagge des IS geliked oder Geld über Kryptowährungen an eine terroristische Organisation gesendet. Andere haben mit der Planung eines terroristischen Gewaltakts begonnen.

Vertone kann keine Details zu spezifischen Fällen preisgeben, aber er beschreibt für die NZZ den typischen Radikalisierungsprozess, den Jugendliche durchmachen. Er betont, dass soziale Netzwerke besonders in der Anfangsphase eine signifikante Rolle spielen. Trotzdem setzt Radikalisierung ein, lange bevor ein Jugendlicher den ersten IS-Post auf Telegram sieht.

„Häufig erfährt der Jugendliche eine erhebliche Instabilität oder einen plötzlichen Wendepunkt im Leben, der ihn dauerhaft belastet“, erklärt Vertone. Dies kann der Tod einer nahestehenden Person sein, häusliche Gewalt oder Zurückweisung in der Schule. „Besonders wenn mehrere belastende Ereignisse zusammenfallen und es über längere Zeit nicht möglich ist, den daraus resultierenden emotionalen Stress zu verringern, besteht die Gefahr einer psychologischen Destabilisierung“, führt Vertone aus.

Die Jugend ist eine entscheidende Phase der Identitätsfindung. Viele Teenager stellen sich Fragen wie: Wo finde ich meinen Platz? Wer kann mein Vorbild sein? Fehlen die Eltern als Orientierung, wenden sich Jugendliche oft Gleichaltrigen oder anderen Leitfiguren zu, beispielsweise aus religiösen Gemeinschaften.

Diese Vorbilder entdecken Jugendliche heutzutage häufig im Internet. So folgte auch der 15-jährige Täter aus Zürich auf Instagram einer Moschee. Bekannt ist, dass er zeitweilig das Videospiel «Minecraft» spielte und Gaming-Videos auf YouTube hochlud. Irgendwann verwendete er im Netz nicht mehr seinen bürgerlichen Namen, sondern den Alias «Ahmed al-Dabbah», was «Ahmed das Biest» bedeutet.

Wie genau aus einem Gamer der Attentäter von Zürich wurde, ist unklar. Es existieren jedoch viele Berichte darüber, wie Nutzer auf Plattformen wie TikTok zunächst harmlose Inhalte konsumieren und allmählich immer problematischere Inhalte angezeigt bekommen.

Dieses Phänomen, im Englischen als «rabbit hole» bekannt, ist unumstritten: Empfehlungsalgorithmen passen sich sofort den Interessen der Nutzer an und präsentieren ihnen fortlaufend ähnliche Inhalte. Einige bekommen nur noch Make-up-Tipps zu sehen, andere ausschließlich muslimische Predigten und wieder andere nur Hassbotschaften.

Viele Inhalte, die als problematisch angesehen werden, sind legal.

Von den Inhalten ist nur ein Teil illegal, etwa Terrorsymbole und Aufrufe zu Gewalt. Diese werden von Plattformen meist recht schnell gelöscht, allerdings nicht immer. So zirkuliert auf Tiktok folgendes Video, auf dem ein IS-Banner zu sehen ist.

Zu Beginn der Radikalisierung sind legale Inhalte besonders wichtig, wie etwa Beiträge, die Wut und Empörung hervorrufen. Videos von hungernden Kindern oder toten Babys im Gazastreifen sind Beispiele dafür. Je öfter ein Nutzer solche Inhalte ansieht, desto mehr werden ihm durch den Algorithmus empfohlen.

Therapeut Vertone bestätigt dies. Jugendliche auf der Suche nach Zugehörigkeit und Bedeutung nutzen oft nicht Google, sondern suchen auf TikTok oder Instagram nach Schlagwörtern. Die Algorithmen sorgen dann für eine Zunahme ähnlicher Inhalte. Sie geraten in einen Recherche-Rausch, angetrieben von Interesse, Empörung und einer Faszination für das Extreme, erklärt Vertone.

Für den Radikalisierungsprozess ist typisch, dass das Gefühl der Ungerechtigkeit einseitig geschürt wird. „Mit einseitigen Informationen kann man sich schnell in große Wut hineinsteigern“, so Vertone. Dies passierte beispielsweise nach dem Ausbruch des letzten Nahostkonflikts, als TikTok vorwiegend pro-palästinensische Videos zeigte.

Wir im Gegensatz zu den Anderen: Identität durch Abgrenzung

Vertone erwähnt, dass bei einigen Teenagern der Konsum einseitiger Empörungsinhalte oft zu weiterer Abgrenzung führt, meist in geschlossenen Gruppen wie beispielsweise auf Telegram. Einen Link zu solch einer Gruppe könnte etwa ein ultrakonservativer Prediger mit islamistischer Ideologie in den Kommentaren eines Online-Videos teilen.

In der geschlossenen Gruppe beginnt eine neue Phase der Radikalisierung. Dort tauscht sich der Teenager mit bereits radikalisierten Menschen aus. Die vermitteln das Gefühl: Wir sind gut, die anderen sind böse. Wir glauben das Richtige. Die Ungläubigen schaden der Welt. Das gibt den Jungen ein Gefühl von Identität, Zugehörigkeit, Stärke.

In solchen Gruppen werden illegale Inhalte geteilt. Videos, in denen Terroristen als Helden dargestellt werden, radikalislamische Hetzbotschaften gegen Andersgläubige, Bilder von Exekutionen.

Laut Vertone errichten viele radikalisierte Jugendliche neben ihrer Online-Präsenz auch ein Netzwerk in der realen Welt. Üblicherweise fungiert eine bekannte Person als Vorbild und führt den Jugendlichen zu einem extremistischen Prediger oder einem Treffpunkt, an dem sich bereits Radikalisierte treffen und austauschen.

Auf diese Weise gelangt der Teenager schrittweise in ein extremeres Umfeld. Wenn dort Verständnis für seine anfänglichen Probleme gezeigt wird, erhöht sich die Wahrscheinlichkeit, dass er sich zunehmend mit dem neuen Netzwerk identifiziert.

Es erfordert weit mehr als nur einen Algorithmus.

Ein Algorithmus allein erzeugt keinen Terroristen. Dennoch tragen Plattformen eine Verantwortung für die Empörungsspirale in ihren Netzwerken. Seit letztem Jahr ist in der EU der Digital Service Act (DSA) in Kraft, der große Plattformen wie TikTok, Instagram, Facebook und YouTube dazu verpflichtet, systemische Risiken ihrer Algorithmen zu minimieren. Zu diesen gesellschaftlichen Risiken gehören um sich greifende Desinformation und Nutzer, die in Radikalisierungsschleifen geraten.

Das Gesetz spezifiziert jedoch nicht, wie die Plattformen im Einzelnen vorgehen sollen. Dies ist laut Ben Wagner, Associate Professor für Menschenrechte und Technologie an der Technischen Universität Delft in den Niederlanden, beabsichtigt: “Die EU möchte eine Vielfalt von Plattformen mit unterschiedlichen Moderationsansätzen ermöglichen.” Vorgeschrieben sind Transparenzberichte, in denen die Plattformen über Risiken und ergriffene Maßnahmen berichten müssen.

Zurzeit bieten diese Berichte jedoch kaum Transparenz. “Sie sind oft von minderwertiger Qualität und schlecht vergleichbar”, bemerkt Wagner. Die Technologieunternehmen wüssten weit mehr über die Probleme ihrer Plattformen, als sie öffentlich zugeben.

Dies hängt auch mit dem Zielkonflikt zwischen Schutz und Profit zusammen: Bereits 2018 erklärte Facebook-Gründer Mark Zuckerberg in einem Blogbeitrag, dass problematische Inhalte länger betrachtet würden als andere. Dies impliziert, dass das vermehrte Löschen solcher Inhalte die Profitabilität der Plattformen verringern könnte.

Weiterhin führt das Blockieren ganzer Themenbereiche durch Plattformen, um Radikalisierung zu verhindern, zu einer Einschränkung der Nutzerfreiheit. Joe Whittaker, Forscher an der Universität Swansea, spezialisiert auf extreme Inhalte in sozialen Netzwerken, merkt an, dass Plattformen oft legale, aber problematische Inhalte vorsorglich löschen, um Strafen zu vermeiden. „Dadurch könnte jedoch die Redefreiheit beeinträchtigt werden.“

Trotzdem zeigt Whittaker zusammen mit anderen Wissenschaftlern auf, dass das Verständnis über die Auswirkungen problematischer Inhalte auf die Nutzer noch sehr begrenzt ist: „Bisher weiß man wenig über die Effekte, die diese Inhalte auf die Nutzer ausüben.“ Die Forschung in diesem Bereich ist noch nicht weit fortgeschritten.

Der Weg nach vorn: Transparenz, Notfallmechanismus, digitale Bildung

Welche Lösungen gibt es also? Wagner sieht in den Transparenzberichten der Plattformen einen wirksamen Ansatz, um die Schäden durch Algorithmen schrittweise zu reduzieren. Allerdings müsste die Qualität dieser Berichte verbessert werden. Er empfiehlt, dass Technologieunternehmen ihre Berichte durch externe Stellen bewerten lassen sollten, ähnlich wie Banken ihre Finanzberichte prüfen lassen müssen. “Wir sollten diese Berichte genauso ernst nehmen wie Finanzberichte. Dann würden die Technologieunternehmen einen wirklichen Anreiz haben, den Schaden zu verringern, den ihre Plattformen verursachen.”

Der Jugendpsychologe Vertone verlangt von den Netzwerken, mehr Warnhinweise bei einseitigen oder gewalttätigen Inhalten zu setzen und die algorithmischen Empfehlungen so anzupassen, dass die Inhalte insgesamt möglichst neutral und nicht einseitig sind. Er hält auch einen Notfallknopf für denkbar: Wenn Jugendliche im Strudel der Netzwerke gefangen sind, wissen sie oft nicht, an wen sie sich wenden sollen. Ein Notfallknopf direkt im Feed könnte ein niederschwelliges Angebot sein, das Teenagern aus ihrer Notlage helfen könnte, meint Vertone.

Whittaker betrachtet digitale Kompetenz als das beste Werkzeug gegen Radikalisierung im Internet. Nutzer, die gelernt haben, Informationen kritisch zu betrachten und Quellen zu hinterfragen, sind weniger anfällig für problematische Inhalte. Hinzu kommt die “frühstmögliche Intervention bei Personen, die auffälliges Verhalten zeigen”.

Die Radikalisierung junger Menschen ist ein komplexes Phänomen, das nicht allein durch die Bezeichnung “Tiktok-Terroristen” erfasst werden kann. Soziale Netzwerke leisten zwar einen Beitrag zur Radikalisierung, aber technische Lösungen allein sind nicht ausreichend, um dieses Problem zu bewältigen.

Deshalb fordert Vertone die Gesellschaft auf: “Wenn man einen Jugendlichen sieht, der sich einer extremen Ideologie zuwendet, sollte man das Gespräch mit ihm suchen.” Viele Jugendliche können von extremistischen Ansichten abgebracht werden, wenn sie angemessen aufgeklärt, zum Nachdenken angeregt und ihre weiteren Probleme verstanden werden. Dies zeigt, dass Extremismus für viele Jugendliche auch ein Hilferuf sein kann.

Bild: Grok