CHAT CONTROL II. – Was der Vorschlag der EU für Chat Control 2 tatsächlich bedeutet

Ein System kann nicht wissen, ob eine Nachricht illegales Material enthält, bevor es die Nachricht untersucht hat.

Es kann ein Bild mit einer Datenbank bekannter Inhalte abgleichen, mithilfe von KI einschätzen, ob ein bisher unbekanntes Bild Missbrauch zeigt, oder ein Gespräch auf Formulierungen untersuchen, die auf Grooming hindeuten könnten.

Welche Methode auch gewählt wird, das System muss zunächst Zugriff auf die Inhalte erhalten.

Die Überwachung erfolgt daher vor dem Verdacht.

Chat Control 2

Nach dem ursprünglichen Vorschlag der Kommission zu Chat Control 2 könnten Anbieter verpflichtet werden, bekannte Darstellungen sexuellen Kindesmissbrauchs, bislang unbekanntes Material und mögliche Kontaktanbahnung gegenüber Kindern zu erkennen.

Dabei handelt es sich um drei sehr unterschiedliche technische Aufgaben.

1 – Der Abgleich einer Datei mit einem bekannten digitalen Fingerabdruck ist vergleichsweise präzise.

2 – Die Entscheidung, ob ein neues Foto illegal ist, ist erheblich unsicherer.

3 – Die Interpretation eines Gesprächs, um festzustellen, ob eine Person eine andere groomt, erfordert ein automatisiertes System, das Sprache, Kontext, Beziehungen und Absichten bewertet.

Es gibt mehrere Stellen, an denen diese Kontrolle stattfinden könnte.

Am einfachsten wäre die Kontrolle auf den Servern eines Unternehmens. Ein Nutzer lädt eine Nachricht, ein Bild oder ein Video hoch, und der Anbieter untersucht den Inhalt nach dem Empfang. Dies ist bereits bei Diensten möglich, bei denen der Anbieter auf unverschlüsselte Inhalte zugreifen kann, und war im Rahmen des inzwischen ausgelaufenen Chat Control 1 erlaubt.

Eine Ende-zu-Ende-Verschlüsselung verhindert eine solche serverseitige Kontrolle, da der Anbieter nicht über den Schlüssel verfügt, der zum Lesen der Kommunikation erforderlich ist. Bei einem ordnungsgemäß konzipierten verschlüsselten Dienst wird die Nachricht auf dem Gerät des Absenders in unlesbare Daten umgewandelt und kann nur vom vorgesehenen Empfänger entschlüsselt werden.

Damit bleiben die Endgeräte.

Die Anwendung oder das Betriebssystem könnte die Kontrolle durchführen, wenn eine Datei ausgewählt, ein Foto aufgenommen oder Text eingegeben wird, noch bevor der Inhalt verschlüsselt und versendet wird.

Der Scanmechanismus könnte außerdem in Tastaturen, Cloud-Speicher, Bildbibliotheken oder andere Systemkomponenten integriert werden, die auf Inhalte zugreifen können, bevor diese einen verschlüsselten Dienst erreichen.

Die Nachricht wäre während der Übertragung über das Internet weiterhin verschlüsselt, das System würde jedoch sämtliche Inhalte auf dem Telefon untersuchen.

Der Verschlüsselungsalgorithmus könnte intakt bleiben, etwa bei Signal oder Telegram. Die Privatsphäre der Daten jedoch nicht.

Das Europäische Parlament hat dieses Problem in seiner Verhandlungsposition anerkannt und Ende-zu-Ende-verschlüsselte Kommunikation von Erkennungsanordnungen ausgenommen.

Auch die europäischen Datenschutzbehörden haben davor gewarnt, dass der Vorschlag der Kommission zu einer allgemeinen und unterschiedslosen Überwachung aller Menschen führen könnte.

Dies steht in direktem Spannungsverhältnis zur ePrivacy-Richtlinie und zu den Grundsätzen der DSGVO, die genau eine solche allgemeine und unterschiedslose Überwachung der Kommunikation verhindern sollten.

Kinderpornografie und Grooming – vorgesehene Zwecke

Noch schwieriger wird es, wenn das System Material erkennen soll, das bislang nicht bekannt ist.

Bekannte illegale Bilder können mithilfe digitaler Fingerabdrücke identifiziert werden, obwohl auch diese Systeme Fehler machen oder manipuliert werden können.

Die Erkennung bislang unbekannter Inhalte erfordert, dass eine KI entscheidet, was auf einem Bild zu sehen ist. Die Erkennung von Grooming ist noch komplizierter, da Gespräche nicht mit einer praktischen Kennzeichnung der kriminellen Absicht in den Metadaten eintreffen.

Erwachsene und Kinder sprechen aus legitimen Gründen über Sexualerziehung, medizinische Probleme, Missbrauch, Beziehungen und persönliche Erfahrungen. Jugendliche sprechen miteinander auf eine Weise, die ein automatisiertes System missverstehen könnte. Eltern versenden Fotos ihrer Kinder. Ärzte, Therapeuten, Lehrer, Anwälte und Hilfsorganisationen bearbeiten im Rahmen ihrer Arbeit äußerst sensible Inhalte.

Ein automatisiertes System müsste diese Situationen irgendwie von kriminellem Verhalten unterscheiden.

Der Europäische Datenschutzausschuss und der Europäische Datenschutzbeauftragte warnten davor, dass Technologien zur Erkennung neuer Inhalte und von Grooming wahrscheinlich Fehler produzieren werden. Sie stellten außerdem fest, dass die Analyse sämtlicher Sprache und sämtlichen Verhaltens besonders eingriffsintensiv sein kann.

Falschmeldungen sind in einem solchen System keine geringfügige Unannehmlichkeit.

Ein fehlerhafter Bericht durch Chat Control könnte private Fotos, intime Gespräche, Kontodaten und persönliche Informationen zur weiteren Untersuchung an ein Unternehmen, eine EU-Stelle oder Strafverfolgungsbehörden weiterleiten.

Zu den Folgen könnten die Sperrung eines Kontos, die Einsichtnahme in private Inhalte durch menschliche Moderatoren, polizeiliche Befragungen, die Beschlagnahmung von Geräten oder die Verbindung unschuldiger Menschen mit schweren Straftaten gehören.

Selbst wenn eine Untersuchung die betroffene Person später entlastet, hat der Eingriff bereits stattgefunden.

Unbeabsichtigte Zwecke – das schlimmste Szenario

Die Infrastruktur zur Überwachung müsste nicht zwangsläufig auf ihren ursprünglichen Zweck beschränkt bleiben.

Sobald Anwendungen oder Betriebssysteme über einen Mechanismus verfügen, der private Kommunikation untersucht und mit zentral bereitgestellten Regeln vergleicht, ist es technisch einfach, zu ändern, wonach das System sucht. Damit wird die Frage zu einer politischen Entscheidung.

Zu den Kategorien könnten später Terrorismus, Extremismus, verbotene politische Organisationen, Urheberrechtsverletzungen, Desinformation, Hassrede, Gefahren für die öffentliche Ordnung oder als schädlich eingestufte Inhalte gehören.

Dasselbe gilt für Sprachkommunikation.

Während Chat Control derzeit hauptsächlich im Zusammenhang mit Nachrichten, Bildern, Videos und Grooming-Gesprächen diskutiert wird, gibt es technisch keine feste Grenze zwischen der Analyse geschriebener Worte und der Analyse gesprochener Sprache.

Smart-TVs, Sprachassistenten wie Siri, Alexa und Google Assistant sowie Dienste zur Transkription von Anrufen führen bereits ähnliche Echtzeitanalysen zu Zwecken wie „Qualität“, „Sicherheit“ oder gezielter Werbung durch.

Das klassische Beispiel ist, dass man in der Nähe des Fernsehers oder beim Scrollen auf Facebook beiläufig Socken erwähnt und wenige Minuten später Werbung für Socken sieht. Dies zeigt, dass Formen des Zuhörens und der Inhaltsanalyse auf Verbrauchergeräten und Plattformen bereits weit verbreitet sind.

Die technische Hürde für eine staatlich angeordnete Ausweitung wäre daher niedrig.

Das Gerät würde private Inhalte fortlaufend untersuchen, probabilistische Einschätzungen über deren Bedeutung treffen und entscheiden, ob die Kommunikation des Nutzers gemeldet werden sollte.

Die Kontrolle könnte stattfinden, ohne dass der Nutzer weiß, wodurch sie ausgelöst wurde, welche Datenbank verwendet wurde, wie zuverlässig das System war oder ob das Material gespeichert wurde.

Ein solcher Mechanismus wäre außerdem ein wertvolles Ziel für Kriminelle, feindliche Regierungen und Geheimdienste. Eine Schwachstelle, die bewusst für autorisierte Scans eingeführt wurde, wird nicht auf magische Weise für alle anderen unsichtbar, und europäische Amtsträger haben keine besonders überzeugende Geschichte im sicheren Umgang mit ihren Daten.

Chat Control verspricht, Kriminelle zu finden, indem alle Menschen untersucht werden.

Im schlimmsten Fall entsteht ein System, das alle überwacht, während Kriminelle lernen, wie sie es umgehen können.