Wenn das KI-Spielzeug nach der Kreditkarte fragt
Ein Teddybär erzählt Geschichten, die eine KI in Sekunden erfindet. Das Kind zieht in einer App ein paar Symbole zusammen, eine Prinzessin, ein Drache, ein Schloss, und schon spricht der Bär mit bewegten Augen und Mund. Eine gute Idee. Bis das Testteam eines Grazer Cybersecurity-Unternehmens den Bären dazu brachte, das Kind nach den Kreditkartendaten der Eltern zu fragen.
Markus Seme, CEO von BrightFlare, hat diesen Test in Folge 124 von Mind/Machine erklärt. Sein Unternehmen prüft normalerweise Industrieanlagen und Produktionsumgebungen, also OT-Sicherheit. Die KI-Spielzeuge waren ein Seitenprojekt aus Neugier. Das Ergebnis hat es bis ins Fernsehen geschafft.
Nicht der Bär ist das Problem
Das Erstaunliche war für Seme nicht, dass eine Manipulation möglich war. Mit genug Aufwand ist fast alles manipulierbar. Erstaunlich war, wie schnell es ging. Seine TesterInnen fanden die ersten Schwachstellen, bevor der eigentliche Test begonnen hatte, allein durch das Auspacken und das Installieren der App.
Denn der Bär ist nur das letzte Glied einer langen Kette. Davor liegen eine App auf dem Handy, ein Backend-System beim Anbieter, ein Sprachmodell, das die Geschichte schreibt, und eine Sprachausgabe, die sie vorliest. Genau dort lagen die Lücken: Passwörter waren im übertragenen Sinn lokal in der App abgelegt und ließen sich für eigene Abfragen an das Backend nutzen. Und niemand prüfte, was der Bär am Ende tatsächlich sagt.
Das Klischee stimmt nicht - China versus USA
Der manipulierbare Bär kam aus amerikanischer Produktion. Ein billiger KI-Companion aus China, den das Team zum Vergleich bestellte, ließ sich unter denselben Bedingungen praktisch nicht knacken. Technisch sauber gebaut, sagt Seme, so gehöre das eigentlich entwickelt, wenn es für Kinder ist.
Mit einem Wermutstropfen: Beim Mitschneiden der Kommunikation zeigte sich, dass das Gerät bis zu eine Stunde nach dem letzten Gespräch weiter Audiodaten übertrug. Ohne Triggerwort, ohne erkennbaren kommerziellen Nutzen. Im Grazer Büro landeten die Batterien danach im Müll.
Warum Kinder ein größeres Risiko tragen als Erwachsene
Große Sprachmodelle blockieren heute recht zuverlässig, was offensichtlich schädlich ist. Eine Phishing-Mail, Schadcode, eine Bombenanleitung. Bei Kindern ist dieser Korridor viel breiter. Muss ein fünfjähriges Kind wissen, wozu eine Kreditkartennummer gut ist? Oder wie man einen Cocktail mixt? Für Erwachsene ist die Aufforderung des Bären sofort erkennbar absurd. Ein fünfjähriges Kind nimmt seinen besten Freund beim Wort.
Dazu kommt ein zweites Thema, das im Test gar nicht der Angriffspunkt war: die Inhalte selbst. Wenn niemand kontrolliert, welche Geschichten die KI erzeugt, landen die üblichen Rollenklischees ungefiltert im Kinderzimmer. Das Mädchen ist die Prinzessin, gerettet wird sie vom Ritter.
Was sich ab 2027 ändert
Die EU-Verordnung Cyber Resilience Act zwingt Anbieter digitaler Produkte dazu, Cybersicherheit von Anfang an mitzudenken. Für Produkte, die ab 11. Dezember 2027 in der EU in Verkehr gebracht werden, gelten die Anforderungen vollumfänglich. Meldepflichten für aktiv ausgenutzte Schwachstellen greifen bereits ab September 2026. Seme, der die Datenschutzgrundverordnung durchaus kritisch sieht, hält den Cyber Resilience Act für gute Arbeit der EU.
Das Problem dahinter bleibt trotzdem ein wirtschaftliches. Funktionen sind dank KI heute in Wochen und fast ohne Kosten umsetzbar. Sicherheit wird gleichzeitig teurer, weil die Angriffsflächen wachsen. Wer schnell und billig auf den Markt will, spart genau dort.
Der Teil, der in Firmen total unterschätzt wird
Awareness ist Semes zweites Spezialgebiet. Sein Team wird beauftragt, verkleidet in Unternehmen zu gehen und zu schauen, wie weit es kommt. Der Kollege mit Arbeitsmontur, der schnell die Klimaanlage warten muss.
Sein Punkt: Ein gutes Beispiel aus der eigenen Welt wirkt, ein Pflichttraining zum Abhaken nicht. Der KI-Bär funktioniert deshalb so gut, weil er in einer Umgebung spielt, die eigentlich hochsicher sein müsste. Wer die Mechanismen versteht, hebt seinen Schutzgrad ohne ExpertInnenwissen auf über 90 Prozent.
Konkret heißt das: feste Prozeduren, von denen man nicht abweicht. In der Steiermark gab es schon vor zwei Jahren die ersten Fälle, in denen die Stimme eines Vorstands per WhatsApp-Call nachgebaut wurde, um Überweisungen auszulösen. Der nächste Schritt sind Videocalls. Im privaten Umfeld hilft dasselbe Prinzip: ein Familienpasswort, das bei Anrufen mit Geldforderungen abgefragt wird.
Häufige Fragen
Sind KI-Spielzeuge grundsätzlich unsicher?
Nein. Die Unterschiede zwischen den Produkten sind groß, und Preis ist kein Indikator. Entscheidend ist, ob der Hersteller Sicherheit von Anfang an mitdenkt.
Woran erkenne ich ein sicheres KI-Spielzeug?
An nachvollziehbaren Angaben zum Hersteller, einer verständlichen Datenschutzerklärung, Angaben zu Updates und einem Kontakt für Sicherheitsmeldungen. Fehlt das, ist Vorsicht angebracht.
Hören Handys und Sprachassistenten dauerhaft mit?
Bei seriösen Anbietern spricht das Geschäftsmodell dagegen, weil die permanente Auswertung von Sprache enorme Kosten verursacht. Relevanter sind einzelne Apps, denen man Mikrofonzugriff erteilt hat.
Wie schützt man sich vor Anrufen mit geklonten Stimmen?
Mit einem vereinbarten Familien- oder Firmenpasswort und einer festen Rückrufprozedur bei Zahlungsanweisungen. Keine Ausnahmen, auch nicht unter Zeitdruck.
Was bedeutet der Cyber Resilience Act für Unternehmen?
Wer digitale Produkte in der EU in Verkehr bringt, muss Cybersicherheit über den gesamten Lebenszyklus nachweisen. Ab 11. Dezember 2027 gilt das vollumfänglich, Meldepflichten für aktiv ausgenutzte Schwachstellen bereits ab September 2026.
Die ganze Folge mit Markus Seme gibt es auf Spotify, Apple Podcasts und Amazon Music sowie auf www.mind-machine.at. Direkt anhören: https://mind-machine.at/episoden/folge-124
Kommentare