KI-generierte Zusammenfassungen empfehlen versehentlich Phishing-Seiten

Forscher*innen von Netcraft warnen, dass KI-generierte Suchmaschinenergebnisse Phishing-Seiten vorschlagen, wenn Nutzer*innen nach legitimen Login-Seiten fragen.

Die Forschenden testeten gängige KI-Modelle, indem sie sie nach den Login-Seiten von fünfzig grossen Marken fragten, und stellten fest, dass die Modelle in 34 % der Fälle die falschen Seiten anboten.

„In vielen Fällen sehen Nutzer*innen KI-generierte Inhalte noch vor (oder anstelle von) klassischen Suchergebnissen – und oft sogar ohne sich anmelden zu müssen“, erklären die Forscher*innen.

„Dieser Wandel markiert eine grundlegende Veränderung der Interaktion mit dem Web. Er birgt jedoch neue Risiken: Wenn ein KI-Modell einen Phishing-Link halluziniert oder eine betrügerische Seite empfiehlt, wird dieser Fehler mit Überzeugung und Klarheit präsentiert. Die Wahrscheinlichkeit, dass Nutzer*innen klicken, ist deutlich höher. Es gibt bereits erschreckende öffentliche Beispiele, doch unsere weitergehenden Untersuchungen zeigen: Das Problem ist nicht auf hypothetische oder frühe Rollouts beschränkt. Es ist systemisch – und zunehmend ausnutzbar.“

In mindestens einem Fall empfahl ein Modell eine eindeutig bösartige Seite, die das Login-Portal von Wells Fargo imitierte.

„Das war kein subtiler Betrug“, schreiben die Forscher*innen. „Die gefälschte Seite verwendete einen überzeugenden Nachbau der Marke. Entscheidend ist jedoch, wie sie angezeigt wurde: Nicht durch SEO, sondern durch KI.

Perplexity empfahl den Link direkt an die Nutzer*innen und umging dabei klassische Signale wie Domainautorität oder Reputation. Dieses Szenario verdeutlicht eine grosse Herausforderung: KI-generierte Antworten blenden oft traditionelle Hinweise wie verifizierte Domains oder Such-Snippets aus. Nutzer*innen sind darauf trainiert, der Antwort zu vertrauen – und diese Vertrauensseligkeit machen sich Angreifer zunutze, wenn die Antwort falsch ist.“

Netcraft stellt fest, dass KI-Zusammenfassungen Kriminellen neue Möglichkeiten bieten, Phishing-Links an Nutzer*innen zu bringen.

„Phisher und Cyberkriminelle kennen sich bestens mit herkömmlichen SEO-Techniken aus“, erläutern die Forscher*innen. „Jetzt richten sie ihren Fokus jedoch auf KI-optimierte Inhalte – Seiten, die nicht für den Google-Algorithmus, sondern für das Sprachmodell eines Chatbots gemacht sind.“

Das CSF Computer Solutions Facility AG Sicherheitsteam: IT Sicherheit dank CSF ISO Zertifizierung