Angreifer können KI-Assistenten dazu bringen, Phishing-Nachrichten anzuzeigen!

Forscher von Permiso warnen, dass Bedrohungsakteure Phishing-Nachrichten in Copilot-KI-Zusammenfassungen einschleusen können. Besonders bemerkenswert ist, dass die Forscher herausgefunden haben, dass Angreifer Copilot dazu bringen können, interne Informationen zu verwenden, um gezieltere Nachrichten zu erstellen.

In einem Proof-of-Concept-Angriff hat Permiso den folgenden Angriff beschrieben:

• „Ein Angreifer sendet eine unauffällige E-Mail.“

• Der Angreifer fügt „Anweisungstext“ hinzu, der versteckt oder schwer sichtbar ist und für Copilot bestimmt ist.

• Der Empfänger klickt auf Zusammenfassen (ein normaler Arbeitsablauf zur Produktivitätssteigerung).

• Die Copilot-Zusammenfassung enthält einen Abschnitt „Handlungsbedarf“, der wie eine legitime Microsoft-Sicherheitsbenachrichtigung aussieht.

• Die Zusammenfassung kann einen anklickbaren Link enthalten, der mit scheinbar sicherem Ankertext präsentiert wird.“

• 
  

Die Forscher merken an: „Ab diesem Punkt ist der Phishing-Inhalt nicht mehr nur ‚eine E-Mail‘. Er wird als Unterstützung präsentiert, die von einem KI-Tool generiert wurde, das vom Unternehmen möglicherweise empfohlen wurde. Dies ist eine Form des modellvermittelten Phishings: Der Angreifer muss Copilot keinen Code ausführen lassen, sondern benötigt lediglich, dass Copilot mit seiner Stimme spricht.“

Da Copilot und andere KI-Tools Zugriff auf interne Informationen haben, können Angreifer die Tools dazu bringen, diese Informationen zu nutzen, um eine gezielte Nachricht zu erstellen.

„Phishing durch KI-Zusammenfassungen ist besorgniserregend, aber die grössere Frage ist: Was passiert, wenn diese Assistenten auf den gesamten digitalen Arbeitsbereich zugreifen können?“ schreiben die Forscher. „Microsoft 365 Copilot liest nicht nur E-Mails, sondern hat – abhängig von Lizenzierung, Konfiguration und Berechtigungen – Zugriff auf Teams-Gespräche, OneDrive-Dateien, SharePoint-Dokumente und Besprechungsnotizen.“

„Dieser Angriff kann einfach beginnen: eine eingefügte Eingabeaufforderung, die nur dafür sorgt, dass die Zusammenfassung etwas Alarmierendes aussagt. Doch er kann sich schnell steigern. Wenn Copilot Zugriff auf Ihre Teams-Chats, OneDrive-Dateien oder SharePoint-Dokumente hat, können Angreifer Eingabeaufforderungen erstellen, die aus diesem Kontext schöpfen, um überzeugendere Ergebnisse zu erzeugen oder sensible Informationen unauffällig nach aussen zu bringen.“

Permiso fügt hinzu, dass diese Technik nicht einzigartig für Copilot ist; eine ähnliche Taktik wurde auch bei Googles Gemini for Workspace dokumentiert. Nutzer sollten sich bewusst sein, dass KI-Tools auf diese Weise manipuliert werden können.

Das CSF Computer Solutions Facility AG Sicherheitsteam