Die Gefahr lauert in der KI: Verbreitung kompromittierter Sprachmodelle

SophosAI entwickelt mit„LLM-Salting“ eine neue Schutztechnik, die LLM-Jailbreaks unbrauchbar macht.

(PresseBox) - Das massenhafte Ausrollen von Software ist ein Problem, wenn diese bereits im Auslieferungszustand oder in einem Update kompromittiert ist. Damit erhalten unter Umständen Hunderttausende von Unternehmen eine Software mit Schwachstellen oder gar eingepflanzter Malware, die von Cyberkriminellen ausgenutzt wird.  

Ähnlich verhält es sich mit der Nutzung von künstlicher Intelligenz (KI) beziehungsweise mit großen Sprachmodellen (LLMs). Unternehmen setzen zunehmend LLMs wie die GPT-Serie von OpenAI, Claude von Anthropic, LLaMA von Meta oder verschiedene Modelle von DeepSeek ein und passen diese für ihre individuellen Zwecke geringfügig an. Diese weit verbreitete Wiederverwendung führt zu einer Homogenität der Modelle über viele Anwendungen hinweg – von Chatbots bis hin zu Produktivitätswerkzeugen. Und sie schafft Risiken: Jailbreak-Prompts, die beispielsweise Ablehnungsmechanismen der KI umgehen und sie so zwingen, etwas zu tun, was sie normalerweise nicht täte, können einmal vorab berechnet und dann von den Cyberkriminellen in vielen Bereitstellungen wiederverwendet werden.  

Diese Jailbreaks sind kein theoretisches Phänomen, sondern ein reales Sicherheitsrisiko. Mit ihnen kann die Offenlegung sensibler interner Daten bis hin zur Erzeugung falscher, unangemessener oder sogar schädlicher Antworten erzeugt werden. 

Eine Prise Salz macht’s aus

Schutz vor Jailbreaks in LLMs bietet eine neue Technologie von SophosAI. Inspiriert vom Passwort-Salting – dem Konzept, kleine benutzerspezifische Variationen einzuführen, um die Wiederverwendung vorab berechneter Eingaben zu verhindern – hat SophosAI eine Technik namens „LLM-Salting” entwickelt. Dabei handelt es sich um die Einführung gezielter Variationen im Modellverhalten, um Jailbreaks unbrauchbar zu machen.  Für einen Bereich in den Modellaktivierungen, der für das Verweigerungsverhalten verantwortlich ist, haben die Security- und KI-Experten ein Fine-Tuning-Verfahren entwickelt, das diesen Bereich rotiert. Diese Schutztechnologie stellt sicher, dass Jailbreaks, die für „Unsalted-Modelle“ entwickelt wurden, bei „Salted-Modellen“ nicht mehr erfolgreich sind. 



Tests bescheinigen LLM-Salting Sicherheit gegen Jailbreaks

In ausgedehnten Tests erreichte das Expertenteam von SophosAI überzeugende Schutzergebnisse durch LLM-Salting. In einer Evaluation prüfte das Team 300 GCG-Jailbreak-Prompts auf zwei unterschiedlichen Open Source Modellen und erreichte auf unveränderten LLM-Basismodellen eine Angriffserfolgsrate (ASR) von 100 %. In anschließenden Tests mit der Salting-Methode erreichte das Team eine ASR von lediglich 2,75 Prozent beziehungsweise 1,35 Prozent (je nach LLM-Modell). 

LLM-Salting mit der Fine-Tuning-Technik unterbindet die Verwendung von Jailbreaks, indem sie die internen Verweigerungsrepräsentationen rotiert. Dabei bleibt die Leistung der Modelle bei harmlosen Eingaben erhalten.  

Zukünftige Tests werden das Salting auf weitere, größere Modelle ausweiten, um deren Resilienz gegenüber einer breiteren Palette von Jailbreaks zu bewerten.  

Weitere technische Informationen zu „LLM-Salting” sind hier zu finden: https://news.sophos.com/en-us/2025/10/24/locking-it-down-a-new-technique-to-prevent-llm-jailbreaks/

Weitere Infos zu dieser Pressemeldung:
Unternehmensinformation / Kurzprofil:
Bereitgestellt von Benutzer: PresseBox
Datum: 04.11.2025 - 10:00 Uhr
Sprache: Deutsch
News-ID 2209257
Anzahl Zeichen: 3628

Kontakt-Informationen:
Ansprechpartner: Arno LüchtThilo ChristJörg SchindlerUlrike MasztalerzAriane Wendt
Stadt:

Wiesbaden

Telefon: +49 (8081) 954619+49 (8081) 954617+49 (721) 25516-

Kategorie:

New Media & Software

Diese Pressemitteilung wurde bisher 160 mal aufgerufen.

Compliance wächst schneller als die Kapazitäten der IT-Teams ...
Unternehmen in Deutschland, Österreich und der Schweiz stehen wie viele Organisationen weltweit vor der Herausforderung, eine wachsende Zahl an IT- und Cybersecurity-Vorgaben zu erfüllen. Eine aktuelle, von Sophos in Auftrag gegebene internationale Studie zeigt, wie stark regulatorische Anforderun

Entwickler-Tools als neue Angriffsfläche ...
Aktuelle Angriffe auf den Infrastruktur-Scanner Checkmarx KICS und den Kommandozeilen-Client von Bitwarden zeigen eine neue Qualität von Supply-Chain-Attacken. Die Angreifer verteilten trojanisierte Versionen über offizielle Kanäle wie npm, Docker Hub und GitHub Actions. Sie unterwanderten damit

Security-Blindspot: Wie Angreifer QEMU nutzen, um Erkennungssysteme zu umgehen ...
Sophos-Analysten untersuchen den aktiven Missbrauch von QEMU (Quick Emulator), einem Open-Source-Maschinenemulator und Virtualisierungs-Tool. Angreifer nutzen QEMU und weitere gängigere, auf Hypervisoren basierende Virtualisierungs-Tools, wie Hyper-V, VirtualBox und VMware, seit längerer Zeit. Gru

Weitere Mitteilungen von Sophos Technology GmbH

Fitment-Daten als Wachstumsmotor ...
br /> Fitment-Daten als Umsatztreiber: Präzise Fahrzeugzuordnungen sichern den richtigen Teilekauf, reduzieren Retouren und steigern direkt die Profitabilität im Autoteilehandel. Kundenzufriedenheit durch Passgenauigkeit: Wer passende Teile liefert, gewinnt Vertrauen, stärkt Kundenbindung und

Was ist ein 5G SIM Router? Flexible Netzwerklösungen für wechselnde Standorte und Ausfallsicherheit ...
Mit dem Ausbau des 5G-Netzes rücken SIM Router als flexible Alternative zu klassischen Breitbandanschlüssen zunehmend in den Fokus. 5G SIM Router kommen zum Einsatz, wenn stabile Internetverbindungen kurzfristig oder unabhängig von bestehenden Infrastrukturen erforderlich sind. Sie verbinden die

Robuste KI-Leistung für taktische Einsätze an der Edge ...
BRESSNER Technology, Systemintegrator und Value-Added-Distributor für industrielle Hardwarelösungen, kündigt die Verfügbarkeit der neuen SEMIL-2200 und SEMIL-2200GC Serie des Partners Neousys Technology an. Die vollständig versiegelten, MIL-STD-zertifizierten Edge-KI Computer wurden speziell f�

reventix und Jabra starten Kooperation mit Webinarreihe und Bundleaktion für Vertriebspartner ...
Gemeinsam mit Jabra startet der Berliner Cloud-Telefonie-Anbieter reventix eine Kooperation. Neben einer gemeinsamen Webinarreihe profitieren Vertriebspartner auch von Sonderangeboten und Produktbundles. Aus der Teilnahme des dänischen Herstellers für Audiosysteme und Videokonferenzlösungen am