161 einzelne Signaturen in 70 Regeldateien bilden den aktuellen Kern des AI/ML DFIR Detection Pack. Das ist eine breite Abdeckung für ein Security-Thema, bei dem längst nicht mehr nur die klassischen Endpunkte zählen. Das Toolkit kombiniert Sigma-, YARA- und Suricata-Regeln zu einem offenen Paket für die Erkennung kompromittierter LLM-Anwendungen, MCP-Server, Machine-Learning-Lieferketten, KI-Infrastrukturen und RAG- oder Vektor-Datenbanken.
Die Sammlung verfolgt einen bewusst anbieterneutralen Ansatz. Statt in proprietäre SIEM-Abfragen oder security-spezifische Feldschemata einzusteigen, setzt sie auf verbreitete offene Formate. Damit lässt sich derselbe Gedanke in sehr unterschiedlichen Umgebungen anwenden: eine Logregel für Elastic, eine Dateisignatur für EDR und Malware-Analyse oder ein Netzwerkalarm für Suricata.
Das Repository ist als eigenständiges Forschungsprojekt von Raymond DePalma ausgewiesen. Es ist nicht mit einem Arbeitgeber verbunden und stützt sich auf öffentliche Quellen wie CVEs, Herstellerberichte, wissenschaftliche Arbeiten und anbieterneutrale Sicherheitsforschung.
Warum KI-Systeme eine eigene Detektionslogik brauchen
Ein kompromittierter KI-Dienst unterscheidet sich nicht grundsätzlich von einer kompromittierten Webanwendung. Die Beweismittel und Angriffsketten ändern sich jedoch. Ein Angreifer kann eine lokale Agentenkonfiguration verändern, ein manipuliertes Modell als Pickle-Datei ausliefern, einen bösartigen MCP-Server einschleusen oder sensible Daten über eine Vektor-Datenbank abziehen.
Genau hier liegt die Lücke, die das Toolkit adressiert. Viele vorhandene Detection-Inhalte sind entweder an eine bestimmte Security-Plattform gebunden oder verstreut über Blogbeiträge. Für ein Incident-Response-Team bedeutet das: Die Erkennungslogik existiert vielleicht, lässt sich aber nur mühsam in die eigene Telemetrie übersetzen.
Das Paket deckt deshalb mehrere Beobachtungsebenen ab. Im Endpoint-Bereich werden Konfigurationen und Dateiartefakte von Claude Desktop, Cursor, Copilot, lokalen LLM-Laufzeiten und Agentenframeworks untersucht. In Cloud-Umgebungen richtet sich der Blick auf Logs von Diensten wie Bedrock, Azure OpenAI und M365 Copilot. Im Netzwerkbereich stehen Exfiltration über Vektor-Datenbanken, Modell-Exfiltration und ShadowRay-Kommunikation im Fokus.
Man kann das Toolkit wie ein Sortiment unterschiedlicher Messgeräte verstehen. Sigma prüft strukturierte Protokolle, YARA untersucht Dateien und Speicherbereiche, Suricata beobachtet den Datenverkehr. Kein einzelnes Werkzeug liefert ein vollständiges Bild. Zusammen bilden sie jedoch eine brauchbare Brille für Systeme, deren Verhalten sich nicht mehr auf klassische Datei- und Netzwerkindikatoren beschränkt.
Drei offene Formate für drei Telemetrieebenen
Sigma-Regeln liegen als YAML-Dateien vor und richten sich an generische Logquellen. Sie können über pySigma in die Query-Sprachen verschiedener SIEM-Systeme übersetzt werden. Für Elastic und Kibana zeigt das Repository beispielsweise die Konvertierung in Lucene. Andere Ziele werden über entsprechende pySigma-Backends angebunden.
Bei der Elastic-Konvertierung weist das Projekt auf ein leicht übersehbares Mapping-Detail hin. Inhaltsfelder sollten als analysierter Text und nicht ausschließlich als `keyword` erfasst werden. Das ist wichtig, weil die textbasierten Regeln für Prompt Injection, Jailbreak oder die Extraktion von System-Prompts nach Sigma-Konvention Groß- und Kleinschreibung beim `contains`-Abgleich ignorieren. Ein `keyword`-Feld würde dagegen case-sensitiv suchen und capitalize Angriffsinhalte übersehen.
YARA kommt dort zum Einsatz, wo Dateien oder Speicherbilder untersucht werden. Damit lassen sich etwa verdächtige Modelldateien oder manipulierte MCP-Konfigurationen prüfen. Die Regeln können rekursiv über ein Modellverzeichnis laufen oder gezielt gegen eine einzelne Konfigurationsdatei eingesetzt werden.
Suricata-Regeln wiederum erfassen Netzwerkmerkmale. Sie lassen sich in das Regelverzeichnis der Engine übernehmen, anschließend wird die Konfiguration mit `suricata -T` geprüft und ein Neuladen durchgeführt. Damit decken die drei Formate die wichtigsten Ebenen ab, auf denen ein Vorfall in KI-Systemen sichtbar wird: Logs, Dateien und Verkehr.
Die Übersetzung in andere Werkzeuge ist möglich, aber nicht vollständig gleichwertig. Das Repository nennt Snort als kompatiblen Teilbereich und Zeek nach einer Übersetzung. Genau hier zeigt sich der praktische Wert offener Standards: Die Regeln sind nicht an eine einzelne Oberfläche gebunden, doch jedes Zielsystem bringt eigene Funktionsgrenzen und Datensemantiken mit.
Der Artefaktkatalog als Gegenstück zu den Regeln
Neben 70 Regeldateien enthält das Projekt einen maschinenlesbaren Katalog mit forensischen Artefakten. Er umfasst Installationspfade, Speicherorte für Zugangsdaten, MCP-Konfigurationen, lauschende Ports, Prozessbeziehungen und Registry-Schlüssel. Jeder Eintrag wird nach forensischem Wert und Belastbarkeit der Quellen bewertet und mit einer Priorität für die Beweissicherung versehen.
Elf Tool-Kategorien werden abgedeckt. Dazu gehören lokale LLM-Laufzeiten, Coding-Agenten und IDEs, Agentenframeworks, Coding-Agent-CLIs, Workflow-Engines, Browser- und Computer-Use-Agenten, MCP-Hosts, Cloud-Agenten, Code-Completion-Werkzeuge sowie Code-Execution-Agenten. Der Katalog beantwortet damit eine Frage, die Sigma nicht beantworten kann: Wo müssten überhaupt Spuren liegen, wenn eine bestimmte KI-Komponente betroffen ist?
Der Bestand wird für Plaso, GRR und Timesketch als ForensicArtifacts bereitgestellt. Für KAPE und Velociraptor existieren eigene Zielformate, während CSV und JSON die Integration in andere Workflows erlauben. Ein zusätzliches osquery-Paket ergänzt die Bestandsaufnahme auf Hosts.
Besonders interessant ist der Umgang mit Unsicherheit. Die dokumentierten Fallstudien führen ein Feld mit dem Namen `contested` und halten analytische Uneinigkeit fest, statt sie künstlich glätten. Gerade bei neuartigen KI-Vorfällen ist das wichtig. Eine Detection, die auf einer umstrittenen Zuordnung basiert, sollte nicht so erscheinen, als stünde sie auf demselben festen Grund wie ein technischer Hashwert.
Der Katalog funktioniert daher wie eine Karte der Maschine: Er zeigt nicht nur, wo ein Spuren liegen könnte, sondern auch wie vertrauenswürdig diese Annahme ist. Genau das erleichtert eine geordnete Triage, wenn im Ernstfall nicht genug Zeit für eine vollständige forensische Erhebung bleibt.
Threat Intelligence und Angriffsketten statt isolierter Indikatoren
Die Threat-Intelligence-Ebene umfasst 20 Akteursprofile und 22 Fallstudien mit insgesamt 221 Indikatoren. Als feste Bezugspunkte dienen ATLAS 2026.10, ATT&CK 20.0, CISA KEV sowie die OWASP-Listen für LLM- und Agentic-Sicherheit 2026. Jedes Profil ordnet beobachtete Techniken den Regeln des Repositories und den relevanten Werkzeugen im Artefaktkatalog zu.
Damit entsteht eine Verbindung zwischen drei Ebenen, die in Detection-Projekten häufig getrennt bleiben: Wer handelt, mit welcher Technik und welchem Artefakt; welche Regel erkennt die Technik; und welche Daten sollen zuerst gesichert werden. Die dazugehörige Oberfläche unterstützt die Atlas-Matrix, zeigt Coverage-Lücken und stellt Techniken als Heatmap sowie Akteure als Cluster dar.
Auch die Collection-Planung ist technisch orientiert. Aus den ausgewählten Artefakten und Werkzeugen lässt sich ein eigenständiges Triage-Skript für PowerShell oder Bash erzeugen. Alternativ werden äquivalente Velociraptor- oder KAPE-Befehle ausgegeben. Das ist praktisch, weil ein Incident-Response-Team nicht zuerst eine eigene Abfrage- und Sammelsprache entwickeln muss.
Für die Verteilung stehen `intel.json`, ein STIX-2.1-Bundle für OpenCTI oder MISP sowie Maltego-Importdateien bereit. Zwei automatisierte Abläufe halten die Umgebung aktuell. Wöchentlich werden die Referenzdaten der Frameworks erneuert, während neue öffentliche Berichte zunächst als `intel-candidate`-Issues zur menschlichen Recherche angelegt werden. Gerade diese Trennung ist sinnvoll: Automatisierung kann Kandidaten sammeln, sollte aber nicht ungeprüft zur Tatsache erklären.
161 Signaturen decken neun Angriffsklassen ab
Die 70 Regeldateien enthalten 161 Signaturen, weil eine Datei mehrere verwandte Varianten abdecken kann. Aufgeschlüsselt nach Angriffsklasse ergibt sich ein breites Bild: 10 Signaturen für LLM Prompt Injection, 14 für MCP-Angriffe, 23 für die Model Supply Chain, 31 für KI-Infrastruktur, 19 für Copilot- und Assistant-Missbrauch, 17 für RAG und Vektor-Datenbanken, 16 für Runtime-AI-Malware, 12 für agentische Orchestrierung und KI-Service-C2 sowie 5 für Agent Memory und Context Poisoning.
Eine weitere Gruppe umfasst 14 anwendungsübergreifende Endpoint-Signaturen. Sie konzentriert sich nicht auf eine einzelne Angriffsklasse, sondern auf Agentenverhalten auf dem Host. Das ist sinnvoll, weil dieselbe manipulating Technik in unterschiedlichen Coding-Agenten, IDEs und lokalen Laufzeiten Spuren hinterlässt.
Die Zahlen sollten nicht als Qualitätsurteil verstanden werden. Eine Signatur kann präzise sein oder viele harmlose Vorkommen treffen. Zudem zählt die Gesamtzahl zusammengesetzte Sigma-Dokumente, mehrere YARA-Regelblöcke und mehrere Suricata-Alert-Zeilen. Aussagekräftiger ist der Blick auf die Abdeckung: Das Toolkit bildet Angriffsklassen über Logs, Dateien und Netzwerk ab und ordnet sie in etablierte Taxonomien ein.
Die Mapping-Datei `MAPPINGS.md` liefert die Zuordnung einzelner Regeln zu ATLAS-Techniken und OWASP-Kategorien. Das erleichtert Audits und Lückenanalyse. Eine Mapping-Matrix zeigt jedoch nur, dass eine Regel referenziert wird. Sie beweist nicht, dass sie in jeder Umgebung genügend Logabdeckung besitzt oder ohne Anpassung einen echten Vorfall zuverlässig erkennt.
Vom Testindex zur Produktion
Die Regeln sind so ausgelegt, dass sie eher Signal als Rauschen liefern. Dennoch enthält jede Regel Angaben zu bekannten False Positives, eine Schweregradstufe und auswählbare Einschränkungen, mit denen sich Regeln auf bestimmte Organisationen, Benutzer oder Namespaces begrenzen lassen. Für den Produktivbetrieb empfiehlt das Projekt, zunächst nur `high` und `critical` zu aktivieren.
Der empfohlene Einführungsweg ist bewusst konservativ aufgebaut. Zuerst werden die Regeln sieben Tage in einem Testindex oder Test-Workspace beobachtet. Danach werden Treffer geprüft und die `selection`- und `filter`-Blöcke angepasst. Erst anschließend erfolgt die Überführung in die Produktion. Das ist mehr als eine technische Empfehlung: KI-Systeme erzeugen je nach Anwendungsfall sehr unterschiedliche Prompt-Formate, Dateinamen und Netzwerkmuster.
Die Testsuite enthält sowohl schädliche als auch unbedenkliche Beispielartefakte. Der mitgelieferte Prüflauf soll 15 bestandene Tests und keine Fehler liefern. Bemerkenswert ist das Verhalten bei fehlenden Werkzeugen: Bricht das `yara`-Binary ab, endet der Test mit einem Fehler. Ohne diese harte Abbruchlogik würden Erwartungen auf fehlende Treffer scheinbar bestanden, obwohl im Grunde nichts geprüft wurde.
Auch die Beitragskriterien sind nüchtern. Neue Regeln benötigen einen Bezug zu einer Technik, CVE oder veröffentlichten Forschung, passende Testdaten, dokumentierte False Positives, Dateinamen in kleingeschriebener `snake_case`-Form und bei Sigma-Regeln ein Atlas-Tag. Das reduziert die Chance, dass das Repository zu einer Sammlung gut gemeinter, aber nicht belastbarer Indikatoren wird.
Praxisnutzen und Grenzen der Detection Rules
Der konkrete Nutzen des Toolkits liegt in der Übersetzbarkeit. Ein Team, das Elastic, EDR, Suricata oder eine eigene Investigation-Pipeline betreibt, erhält nicht nur abstrakte Bedrohungsbeschreibungen, sondern ausführbare Regeln und passende Artefaktziele. Für kleinere Teams kann das den Unterschied zwischen einer Detection mit hoher Reaktionszeit und einem unmittelbar prüfbaren Alarm ausmachen.
Die Grenzen bleiben ebenfalls klar. Offene Formate garantieren keine identische Semantik in jeder Zielplattform. Eine Sigma-Regel benötigt korrekt normalisierte Logfelder, eine YARA-Regel passende Dateizugriffsrechte und eine Suricata-Regel verlässlich sichtbaren Netzwerkverkehr. Prompt-Injection-Erkennung kann zudem durch sprachliche Varianten, Verschlüsselung oder gezielt veränderte Formulierungen umgangen werden.
Die Kataloge helfen auch hier, schaffen aber keine vollständige Abdeckung. Ein Angreifer, der keine lokalen Artefakte hinterlässt und keinen charakteristischen Netzwerkverkehr erzeugt, bleibt für regelbasierte Systeme unsichtbar. Das Projekt selbst empfiehlt daher eine schrittweise, beobachtende Einführung und dokumentiert Unsicherheiten in den Fallstudien.
Für die Erkennung von AI/ML-Sicherheitsvorfällen ist das AI/ML DFIR Detection Pack vor allem ein belastbarer Startpunkt. Es verbindet Sigma Regeln, YARA Regeln und Suricata Regeln mit einem forensischen Artefaktkatalog und einer angriffskettenorientierten Threat-Intelligence-Ebene. Der praktische Reifegrad zeigt sich in den Details: offene Standards, Testdaten, dokumentierte False Positives, reproduzierbare Deployments und Quellen für jede Regel.
Wer LLM-Kompromittierung, MCP-Server-Angriffe, ML-Supply-Chain-Manipulation oder Angriffe auf RAG- und Vektor-Datenbanken systematisch untersuchen will, erhält damit weniger isolierte Rules als ein zusammenhängendes Detection-System. Die Sammlung ersetzt weder kontextabhängige Analyse noch eigene Bedrohungsmodellierung. Sie macht diese Arbeit aber schneller, reproduzierbarer und näher an der Realität von Incident-Response-Teams.
Quelle: github.com
