Scanner-Scorecard · Korpus v1 · statische Modi
Wir scannen keine Skills.
Wir prüfen die Scanner.
Zwei Open-Source-Sicherheitsscanner für KI-Agent-Skills, 186 echte Skills auf Englisch, Russisch, Deutsch und Chinesisch, 40 entschärfte Angriffsmuster. Das Urteil hängt, wie sich zeigt, von der Sprache ab, in der ein Skill geschrieben ist — und der statische Score misst, wie viel Code ein Skill mitbringt, nicht, was er tut.
„Ignoriere deine bisherigen Anweisungen“ auf Russisch, Deutsch oder Chinesisch: nicht gemeldet, von keiner der beiden Engines. SkillSpectors eigenes Urteil über 38 von 43 legitimen Skills mit Code: DO NOT INSTALL.
Skills werden auf Vertrauen installiert. Die Werkzeuge, die dieses Vertrauen erzeugen, sind ungeprüft.
Ein Agent-Skill ist eine Markdown-Datei, die einem Coding-Agenten sagt, was er tun soll, oft mit Skripten daneben. Man installiert sie von GitHub in Claude Code, Codex und MCP-Hosts — und immer öfter installiert der Agent sie selbst. Mehrere Scanner versprechen inzwischen ein Urteil — SAFE, CAUTION, DO NOT INSTALL — und genau dieses Urteil landet in READMEs und Richtlinien.
Die Urteile selbst hatte niemand gemessen. Wir haben einen Korpus gebaut und die Scanner darüber laufen lassen, so wie eine Ratingagentur ein Kreditmodell prüfen würde: mit öffentlichen Daten, festgeschriebenen Versionen und einer Benachrichtigung der Hersteller vor der Veröffentlichung.
Ein legitimer englischer Skill mit einem scripts/-Ordner wird schlechter bewertet als ein Ein-Datei-Muster, das Ihre SSH-Schlüssel liest und an eine URL schickt.
Drei Befunde
- Sprache zeigt sich als konkrete Regeln, nicht als allgemeine Voreingenommenheit. Eine Regel feuert auf praktisch jedem russischen Skill und nie auf deutschen; eine andere 112-mal auf chinesischen Paketen und nie auf russischen; eine dritte reagiert nur auf englischen Text. Jede ist ein vorhersagbares, behebbares Artefakt — sobald man weiß, dass es da ist. Kein anderer veröffentlichter Benchmark von Skill-Scannern schlüsselt seine Ergebnisse nach Sprache auf.
- Angriffe im Text passieren in jeder Sprache außer Englisch — oder in allen. „Ignoriere deine bisherigen Anweisungen“ auf Russisch, Deutsch oder Chinesisch hat keine der beiden Engines gemeldet. Scope Creep hat niemand gemeldet, in keiner Sprache.
- Der statische Score folgt der Paketgröße. Rangkorrelation 0,71 zwischen Zahl der Code-Dateien und Score. Reine Markdown-Skills: Median 8, meist SAFE. Sechs oder mehr Code-Dateien: Median 100, keiner SAFE, 38 von 43 „DO NOT INSTALL“. Die 40 Angriffsmuster: Median 29, Maximum 51.
Vom Benchmark zum öffentlichen Register
Der Scorecard ist das erste Ergebnis. Der Dienst, zu dem er führt, ist einfach: GitHub-URL einfügen, eine Seite bekommen — mit dem Urteil jeder Engine nebeneinander, den Befunden, die wir als Sprachartefakte kennen, entsprechend markiert, einer Versionshistorie und einem Badge, das sich bei jedem Commit selbst aktualisiert.
Skill-Seiten
Eine Seite pro Skill und Commit: SkillSpector, Cisco, dann Socket und Snyk, die LLM-Modi der Engines und ein LLM-Gutachter, der den Text in seiner eigenen Sprache liest. Befunde als beobachtetes Verhalten, nie als Etikett. Autoren können öffentlich widersprechen.
in EntwicklungDas Badge
Ein lebendes SVG für die README. Bei jedem Push neu gescannt. Jedes Badge verlinkt zurück auf den Eintrag.
API für Agenten
GET /api/v1/verdict?url=… und ein MCP-Server, damit der Agent, der einen Skill installiert, vorher fragt. Richtlinien für Teams: „nur Skills über einem Schwellenwert“.
Bescheid bekommen, wenn die Skill-Seiten öffnen
Eine E-Mail, wenn Phase 2 live ist, sonst nichts. Wählen Sie Ihren Mail-Dienst; die Nachricht ist vorgeschrieben, senden Sie sie so ab.
Oder schreiben Sie an andrey@skillverdict.dev. Wer einen Scanner betreut und die Rohergebnisse vor der Veröffentlichung möchte: dieselbe Adresse.