Scorecard сканеров · корпус v1 · статические режимы
Мы не сканируем скиллы.
Мы проверяем сканеры.
Два открытых сканера безопасности для скиллов ИИ-агентов, 186 реальных скиллов на английском, русском, немецком и китайском, 40 обезвреженных образцов атак. Оказалось, что вердикт зависит от языка, на котором написан скилл, а статическая оценка измеряет, сколько в скилле кода, — а не что он делает.
«Игнорируй предыдущие инструкции» по-русски, по-немецки или по-китайски: не отмечено ни одним движком. Собственный вердикт SkillSpector для 38 из 43 легитимных скиллов с кодом: DO NOT INSTALL.
Скиллы ставят на доверии. Инструменты, которые это доверие создают, никто не проверял.
Скилл агента — это Markdown-файл с инструкциями для кодового агента, часто со скриптами рядом. Люди ставят их с GitHub в Claude Code, Codex и MCP-хосты, а всё чаще агент ставит их сам. Несколько сканеров обещают вердикт — SAFE, CAUTION, DO NOT INSTALL — и именно этот вердикт попадает в README и корпоративные политики.
Сами вердикты никто не измерял. Мы собрали корпус и прогнали через него сканеры — так, как рейтинговое агентство проверяло бы кредитную модель: на открытых данных, с закреплёнными версиями и с уведомлением разработчиков до публикации.
Легитимный английский скилл с папкой scripts/ получает оценку хуже, чем образец из одного файла, который читает ваши SSH-ключи и отправляет их на URL.
Три находки
- Язык проявляется как конкретные правила, а не как общая предвзятость. Одно правило срабатывает почти на каждом русском скилле и никогда — на немецком; другое срабатывает 112 раз на китайских пакетах и ни разу на русских; третье реагирует только на английский текст. Каждое — предсказуемый и исправимый артефакт, если знать, что он есть. Ни один другой опубликованный бенчмарк сканеров скиллов не разрезает результаты по языкам.
- Атаки в тексте проходят на всех языках, кроме английского, — или на всех вообще. «Игнорируй предыдущие инструкции» по-русски, по-немецки или по-китайски не отметил ни один движок. Расползание полномочий не отметил никто ни на одном языке.
- Статическая оценка следует за размером пакета. Ранговая корреляция 0,71 между числом файлов кода и оценкой. Скиллы только из Markdown: медиана 8, в основном SAFE. Шесть и более файлов кода: медиана 100, ни одного SAFE, 38 из 43 — «DO NOT INSTALL». 40 образцов атак: медиана 29, максимум 51.
От бенчмарка к публичной записи
Scorecard — первый результат. Сервис, к которому он ведёт, прост: вставляете URL на GitHub и получаете одну страницу, где вердикты всех движков стоят рядом, находки, которые мы знаем как языковые артефакты, помечены, есть история версий и бейдж, который обновляется на каждом коммите.
Страницы скиллов
Одна страница на скилл и коммит: SkillSpector, Cisco, затем Socket и Snyk, LLM-режимы движков и LLM-рецензент, который читает текст на его родном языке. Находки — как наблюдаемое поведение, никогда как ярлыки. Авторы могут оспорить публично.
в разработкеБейдж
Живой SVG для README. Пересканируется на каждом push. Каждый бейдж — ссылка на запись.
API для агентов
GET /api/v1/verdict?url=… и MCP-сервер, чтобы агент, который ставит скилл, сначала спросил. Политики для команд: «только скиллы выше порога».
Узнать, когда откроются страницы скиллов
Одно письмо, когда заработает фаза 2, и больше ничего. Выберите почтовый сервис — письмо уже написано, просто отправьте его.
Или напишите на andrey@skillverdict.dev. Если вы поддерживаете сканер и хотите получить сырые результаты до публикации — тот же адрес.