Eval Skills или Opik
Eval Skills больше нет ни на одной читаемой нами витрине, это последние данные на 2026‑10‑27.
Eval Skills: пакет плагинов для ИИ-инструментов разработки, издатель Confident AI. Ни одна витрина, которую мы читаем, его больше не публикует. Opik: MCP-сервер, издатель comet-ml. Витрин, которые мы читаем и где он опубликован: 3 (Official MCP Registry, Docker MCP Catalog, PyPI (MCP servers)). Данные нашего прохода по витринам на 2026-10-27. Одного из плагинов этой пары больше нет ни на одной читаемой нами витрине, поэтому поисковикам предложено не индексировать страницу.
Где опубликован каждый
| Витрина |  Opik | |
|---|---|---|
| Маркетплейс сообщества confident-ai/eval-skills | Удалён 2026-10-27 Версия: 1.1.0 Форки (GitHub): 1 Звёзды (GitHub): 11 Не помечен · Впервые замечен |
Нет на витрине |
| Official MCP Registry | Нет на витрине | Опубликован Версия: 3.0.7 Загрузки за месяц (PyPI): 3 591 Загрузки за неделю (PyPI): 814 Форки (GitHub): 37 Звёзды (GitHub): 225 Не помечен · Впервые замечен |
| Docker MCP Catalog | Нет на витрине | Опубликован Версия: sha256:0e0d7d33d5eb Форки (GitHub): 37 Загрузки (Docker Hub): 17 250 Звёзды (Docker Hub): 1 Звёзды (GitHub): 225 Не помечен · Впервые замечен |
| PyPI (MCP servers) | Нет на витрине | Опубликован Версия: 3.0.7 Загрузки за месяц (PyPI): 3 591 Загрузки за неделю (PyPI): 814 Форки (GitHub): 37 Звёзды (GitHub): 225 Не помечен · Впервые замечен |
Каждое число принадлежит своей витрине и никогда не складывается с числами других витрин. Если витрина число не публикует, мы его не показываем: нет числа не значит ноль.
Факты рядом
| Факт | Eval Skillsбольше не публикуется · | Opik |
|---|---|---|
| Витрины, где он есть (различается) | 0 | 3 |
| Звёзды (GitHub) (различается) | 11 | 225 |
| Загрузки (Docker Hub) (различается) | Нет цифры на Docker Hub | 17 250 |
| Форки (GitHub) (различается) | 1 | 37 |
| Последний релиз (различается) | Не опубликовано | 2026-10-24 |
| Где работает (различается) | Ставится как пакет плагинов | Удалённый сервер или ваш компьютер |
| Транспорт (различается) | Не указано | Streamable HTTP, stdio |
| Объявляет инструментов (различается) | Не опубликовано | 13 |
| Просит переменных окружения (различается) | Не опубликовано | 4, из них секретов: 1 |
| Части набора (различается) | 10 | Не набор |
| Лицензия | Apache-2.0 | Apache-2.0 |
| Репозиторий (различается) | github.com/confident-ai/eval-skills | github.com/comet-ml/opik-mcp |
| Изменения за последние 7 дней | 2 | 2 |
| Впервые замечен (различается) | 2026-10-15 | 2026-10-11 |
| Endpoint на последней проверке (различается) | нет remote endpoint, который мы проверяем | Не отвечает с 2026-10-21 |
Строки, где они различаются, выделены фоном и жирным. Лучшее и худшее значение не отмечены: плагин, которого больше нет на витринах, показан по последним известным данным, а их мы не ранжируем против текущих цифр.
Чем заменить «Eval Skills»
Плагины, которые ещё публикуются и ближе всего к нему по смыслу названий, описаний, инструментов и скиллов. Сравнимые, а не рекомендованные.
-
Evaluate Codex skills and plugins from chat with a beginner-friendly start command, local-first reports, token budget explanations, and guided benchmarking.
-
Skills for adding DeepEval evaluations, tracing, datasets, Confident AI reports, and iterative improvement loops to AI applications.
-
Scaffolding, running, documenting, and publishing AI evaluations. Ships skills and commands for setting up eval workspaces, creating custom evals (or adapting existing…
-
Decide, design, gate, judge, and defend evaluations for LLM, agent, and retrieval systems. Not ordinary unit tests.
-
AI agent evaluation sandbox for Claude Code. Holdout scenario testing with Doer/Judge/Adversary/Observer roles, probabilistic satisfaction scoring, and append-only JSONL audit…
-
Compare AI coding skills head-to-head to find which one works best for your task. Run controlled A/B tests: same model (Claude Code), same tasks, different skills. Each candidate…
Что каждый говорит о себе
Eval Skills
Skills that take a coding agent from your first trace to evals you can trust: error analysis, datasets, validated graders, eval runs, and production monitoring.
Opik
Read and score Opik traces, experiments, datasets and prompts from your AI assistant.
Как запустить каждый
Eval Skills
Нет данных для автоматической команды: из того, что объявляют витрины, нельзя однозначно понять, как его подключить.
Opik Как удалённый MCP-сервер
claude mcp add --transport http opik-mcp https://www.comet.com/opik/api/v1/mcpТребует: OPIK_API_KEY (секрет)
Команды построены только из того, что объявляют витрины; полный набор для всех клиентов есть на карточке каждого.
Remote endpoint, который мы проверяем, есть только у Opik. Как мы проверяем endpoint
Какие инструменты объявляет каждый
Витрины Eval Skills не публикуют список инструментов, поэтому инструменты не сравниваем.
Какие настройки просит каждый
Витрины Eval Skills не публикуют, какие настройки он просит, поэтому настройки не сравниваем.
Что умеет: Eval Skills · Что умеет: Opik · Сравнить два других плагина
Данные витрины Community GitHub marketplaces. Данные витрины Official MCP Registry. Данные витрины Docker MCP Catalog. Данные витрины PyPI (MCP servers). Числа взяты из наших регулярных обходов витрин, последняя проверка . Контакты издателей плагинов мы не публикуем.