Eval Runner или Opik
Eval Runner: пакет плагинов для ИИ-инструментов разработки, издатель danielrosehill. Витрин, которые мы читаем и где он опубликован: 1 (Community GitHub marketplaces). Opik: MCP-сервер, издатель comet-ml. Витрин, которые мы читаем и где он опубликован: 2 (Official MCP Registry, Docker MCP Catalog). Данные нашего прохода по витринам на 2026-10-18. Эту пару выбрал читатель, а не наше правило сравнений, поэтому поисковикам предложено не индексировать страницу.
Где опубликован каждый
| Витрина |  Eval Runner |  Opik |
|---|---|---|
| Маркетплейс сообщества danielrosehill/claude-code-plugins | Опубликован Версия: 0.1.0 Форки (GitHub): 0 Звёзды (GitHub): 4 Не помечен · Впервые замечен |
Нет на витрине |
| Official MCP Registry | Нет на витрине | Опубликован Версия: 3.0.5 Загрузки за месяц (PyPI): 3 591 Загрузки за неделю (PyPI): 1 906 Форки (GitHub): 39 Звёзды (GitHub): 223 Не помечен · Впервые замечен |
| Docker MCP Catalog | Нет на витрине | Опубликован Версия: sha256:0e0d7d33d5eb Форки (GitHub): 39 Загрузки (Docker Hub): 16 991 Звёзды (Docker Hub): 1 Звёзды (GitHub): 223 Не помечен · Впервые замечен |
Каждое число принадлежит своей витрине и никогда не складывается с числами других витрин. Если витрина число не публикует, мы его не показываем: нет числа не значит ноль.
Факты рядом
| Факт | Eval Runner | Opik |
|---|---|---|
| Витрины, где он есть (различается) | 1 (хуже) | 2 (лучше) |
| Звёзды (GitHub) (различается) | 4 (хуже) | 223 (лучше) |
| Загрузки (Docker Hub) (различается) | Нет цифры на Docker Hub | 16 991 |
| Форки (GitHub) (различается) | 0 (хуже) | 39 (лучше) |
| Последний релиз | Не опубликовано | Не опубликовано |
| Где работает (различается) | Ставится как пакет плагинов | Удалённый сервер или ваш компьютер |
| Транспорт (различается) | Не указано | Streamable HTTP, stdio |
| Объявляет инструментов (различается) | Не опубликовано | 13 |
| Просит переменных окружения (различается) | Не опубликовано | 4, из них секретов: 1 |
| Части набора (различается) | 14 | Не набор |
| Лицензия (различается) | MIT | Apache-2.0 |
| Репозиторий (различается) | github.com/danielrosehill/claude-eval-runner-plugin | github.com/comet-ml/opik-mcp |
| Изменения за последние 7 дней (различается) | 2 | 0 |
| Впервые замечен (различается) | 2026-10-15 | 2026-10-11 |
| Endpoint на последней проверке (различается) | нет remote endpoint, который мы проверяем | Ответил 2 дн. назад, требует ключ |
Строки, где значения различаются, выделены фоном и жирным. Где сами данные говорят, какое значение лучше (больше витрин, большая цифра одной и той же витрины, более свежий релиз, отметка verified на витрине, где есть оба), лучшее дополнительно отмечено зелёным и ▲, худшее красным и ▼. Где работает, транспорт, инструменты, настройки, hooks, части набора, лицензия и изменения за неделю отмечены только как различие: больше или меньше само по себе не лучше.
Что каждый говорит о себе
Eval Runner
Scaffolding, running, documenting, and publishing AI evaluations. Ships skills and commands for setting up eval workspaces, creating custom evals (or adapting existing frameworks/benchmarks), running them, and publishing evals or datasets. Bundles a curated ground-truth list of open-source eval tools and benchmarks as a reference data source.
Opik
Read and score Opik traces, experiments, datasets and prompts from your AI assistant.
Как запустить каждый
Eval Runner Как плагин Claude Code
/plugin marketplace add danielrosehill/claude-code-plugins
/plugin install eval-runner@danielrosehillOpik Как удалённый MCP-сервер
claude mcp add --transport http opik-mcp https://www.comet.com/opik/api/v1/mcpТребует: OPIK_API_KEY (секрет)
Команды построены только из того, что объявляют витрины; полный набор для всех клиентов есть на карточке каждого.
Remote endpoint, который мы проверяем, есть только у Opik. Как мы проверяем endpoint
Какие инструменты объявляет каждый
Витрины Eval Runner не публикуют список инструментов, поэтому инструменты не сравниваем.
Какие настройки просит каждый
Витрины Eval Runner не публикуют, какие настройки он просит, поэтому настройки не сравниваем.
Что умеет: Eval Runner · Что умеет: Opik · Сравнить два других плагина
Данные витрины Community GitHub marketplaces. Данные витрины Official MCP Registry. Данные витрины Docker MCP Catalog. Числа взяты из наших регулярных обходов витрин, последняя проверка . Контакты издателей плагинов мы не публикуем.