evaluate-openai или Iris
evaluate-openai: пакет плагинов для ИИ-инструментов разработки, издатель Dokimos Contributors. Витрин, которые мы читаем и где он опубликован: 1 (Community GitHub marketplaces). Iris: MCP-сервер, издатель iris-eval. Витрин, которые мы читаем и где он опубликован: 2 (Official MCP Registry, Claude Code: claude-plugins-community). Данные нашего прохода по витринам на 2026-10-22. Эту пару выбрал читатель, а не наше правило сравнений, поэтому поисковикам предложено не индексировать страницу.
Где опубликован каждый
| Витрина |  evaluate-openai |   Iris |
|---|---|---|
| Маркетплейс сообщества dokimos-dev/dokimos | Опубликован Версия: 0.1.0 Форки (GitHub): 5 Звёзды (GitHub): 60 Не помечен · Впервые замечен |
Нет на витрине |
| Official MCP Registry | Нет на витрине | Опубликован Версия: 0.20.0 Загрузки за месяц (npm): 2 844 Загрузки за неделю (npm): 185 Форки (GitHub): 4 Звёзды (GitHub): 9 Не помечен · Впервые замечен |
| Claude Code: claude-plugins-community | Нет на витрине | Опубликован Версия: 0.4.4 Форки (GitHub): 4 Звёзды (GitHub): 9 Не помечен · Впервые замечен |
Каждое число принадлежит своей витрине и никогда не складывается с числами других витрин. Если витрина число не публикует, мы его не показываем: нет числа не значит ноль.
Факты рядом
| Факт | evaluate-openai | Iris |
|---|---|---|
| Витрины, где он есть (различается) | 1 (хуже) | 2 (лучше) |
| Звёзды (GitHub) (различается) | 60 (лучше) | 9 (хуже) |
| Форки (GitHub) (различается) | 5 (лучше) | 4 (хуже) |
| Последний релиз | Не опубликовано | Не опубликовано |
| Где работает (различается) | Ставится как пакет плагинов | На вашем компьютере (@iris-eval/mcp-server) |
| Транспорт (различается) | Не указано | stdio |
| Объявляет инструментов | Не опубликовано | Не опубликовано |
| Просит переменных окружения (различается) | Не опубликовано | 31, из них секретов: 4 |
| Части набора (различается) | 1 | 2 |
| Лицензия | MIT | MIT |
| Репозиторий (различается) | github.com/dokimos-dev/dokimos | github.com/iris-eval/mcp-server |
| Изменения за последние 7 дней (различается) | 2 | 0 |
| Впервые замечен (различается) | 2026-10-16 | 2026-10-11 |
Строки, где значения различаются, выделены фоном и жирным. Где сами данные говорят, какое значение лучше (больше витрин, большая цифра одной и той же витрины, более свежий релиз, отметка verified на витрине, где есть оба), лучшее дополнительно отмечено зелёным и ▲, худшее красным и ▼. Где работает, транспорт, инструменты, настройки, hooks, части набора, лицензия и изменения за неделю отмечены только как различие: больше или меньше само по себе не лучше.
Что каждый говорит о себе
evaluate-openai
Set up evaluation of an OpenAI Java SDK tool-calling agent using Dokimos
Iris
Stop shipping agents on vibes. Score every agent output for quality, safety, and cost.
Как запустить каждый
evaluate-openai Как плагин Claude Code
/plugin marketplace add dokimos-dev/dokimos
/plugin install evaluate-openai@dokimosIris Как локальный MCP-сервер: пакет npm
claude mcp add --env "IRIS_ANTHROPIC_API_KEY=<YOUR_IRIS_ANTHROPIC_API_KEY>" --env "IRIS_API_KEY=<YOUR_IRIS_API_KEY>" --env "IRIS_OPENAI_API_KEY=<YOUR_IRIS_OPENAI_API_KEY>" --env "IRIS_WEBHOOK_SECRET=<YOUR_IRIS_WEBHOOK_SECRET>" --transport stdio iris -- npx -y @iris-eval/mcp-serverТребует: IRIS_ANTHROPIC_API_KEY (секрет), IRIS_API_KEY (секрет), IRIS_OPENAI_API_KEY (секрет), IRIS_WEBHOOK_SECRET (секрет)
Команды построены только из того, что объявляют витрины; полный набор для всех клиентов есть на карточке каждого.
Какие инструменты объявляет каждый
Витрины ни одного из них не публикуют список инструментов, сравнивать нечего.
Какие настройки просит каждый
Витрины evaluate-openai не публикуют, какие настройки он просит, поэтому настройки не сравниваем.
Что умеет: evaluate-openai · Что умеет: Iris · Сравнить два других плагина
Данные витрины Community GitHub marketplaces. Данные витрины Official MCP Registry. Данные витрины Claude Code: claude-plugins-community. Числа взяты из наших регулярных обходов витрин, последняя проверка . Контакты издателей плагинов мы не публикуем.