io.github.RudrenduPaul/agent-eval
Statistical regression testing for LLM agents: p-value, effect size, and CI on behavior change.
MCP-сервер · от RudrenduPaul
Коротко
io.github.RudrenduPaul/agent-eval: MCP-сервер, издатель RudrenduPaul. Витрин, которые мы читаем и где он опубликован: 1 (Official MCP Registry). Мы впервые увидели его 2026-10-11 и с тех пор изменений не фиксировали. Данные нашего прохода по витринам на 2026-10-12.
Что просит
- Работает на вашем компьютере
Ни одна из витрин, которые мы читаем, не публикует его инструменты или настройки, которые он просит.
Что объявляет, просит и запускает, полностью
Устанавливайте плагины только от разработчиков, которым доверяете. Мы показываем то, что публикуют витрины, и не проверяем плагины.
Работает с
- Claude Code
- Codex
- Cursor
- VS Code
- Copilot CLI
Ссылка в один клик открывает клиент, и он просит подтвердить, прежде чем добавить сервер.
По маркетплейсам, где он опубликован, и объявленному транспорту MCP, как их документирует каждый клиент. Плагины мы не тестируем.
Подключить
Команды и конфигурации собраны только из того, что объявляют витрины. Мы не запускаем их за вас и не проверяем плагины.
Как локальный MCP-сервер: пакет PyPI
Собрано из того, что объявляет Official MCP Registry.
claude mcp add --transport stdio agent-eval -- uvx agent-regress-cli[mcp_servers.agent-eval]
command = "uvx"
args = ["agent-regress-cli"]{
"mcpServers": {
"agent-eval": {
"command": "uvx",
"args": [
"agent-regress-cli"
]
}
}
}Аргументы запуска мы не храним. Если серверу они нужны, их называет его собственная документация.
Где опубликован
| Витрина | Статус | Версия | Числа | Проверен | Впервые замечен |
|---|---|---|---|---|---|
| Official MCP Registry (Открыть запись реестра) | Опубликован | 0.1.8 | Форки (GitHub): 0 Звёзды (GitHub): 0 |
Не помечен |
Каждое число принадлежит своей витрине и никогда не складывается с числами других витрин. Если витрина число не публикует, мы его не показываем: нет числа не значит ноль.
Что менялось
С тех пор как мы следим за плагином, ничего не менялось.
Похожие плагины
Продукты, чьи собственные названия, описания, инструменты и скиллы ближе всего по смыслу к этому, на всех витринах, которые мы читаем. Близость упорядочена только внутри этого списка.
-
evalview-mcp io.github.hidai25/evalview-mcp
Regression testing for AI agents. Golden baselines, CI/CD, LangGraph, CrewAI, OpenAI, Claude.
-
rigor-mcp io.github.mrnh/rigor-mcp
Verified statistical inference for AI agents: hypothesis tests, sequential testing, power.
-
regressguard io.github.Bharath-code/regressguard
Deterministic API regression checks for AI agents: snapshot a baseline, catch broken contracts.
-
Test whether AI agents retain critical instructions as conversations grow.
-
mcp io.github.LanceRoylo/mcp
AEO scoring, llms.txt audit, and agent-readiness checks for AI agents.
-
Testing, benchmarking and auditing autonomous AI agents — methods, harnesses, evidence
-
Synthetic checks, nightly regression replay and model-drift alerts for AI agents
-
pramana-mcp io.github.loopg/pramana-mcp
Read your recorded AI agent runs, and what changed when you swapped a model or prompt.
-
qc-validator io.github.mdfifty50-boop/qc-validator
Output quality control and validation for AI agents
-
Run local prompt regression checks from prompt-response logs in AI coding assistants.
Похожие плагины по витринам
Тот же вопрос к каждой витрине по отдельности: есть ли там аналог этого плагина?
Есть на витрине Claude Code: claude-plugins-community (5)
-
evalview-mcp io.github.hidai25/evalview-mcp
Regression testing for AI agents. Golden baselines, CI/CD, LangGraph, CrewAI, OpenAI, Claude.
-
AI agent evaluation sandbox for Claude Code. Holdout scenario testing with Doer/Judge/Adversary/Observer roles, probabilistic satisfaction scoring, and append-only JSONL audit…
-
Skills to streamline adoption and usage of Giskard products (OSS, Hub, Guards) for testing, evaluating, and red-teaming AI agents.
-
deepmiro io.github.kakarot-dev/deepmiro
Simulate hundreds of AI agents to predict how communities react to events and policies
-
vynn-mcp io.github.beee003/vynn-mcp
Self-improving AI workflows with backtesting, prompt optimization, and scheduling
Есть на витрине Claude Code: claude-plugins-official (5)
-
Skills for adding DeepEval evaluations, tracing, datasets, Confident AI reports, and iterative improvement loops to AI applications.
-
Skills for tracing, evaluating, and improving AI agents with MLflow. Supports the full agent improvement loop: instrument → trace → evaluate → iterate → validate.
-
Skills for working with Langfuse, the open-source LLM engineering platform for tracing, prompt management, and evaluation.
-
Detect AI agents in your codebase and instrument them with Pendo Agent Analytics via the best-fit path: Python SDK, TypeScript SDK, client-side trackAgent, or the Conversations…
-
DataRobot skills for AI/ML workflows — model training, deployment, predictions, feature engineering, monitoring, explainability, data preparation, App Framework CI/CD, and…
Есть на витрине Claude: knowledge-work-plugins (5)
-
Skills for working with Langfuse, the open-source LLM engineering platform for tracing, prompt management, and evaluation.
-
DataRobot skills for AI/ML workflows — model training, deployment, predictions, feature engineering, monitoring, explainability, data preparation, App Framework CI/CD, and…
-
AI-first project auditor and re-engineer based on the 9 design principles and 7 design patterns from the TechWolf AI-First Bootcamp
-
A suite of agent skills for the full GrowthBook feature flag and experimentation lifecycle.
-
Official Buildkite skills for Claude Code, Cursor, and other AI coding agents — pipelines, migration, preflight, agent runtime, CLI, and API
Есть на витрине Codex: openai-curated (openai/plugins) (5)
-
Evaluate Codex skills and plugins from chat with a beginner-friendly start command, local-first reports, token budget explanations, and guided benchmarking.
-
Build with OpenAI APIs, Agents SDK, and ChatGPT Apps, and create and save OpenAI API keys from Codex.
-
Skills for NVIDIAs ecosystem spans GPU acceleration, CUDA, AI agents, inference, robotics, Physical AI, Omniverse, and simulation. This plugin helps you understand the pieces…
-
An agentic skills framework & software development methodology that works: planning, TDD, debugging, and collaboration workflows.
-
CrowdStrike Falcon Foundry development skills for building cybersecurity applications on the Falcon platform. Includes UI development, collections, functions, workflows, API…
Есть на витрине Community GitHub marketplaces (5)
-
Skills for adding DeepEval evaluations, tracing, datasets, Confident AI reports, and iterative improvement loops to AI applications.
-
4da-mcp-server io.github.4DA-Systems/4da-mcp-server
Upgrade intelligence for AI agents: what an upgrade changes, where it touches your code, CVE scans.
-
inquisitor io.github.1111111111111111111114oLvT2/inquisitor
Hypothesis-driven problem solving for AI agents: probe, falsify, escalate.
-
DataRobot skills for AI/ML workflows — model training, deployment, predictions, feature engineering, monitoring, explainability, data preparation, App Framework CI/CD, and…
-
Dash0 Observability
OpenTelemetry observability for OpenAI Codex sessions. Captures prompts, tool calls, MCP calls, sub-agent activity, and token usage as OTel traces.
Есть на витрине Copilot CLI: github/awesome-copilot (5)
-
A runtime-portable 5-agent quality gate that adjudicates text artifacts before they ship. Five role-conditioned LLM deliberators run a 2-round async protocol with cross-read…
-
Run a lightweight, role-separated AI development team with flexible tools, developer-selected models, proportionate planning, and optional QA.
-
Three-agent workflow for orchestrated software delivery with an orchestrator plus implementation and QA subagents.
-
foundry-hosted-agent-copilotkit
Build CopilotKit + AG-UI web apps on Microsoft Foundry hosted agents (Microsoft Agent Framework): wiring, native Foundry primitives, human-in-the-loop approvals, azd deploy, and…
-
Self-Learning Multi-agent orchestration framework for spec-driven development and automated verification. With smarter tool calling and leaner context.
Есть на витрине Copilot CLI: github/copilot-plugins (5)
-
Toolkit for building Microsoft 365 Copilot declarative agents — scaffolding, JSON manifest development, and capability configuration.
-
Advanced Security plugin for GitHub Copilot.
-
Bring Azure DevOps work-item, repository, and pull-request workflows into GitHub Copilot.
-
Analyze MSVC build performance using vcperf.exe and ETL traces.
-
model-apps
Build and deploy Power Apps generative pages for model-driven apps with specialist agents for planning, entity creation, and parallel code generation. Requires PAC CLI >= 2.7.0…
Есть на витрине Cursor: cursor/plugins (5)
-
Patterns for designing CLIs that coding agents can run reliably: flags, help with examples, pipelines, errors, idempotency, dry-run.
-
CLI-backed repo compatibility scans plus agents that audit startup, validation, and docs against reality.
-
Iterative self-referential AI loops using the Ralph Wiggum technique.
-
if you want to go fast, go deep first. pstack helps you write less, but higher quality code. rigorous agent workflows you can parallelize with confidence.
-
Incremental transcript-driven memory updates for AGENTS.md using high-signal bullet points only.
Есть на витрине Docker MCP Catalog (5)
-
Read and score Opik traces, experiments, datasets and prompts from your AI assistant.
-
Wayfound’s MCP server allows business users to govern, supervise, and improve AI Agents.
-
Server-enforced workflow discipline for AI agents: work items, dependency graphs, quality gates
-
testkube-mcp io.github.kubeshop/testkube-mcp
MCP server for Testkube - Manage test workflows, executions, and artifacts via AI assistants
-
Bridges multiple AI models and CLIs, enabling orchestrated workflows across Claude Code, Gemini CLI, Codex CLI, and other AI development tools.
Есть на витрине Official MCP Registry (5)
-
evalview-mcp io.github.hidai25/evalview-mcp
Regression testing for AI agents. Golden baselines, CI/CD, LangGraph, CrewAI, OpenAI, Claude.
-
rigor-mcp io.github.mrnh/rigor-mcp
Verified statistical inference for AI agents: hypothesis tests, sequential testing, power.
-
regressguard io.github.Bharath-code/regressguard
Deterministic API regression checks for AI agents: snapshot a baseline, catch broken contracts.
-
Test whether AI agents retain critical instructions as conversations grow.
-
mcp io.github.LanceRoylo/mcp
AEO scoring, llms.txt audit, and agent-readiness checks for AI agents.
Найдено по смыслу, а не по общему коду или репозиторию: похожие плагины остаются разными продуктами, и это не обзор и не рекомендация.
Это ваш плагин?
Добавьте плагин в свои проекты и докажите, что поддерживаете его: файлом в репозитории, файлом на вашем домене или DNS-записью. Вы будете получать уведомления, когда витрина добавит плагин, снимет его, изменит отметку verified или список того, что он просит, а его удалённый endpoint встанет на мониторинг как веб-сервис.
Данные витрины Official MCP Registry. Числа взяты из наших регулярных обходов витрин, последняя проверка . Контакты издателей плагинов мы не публикуем.