Eval Runner vs. com.clauxel.evalscopebench/evalscopebench-mcp
Eval Runner não está mais listado em nenhum marketplace que lemos: estes são os últimos dados conhecidos, de 2026‑11‑05.
Eval Runner é um pacote de plugins para ferramentas de programação com IA publicado por danielrosehill. Nenhum marketplace que lemos o lista mais. com.clauxel.evalscopebench/evalscopebench-mcp é um servidor MCP publicado por evalscopebench.clauxel.com. Marketplaces que lemos e que o listam: 1 (Official MCP Registry). Conforme nossa passagem pelos marketplaces em 2026-11-07. Um plugin deste par não está mais listado em nenhum marketplace que lemos, por isso pedimos aos buscadores que não indexem a página.
Onde cada um é publicado
| Marketplace |  com.clauxel.evalscopebench/evalscopebench-mcp | |
|---|---|---|
| Marketplace da comunidade danielrosehill/claude-code-plugins | Removido em 2026-11-05 Versão: 0.1.0 Forks (GitHub): 0 Estrelas (GitHub): 4 Sem marcação · Visto pela primeira vez |
Não listado |
| Official MCP Registry | Não listado | Listado Versão: 1.0.0 Forks (GitHub): 0 Estrelas (GitHub): 0 Sem marcação · Visto pela primeira vez |
Cada número é do próprio marketplace e nunca é somado entre marketplaces. Um marketplace que não publica números não mostra nenhum: sem número não é zero.
Os fatos lado a lado
| Fato | Eval Runnernão está mais listado · | com.clauxel.evalscopebench/evalscopebench-mcp |
|---|---|---|
| Marketplaces que o listam (diferente) | 0 | 1 |
| Estrelas (GitHub) (diferente) | 4 | 0 |
| Forks (GitHub) | 0 | 0 |
| Último release | Não publicado | Não publicado |
| Onde roda (diferente) | Instala-se como pacote de plugins | Servidor remoto (evalscopebench.clauxel.com/mcp) |
| Transporte (diferente) | Não informado | Streamable HTTP |
| Ferramentas que declara | Não publicado | Não publicado |
| Variáveis de ambiente que pede | Não publicado | Não publicado |
| Partes do pacote (diferente) | 14 | Não é um pacote |
| Licença (diferente) | MIT | Não informado |
| Repositório (diferente) | github.com/danielrosehill/claude-eval-runner-plugin | github.com/clauxel/evalscope-benchmark-mcp-mcp |
| Mudanças nos últimos 7 dias (diferente) | 2 | 0 |
| Visto pela primeira vez (diferente) | 2026-10-15 | 2026-10-11 |
| Endpoint na última verificação (diferente) | sem endpoint remoto que verificamos | Estado desatualizado: sem resposta HTTP na última verificação há 36 h |
As linhas em que os dois diferem têm fundo destacado e valores em negrito. Nenhum valor é marcado como melhor ou pior: um plugin que nenhum marketplace lista mais aparece com os últimos dados conhecidos, que não comparamos com números atuais.
O que usar no lugar de «Eval Runner»
Plugins ainda listados cujos nomes, descrições, ferramentas e skills são os mais próximos em significado. Comparáveis, não recomendados.
-
Skills for adding DeepEval evaluations, tracing, datasets, Confident AI reports, and iterative improvement loops to AI applications.
-
Agent skills for observing and evaluating LLM applications with LangSmith
-
Evaluate AI models for a real job, starting from start-eval: define the objective and workload, draw candidates from the live OpenRouter catalogue, and run wide and shallow (many…
-
AI agent evaluation sandbox for Claude Code. Holdout scenario testing with Doer/Judge/Adversary/Observer roles, probabilistic satisfaction scoring, and append-only JSONL audit…
-
Create fine-tuned LLM-as-a-judge evaluators on the Plurai platform
-
Set up evaluation of an OpenAI Java SDK tool-calling agent using Dokimos
O que cada um diz que faz
Eval Runner
Scaffolding, running, documenting, and publishing AI evaluations. Ships skills and commands for setting up eval workspaces, creating custom evals (or adapting existing frameworks/benchmarks), running them, and publishing evals or datasets. Bundles a curated ground-truth list of open-source eval tools and benchmarks as a reference data source.
com.clauxel.evalscopebench/evalscopebench-mcp
A paid remote MCP for AI SDK benchmark dashboard, built to return verdicts, receipts, usage logs, an
Como executar cada um
Eval Runner
Sem dados para um comando automático: o que os marketplaces declaram não diz de forma inequívoca como conectá-lo.
com.clauxel.evalscopebench/evalscopebench-mcp Como servidor MCP remoto
claude mcp add --transport http evalscopebench-mcp https://evalscopebench.clauxel.com/mcpComandos construídos apenas com o que os marketplaces declaram; o conjunto completo para cada cliente está no cartão de cada um.
Só com.clauxel.evalscopebench/evalscopebench-mcp tem um endpoint remoto que verificamos. Como verificamos os endpoints
Ferramentas que cada um declara
Os marketplaces de nenhum dos dois publicam uma lista de ferramentas, então não há o que comparar.
Configurações que cada um pede
Os marketplaces de nenhum dos dois publicam as configurações que ele pede.
O que pode fazer: Eval Runner · O que pode fazer: com.clauxel.evalscopebench/evalscopebench-mcp · Comparar outros dois plugins
Dados de Community GitHub marketplaces. Dados de Official MCP Registry. Os números vêm das nossas próprias passagens regulares pelos marketplaces, última leitura em . Não publicamos dados de contato dos editores de plugins.