Eval Runner vs. Eval Engine API
Eval Runner es un paquete de plugins para herramientas de programación con IA publicado por danielrosehill. Marketplaces que leemos y que lo publican: 1 (Community GitHub marketplaces). Eval Engine API es un servidor MCP publicado por invertedhoologan. Marketplaces que leemos y que lo publican: 1 (Official MCP Registry). Según nuestra pasada por los marketplaces del 2026-10-20. Este par lo eligió un lector, no nuestra regla de comparación, así que pedimos a los buscadores que no indexen la página.
Dónde se publica cada uno
| Marketplace |  Eval Runner | |
|---|---|---|
| Marketplace de la comunidad danielrosehill/claude-code-plugins | Publicado Versión: 0.1.0 Forks (GitHub): 0 Estrellas (GitHub): 4 Sin marca · Visto por primera vez |
No figura |
| Official MCP Registry | No figura | Publicado Versión: 0.1.0 Sin cifra publicada Sin marca · Visto por primera vez |
Cada cifra es del propio marketplace y nunca se suma entre marketplaces. Un marketplace que no publica cifras no muestra ninguna: sin número no es cero.
Los datos lado a lado
| Dato | Eval Runner | Eval Engine API |
|---|---|---|
| Marketplaces que lo listan | 1 | 1 |
| Estrellas (GitHub) (distinto) | 4 | Sin cifra en GitHub |
| Forks (GitHub) (distinto) | 0 | Sin cifra en GitHub |
| Última versión | No publicado | No publicado |
| Dónde se ejecuta (distinto) | Se instala como paquete de plugins | Servidor remoto (eval.zuluworksai.com/mcp) |
| Transporte (distinto) | Sin indicar | Streamable HTTP |
| Herramientas que declara | No publicado | No publicado |
| Variables de entorno que pide | No publicado | No publicado |
| Partes del paquete (distinto) | 14 | No es un paquete |
| Licencia (distinto) | MIT | Sin indicar |
| Repositorio (distinto) | github.com/danielrosehill/claude-eval-runner-plugin | Sin indicar |
| Cambios en los últimos 7 días (distinto) | 2 | 0 |
| Visto por primera vez (distinto) | 2026-10-15 | 2026-10-11 |
| Endpoint en la última comprobación (distinto) | sin endpoint remoto que comprobemos | No responde desde 2026-10-16 |
Las filas en las que difieren tienen fondo tintado y valores en negrita. Donde los propios datos dicen qué valor es mejor (más marketplaces, una cifra mayor del mismo marketplace, una versión más reciente, una marca verified en un marketplace que lista a ambos), el mejor se marca además en verde con ▲ y el peor en rojo con ▼. Dónde se ejecuta, el transporte, las herramientas, los ajustes, los hooks, las partes del paquete, la licencia y los cambios de la semana se marcan solo como diferentes: más o menos no es mejor en sí.
Qué dice cada uno que hace
Eval Runner
Scaffolding, running, documenting, and publishing AI evaluations. Ships skills and commands for setting up eval workspaces, creating custom evals (or adapting existing frameworks/benchmarks), running them, and publishing evals or datasets. Bundles a curated ground-truth list of open-source eval tools and benchmarks as a reference data source.
Eval Engine API
Pay-per-call AI evaluation MCP server. Score LLM outputs against benchmark rubrics via Workers AI.
Cómo ejecutar cada uno
Eval Runner Como plugin de Claude Code
/plugin marketplace add danielrosehill/claude-code-plugins
/plugin install eval-runner@danielrosehillEval Engine API Como servidor MCP remoto
claude mcp add --transport http eval-engine-mcp https://eval.zuluworksai.com/mcpComandos construidos solo con lo que declaran los marketplaces; el conjunto completo para cada cliente está en la ficha de cada uno.
Solo Eval Engine API tiene un endpoint remoto que comprobamos. Cómo comprobamos los endpoints
Herramientas que declara cada uno
Los marketplaces de ninguno de los dos publican una lista de herramientas, así que no hay nada que comparar.
Ajustes que pide cada uno
Los marketplaces de ninguno de los dos publican los ajustes que pide.
Qué puede hacer: Eval Runner · Qué puede hacer: Eval Engine API · Comparar otros dos plugins
Datos de Community GitHub marketplaces. Datos de Official MCP Registry. Las cifras proceden de nuestros propios recorridos periódicos por los marketplaces, leída por última vez el . No publicamos datos de contacto de los editores de plugins.