Eval Runner vs. io.github.kubeshop/testkube-mcp
Eval Runner é um pacote de plugins para ferramentas de programação com IA publicado por danielrosehill. Marketplaces que lemos e que o listam: 1 (Community GitHub marketplaces). io.github.kubeshop/testkube-mcp é um servidor MCP publicado por kubeshop. Marketplaces que lemos e que o listam: 2 (Official MCP Registry, Docker MCP Catalog). Conforme nossa passagem pelos marketplaces em 2026-10-22. Este par foi escolhido por um leitor, não pela nossa regra de comparação, por isso pedimos aos buscadores que não indexem a página.
Onde cada um é publicado
| Marketplace |  Eval Runner |  io.github.kubeshop/testkube-mcp |
|---|---|---|
| Marketplace da comunidade danielrosehill/claude-code-plugins | Listado Versão: 0.1.0 Forks (GitHub): 0 Estrelas (GitHub): 4 Sem marcação · Visto pela primeira vez |
Não listado |
| Official MCP Registry | Não listado | Listado Versão: 2.14.2 Forks (GitHub): 180 Estrelas (GitHub): 1 672 Sem marcação · Visto pela primeira vez |
| Docker MCP Catalog | Não listado | Listado Versão: sha256:43aa88f2d416 Forks (GitHub): 180 Downloads (Docker Hub): 33 761 Estrelas (Docker Hub): 0 Estrelas (GitHub): 1 672 Sem marcação · Visto pela primeira vez |
Cada número é do próprio marketplace e nunca é somado entre marketplaces. Um marketplace que não publica números não mostra nenhum: sem número não é zero.
Os fatos lado a lado
| Fato | Eval Runner | io.github.kubeshop/testkube-mcp |
|---|---|---|
| Marketplaces que o listam (diferente) | 1 (pior) | 2 (melhor) |
| Estrelas (GitHub) (diferente) | 4 (pior) | 1 672 (melhor) |
| Downloads (Docker Hub) (diferente) | Sem número no Docker Hub | 33 761 |
| Forks (GitHub) (diferente) | 0 (pior) | 180 (melhor) |
| Último release (diferente) | Não publicado | 2026-10-19 |
| Onde roda (diferente) | Instala-se como pacote de plugins | Servidor remoto ou sua máquina |
| Transporte (diferente) | Não informado | Streamable HTTP, stdio |
| Ferramentas que declara (diferente) | Não publicado | 28 |
| Variáveis de ambiente que pede (diferente) | Não publicado | 9, das quais segredos: 1 |
| Partes do pacote (diferente) | 14 | Não é um pacote |
| Licença (diferente) | MIT | NOASSERTION |
| Repositório (diferente) | github.com/danielrosehill/claude-eval-runner-plugin | github.com/kubeshop/testkube |
| Mudanças nos últimos 7 dias (diferente) | 0 | 2 |
| Visto pela primeira vez (diferente) | 2026-10-15 | 2026-10-11 |
| Endpoint na última verificação (diferente) | sem endpoint remoto que verificamos | Respondeu há 20 h, exige uma chave |
As linhas em que os dois diferem têm fundo destacado e valores em negrito. Onde os próprios dados dizem qual valor é melhor (mais marketplaces, um número maior do mesmo marketplace, um release mais recente, uma marca verified em um marketplace que lista os dois), o melhor também é marcado em verde com ▲ e o pior em vermelho com ▼. Onde roda, o transporte, as ferramentas, as configurações, os hooks, as partes do pacote, a licença e as mudanças da semana são marcados apenas como diferentes: mais ou menos não é melhor por si só.
O que cada um diz que faz
Eval Runner
Scaffolding, running, documenting, and publishing AI evaluations. Ships skills and commands for setting up eval workspaces, creating custom evals (or adapting existing frameworks/benchmarks), running them, and publishing evals or datasets. Bundles a curated ground-truth list of open-source eval tools and benchmarks as a reference data source.
io.github.kubeshop/testkube-mcp
MCP server for Testkube - Manage test workflows, executions, and artifacts via AI assistants
Como executar cada um
Eval Runner Como plugin do Claude Code
/plugin marketplace add danielrosehill/claude-code-plugins
/plugin install eval-runner@danielrosehillio.github.kubeshop/testkube-mcp Como servidor MCP local: imagem Docker
claude mcp add --env "TK_ACCESS_TOKEN=<YOUR_TK_ACCESS_TOKEN>" --env "TK_ENV_ID=<YOUR_TK_ENV_ID>" --env "TK_ORG_ID=<YOUR_TK_ORG_ID>" --transport stdio testkube -- docker run -i --rm -e TK_ACCESS_TOKEN -e TK_ENV_ID -e TK_ORG_ID mcp/testkubeExige: TK_ACCESS_TOKEN (secreta), TK_ENV_ID (secreta), TK_ORG_ID (secreta)
Comandos construídos apenas com o que os marketplaces declaram; o conjunto completo para cada cliente está no cartão de cada um.
Só io.github.kubeshop/testkube-mcp tem um endpoint remoto que verificamos. Como verificamos os endpoints
Ferramentas que cada um declara
Os marketplaces de Eval Runner não publicam lista de ferramentas, então não comparamos ferramentas.
Configurações que cada um pede
Os marketplaces de Eval Runner não publicam as configurações que ele pede, então não comparamos configurações.
O que pode fazer: Eval Runner · O que pode fazer: io.github.kubeshop/testkube-mcp · Comparar outros dois plugins
Dados de Community GitHub marketplaces. Dados de Official MCP Registry. Dados de Docker MCP Catalog. Os números vêm das nossas próprias passagens regulares pelos marketplaces, última leitura em . Não publicamos dados de contato dos editores de plugins.