Zen vs. llm-eval
llm-eval não está mais listado em nenhum marketplace que lemos: estes são os últimos dados conhecidos, de 2026‑10‑18.
Zen é um servidor MCP publicado por BeehiveInnovations. Marketplaces que lemos e que o listam: 1 (Docker MCP Catalog). llm-eval é um pacote de plugins para ferramentas de programação com IA publicado por barnburner121. Nenhum marketplace que lemos o lista mais. Conforme nossa passagem pelos marketplaces em 2026-10-23. Um plugin deste par não está mais listado em nenhum marketplace que lemos, por isso pedimos aos buscadores que não indexem a página.
Onde cada um é publicado
| Marketplace |  Zen | |
|---|---|---|
| Docker MCP Catalog | Listado Versão: sha256:02cbe1d325db Forks (GitHub): 1 037 Downloads (Docker Hub): 35 029 Estrelas (Docker Hub): 0 Estrelas (GitHub): 11 802 Sem marcação · Visto pela primeira vez |
Não listado |
| Marketplace da comunidade barnburner121/claude-plugin-marketplace | Não listado | Removido em 2026-10-18 Versão: 1.0.0 Forks (GitHub): 0 Estrelas (GitHub): 3 Sem marcação · Visto pela primeira vez |
Cada número é do próprio marketplace e nunca é somado entre marketplaces. Um marketplace que não publica números não mostra nenhum: sem número não é zero.
Os fatos lado a lado
| Fato | Zen | llm-evalnão está mais listado · |
|---|---|---|
| Marketplaces que o listam (diferente) | 1 | 0 |
| Estrelas (GitHub) (diferente) | 11 802 | 3 |
| Downloads (Docker Hub) (diferente) | 35 029 | Sem número no Docker Hub |
| Forks (GitHub) (diferente) | 1 037 | 0 |
| Último release | Não publicado | Não publicado |
| Onde roda (diferente) | Na sua máquina (mcp/zen) | Na sua máquina (@barnburner121/plugin-hub-mcp) |
| Transporte (diferente) | stdio | Não informado |
| Ferramentas que declara (diferente) | 18 | Não publicado |
| Variáveis de ambiente que pede (diferente) | 4, das quais segredos: 4 | Não publicado |
| Partes do pacote (diferente) | Não é um pacote | 2 |
| Licença (diferente) | NOASSERTION | MIT |
| Repositório (diferente) | github.com/beehiveinnovations/zen-mcp-server | github.com/barnburner121/claude-plugin-marketplace |
| Mudanças nos últimos 7 dias (diferente) | 0 | 2 |
| Visto pela primeira vez (diferente) | 2026-10-11 | 2026-10-14 |
As linhas em que os dois diferem têm fundo destacado e valores em negrito. Nenhum valor é marcado como melhor ou pior: um plugin que nenhum marketplace lista mais aparece com os últimos dados conhecidos, que não comparamos com números atuais.
O que usar no lugar de «llm-eval»
Plugins ainda listados cujos nomes, descrições, ferramentas e skills são os mais próximos em significado. Comparáveis, não recomendados.
-
Decide, design, gate, judge, and defend evaluations for LLM, agent, and retrieval systems. Not ordinary unit tests.
-
Configures and runs LLM evaluation using Promptfoo framework. Use when setting up prompt testing, creating evaluation configs (promptfooconfig.yaml), writing Python custom…
-
Compare text LLMs across OpenRouter, Bedrock, Vertex AI and Foundry with automated grading.
-
Skills for adding DeepEval evaluations, tracing, datasets, Confident AI reports, and iterative improvement loops to AI applications.
-
Benchmark, evaluate, and optimize skills to ensure reliable performance across all LLMs
-
Set up evaluation of LangChain4j applications and RAG pipelines using Dokimos
O que cada um diz que faz
Zen
Bridges multiple AI models and CLIs, enabling orchestrated workflows across Claude Code, Gemini CLI, Codex CLI, and other AI development tools.
llm-eval
Generate LLM evaluation and benchmarking
Como executar cada um
Zen Como servidor MCP local: imagem Docker
claude mcp add --env "GEMINI_API_KEY=<YOUR_GEMINI_API_KEY>" --env "OPENAI_API_KEY=<YOUR_OPENAI_API_KEY>" --env "OPENROUTER_API_KEY=<YOUR_OPENROUTER_API_KEY>" --env "XAI_API_KEY=<YOUR_XAI_API_KEY>" --transport stdio zen -- docker run -i --rm -e GEMINI_API_KEY -e OPENAI_API_KEY -e OPENROUTER_API_KEY -e XAI_API_KEY mcp/zenExige: GEMINI_API_KEY (secreta), OPENAI_API_KEY (secreta), OPENROUTER_API_KEY (secreta), XAI_API_KEY (secreta)
llm-eval
Sem dados para um comando automático: o que os marketplaces declaram não diz de forma inequívoca como conectá-lo.
Comandos construídos apenas com o que os marketplaces declaram; o conjunto completo para cada cliente está no cartão de cada um.
Ferramentas que cada um declara
Os marketplaces de llm-eval não publicam lista de ferramentas, então não comparamos ferramentas.
Configurações que cada um pede
Os marketplaces de llm-eval não publicam as configurações que ele pede, então não comparamos configurações.
O que pode fazer: Zen · O que pode fazer: llm-eval · Comparar outros dois plugins
Dados de Docker MCP Catalog. Dados de Community GitHub marketplaces. Os números vêm das nossas próprias passagens regulares pelos marketplaces, última leitura em . Não publicamos dados de contato dos editores de plugins.