llm-eval vs. llm-gateway
llm-eval não está mais listado em nenhum marketplace que lemos: estes são os últimos dados conhecidos, de 2026‑10‑18.
llm-eval é um pacote de plugins para ferramentas de programação com IA publicado por barnburner121. Nenhum marketplace que lemos o lista mais. llm-gateway é um pacote de plugins para ferramentas de programação com IA publicado por verivus-oss. Marketplaces que lemos e que o listam: 2 (Claude Code: claude-plugins-community, Community GitHub marketplaces). Conforme nossa passagem pelos marketplaces em 2026-10-29. Um plugin deste par não está mais listado em nenhum marketplace que lemos, por isso pedimos aos buscadores que não indexem a página.
Onde cada um é publicado
| Marketplace |  llm-gateway | |
|---|---|---|
| Marketplace da comunidade barnburner121/claude-plugin-marketplace | Removido em 2026-10-18 Versão: 1.0.0 Forks (GitHub): 0 Estrelas (GitHub): 3 Sem marcação · Visto pela primeira vez |
Não listado |
| Claude Code: claude-plugins-community | Não listado | Listado Versão: 1.0.0 Forks (GitHub): 1 Estrelas (GitHub): 16 Sem marcação · Visto pela primeira vez |
Cada número é do próprio marketplace e nunca é somado entre marketplaces. Um marketplace que não publica números não mostra nenhum: sem número não é zero.
Os fatos lado a lado
| Fato | llm-evalnão está mais listado · | llm-gateway |
|---|---|---|
| Marketplaces que o listam (diferente) | 0 | 2 |
| Estrelas (GitHub) (diferente) | 3 | 16 |
| Forks (GitHub) (diferente) | 0 | 1 |
| Último release | Não publicado | Não publicado |
| Onde roda (diferente) | Na sua máquina (@barnburner121/plugin-hub-mcp) | Instala-se como pacote de plugins |
| Transporte | Não informado | Não informado |
| Ferramentas que declara | Não publicado | Não publicado |
| Variáveis de ambiente que pede | Não publicado | Não publicado |
| Partes do pacote (diferente) | 2 | 12 |
| Licença | MIT | MIT |
| Repositório (diferente) | github.com/barnburner121/claude-plugin-marketplace | github.com/verivus-oss/llm-cli-gateway |
| Mudanças nos últimos 7 dias | 0 | 0 |
| Visto pela primeira vez (diferente) | 2026-10-14 | 2026-10-11 |
As linhas em que os dois diferem têm fundo destacado e valores em negrito. Nenhum valor é marcado como melhor ou pior: um plugin que nenhum marketplace lista mais aparece com os últimos dados conhecidos, que não comparamos com números atuais.
O que usar no lugar de «llm-eval»
Plugins ainda listados cujos nomes, descrições, ferramentas e skills são os mais próximos em significado. Comparáveis, não recomendados.
-
Decide, design, gate, judge, and defend evaluations for LLM, agent, and retrieval systems. Not ordinary unit tests.
-
Configures and runs LLM evaluation using Promptfoo framework. Use when setting up prompt testing, creating evaluation configs (promptfooconfig.yaml), writing Python custom…
-
2 AI engineering skills: LLM evals and LLM observability
-
Compare text LLMs across OpenRouter, Bedrock, Vertex AI and Foundry with automated grading.
-
Skills for adding DeepEval evaluations, tracing, datasets, Confident AI reports, and iterative improvement loops to AI applications.
-
Benchmark, evaluate, and optimize skills to ensure reliable performance across all LLMs
O que cada um diz que faz
llm-eval
Generate LLM evaluation and benchmarking
llm-gateway
Multi-LLM orchestration MCP server. Delegate tasks to Claude Code, Codex, and Gemini CLIs with session management, retry logic, async job orchestration, and token optimization.
Como executar cada um
llm-eval
Sem dados para um comando automático: o que os marketplaces declaram não diz de forma inequívoca como conectá-lo.
llm-gateway Como plugin do Claude Code
/plugin marketplace add anthropics/claude-plugins-community
/plugin install llm-gateway@claude-communityComandos construídos apenas com o que os marketplaces declaram; o conjunto completo para cada cliente está no cartão de cada um.
Ferramentas que cada um declara
Os marketplaces de nenhum dos dois publicam uma lista de ferramentas, então não há o que comparar.
Configurações que cada um pede
Os marketplaces de nenhum dos dois publicam as configurações que ele pede.
O que pode fazer: llm-eval · O que pode fazer: llm-gateway · Comparar outros dois plugins
Dados de Community GitHub marketplaces. Dados de Claude Code: claude-plugins-community. Os números vêm das nossas próprias passagens regulares pelos marketplaces, última leitura em . Não publicamos dados de contato dos editores de plugins.