llm-eval vs. Amicus
llm-eval não está mais listado em nenhum marketplace que lemos: estes são os últimos dados conhecidos, de 2026‑10‑18.
llm-eval é um pacote de plugins para ferramentas de programação com IA publicado por barnburner121. Nenhum marketplace que lemos o lista mais. Amicus é um servidor MCP publicado por BourbonDog. Marketplaces que lemos e que o listam: 1 (Official MCP Registry). Conforme nossa passagem pelos marketplaces em 2026-11-12. Um plugin deste par não está mais listado em nenhum marketplace que lemos, por isso pedimos aos buscadores que não indexem a página.
Onde cada um é publicado
| Marketplace |  Amicus | |
|---|---|---|
| Marketplace da comunidade barnburner121/claude-plugin-marketplace | Removido em 2026-10-18 Versão: 1.0.0 Forks (GitHub): 0 Estrelas (GitHub): 3 Sem marcação · Visto pela primeira vez |
Não listado |
| Official MCP Registry | Não listado | Listado Versão: 4.16.1 Downloads por mês (npm): 2 921 Downloads por semana (npm): 718 Forks (GitHub): 0 Estrelas (GitHub): 2 Sem marcação · Visto pela primeira vez |
Cada número é do próprio marketplace e nunca é somado entre marketplaces. Um marketplace que não publica números não mostra nenhum: sem número não é zero.
Os fatos lado a lado
| Fato | llm-evalnão está mais listado · | Amicus |
|---|---|---|
| Marketplaces que o listam (diferente) | 0 | 1 |
| Estrelas (GitHub) (diferente) | 3 | 2 |
| Forks (GitHub) | 0 | 0 |
| Último release (diferente) | Não publicado | 2026-11-12 |
| Onde roda (diferente) | Na sua máquina (@barnburner121/plugin-hub-mcp) | Na sua máquina (amicus) |
| Transporte (diferente) | Não informado | stdio |
| Ferramentas que declara | Não publicado | Não publicado |
| Variáveis de ambiente que pede (diferente) | Não publicado | 2, das quais segredos: 1 |
| Partes do pacote (diferente) | 2 | Não é um pacote |
| Licença | MIT | MIT |
| Repositório (diferente) | github.com/barnburner121/claude-plugin-marketplace | github.com/bourbondog/amicus |
| Mudanças nos últimos 7 dias (diferente) | 0 | 3 |
| Visto pela primeira vez (diferente) | 2026-10-14 | 2026-10-11 |
As linhas em que os dois diferem têm fundo destacado e valores em negrito. Nenhum valor é marcado como melhor ou pior: um plugin que nenhum marketplace lista mais aparece com os últimos dados conhecidos, que não comparamos com números atuais.
O que usar no lugar de «llm-eval»
Plugins ainda listados cujos nomes, descrições, ferramentas e skills são os mais próximos em significado. Comparáveis, não recomendados.
-
evaluation
LLM benchmarking and evaluation including lm-evaluation-harness, BigCode Evaluation Harness, and NeMo Evaluator. Use when benchmarking models or measuring performance.
-
Configures and runs LLM evaluation using Promptfoo framework. Use when setting up prompt testing, creating evaluation configs (promptfooconfig.yaml), writing Python custom…
-
Compare text LLMs across OpenRouter, Bedrock, Vertex AI and Foundry with automated grading.
-
Skills for adding DeepEval evaluations, tracing, datasets, Confident AI reports, and iterative improvement loops to AI applications.
-
Benchmark, evaluate, and optimize skills to ensure reliable performance across all LLMs
-
Set up evaluation of LangChain4j applications and RAG pipelines using Dokimos
O que cada um diz que faz
llm-eval
Generate LLM evaluation and benchmarking
Amicus
Multi-model LLM Council and parallel AI window for Claude Code. Fork any model, fold results back.
Como executar cada um
llm-eval
Sem dados para um comando automático: o que os marketplaces declaram não diz de forma inequívoca como conectá-lo.
Amicus Como servidor MCP local: pacote npm
claude mcp add --env "OPENROUTER_API_KEY=<YOUR_OPENROUTER_API_KEY>" --transport stdio amicus -- npx -y amicus mcpExige: OPENROUTER_API_KEY (secreta)
Comandos construídos apenas com o que os marketplaces declaram; o conjunto completo para cada cliente está no cartão de cada um.
Ferramentas que cada um declara
Os marketplaces de nenhum dos dois publicam uma lista de ferramentas, então não há o que comparar.
Configurações que cada um pede
Os marketplaces de llm-eval não publicam as configurações que ele pede, então não comparamos configurações.
O que pode fazer: llm-eval · O que pode fazer: Amicus · Comparar outros dois plugins
Dados de Community GitHub marketplaces. Dados de Official MCP Registry. Os números vêm das nossas próprias passagens regulares pelos marketplaces, última leitura em . Não publicamos dados de contato dos editores de plugins.