eval-genius vs. EvalForge Lite
eval-genius não está mais listado em nenhum marketplace que lemos: estes são os últimos dados conhecidos, de 2026‑11‑03.
eval-genius é um pacote de plugins para ferramentas de programação com IA publicado por Alex Greenshpun. Nenhum marketplace que lemos o lista mais. EvalForge Lite é um servidor MCP publicado por thejaredchapman. Marketplaces que lemos e que o listam: 1 (Official MCP Registry). Conforme nossa passagem pelos marketplaces em 2026-11-03. Um plugin deste par não está mais listado em nenhum marketplace que lemos, por isso pedimos aos buscadores que não indexem a página.
Onde cada um é publicado
| Marketplace |  EvalForge Lite | |
|---|---|---|
| Marketplace da comunidade alexgreensh/eval-genius | Removido em 2026-11-03 Versão: 0.3.1 Forks (GitHub): 4 Estrelas (GitHub): 24 Sem marcação · Visto pela primeira vez |
Não listado |
| Official MCP Registry | Não listado | Listado Versão: 1.0.1 Downloads por mês (PyPI): 244 Downloads por semana (PyPI): 124 Forks (GitHub): 0 Estrelas (GitHub): 0 Sem marcação · Visto pela primeira vez |
Cada número é do próprio marketplace e nunca é somado entre marketplaces. Um marketplace que não publica números não mostra nenhum: sem número não é zero.
Os fatos lado a lado
| Fato | eval-geniusnão está mais listado · | EvalForge Lite |
|---|---|---|
| Marketplaces que o listam (diferente) | 0 | 1 |
| Estrelas (GitHub) (diferente) | 24 | 0 |
| Forks (GitHub) (diferente) | 4 | 0 |
| Último release | Não publicado | Não publicado |
| Onde roda (diferente) | Instala-se como pacote de plugins | Na sua máquina (evalforge-lite) |
| Transporte (diferente) | Não informado | stdio |
| Ferramentas que declara | Não publicado | Não publicado |
| Variáveis de ambiente que pede (diferente) | Não publicado | 1, das quais segredos: 1 |
| Partes do pacote (diferente) | 1 | Não é um pacote |
| Licença (diferente) | Apache-2.0 | Não informado |
| Repositório (diferente) | github.com/alexgreensh/eval-genius | github.com/thejaredchapman/evalforge-lite |
| Mudanças nos últimos 7 dias (diferente) | 2 | 0 |
| Visto pela primeira vez (diferente) | 2026-10-15 | 2026-10-11 |
As linhas em que os dois diferem têm fundo destacado e valores em negrito. Nenhum valor é marcado como melhor ou pior: um plugin que nenhum marketplace lista mais aparece com os últimos dados conhecidos, que não comparamos com números atuais.
O que usar no lugar de «eval-genius»
Plugins ainda listados cujos nomes, descrições, ferramentas e skills são os mais próximos em significado. Comparáveis, não recomendados.
-
Skills for adding DeepEval evaluations, tracing, datasets, Confident AI reports, and iterative improvement loops to AI applications.
-
Configures and runs LLM evaluation using Promptfoo framework. Use when setting up prompt testing, creating evaluation configs (promptfooconfig.yaml), writing Python custom…
-
LLM evaluation methodology and eval-suite design, based on Anthropic's evaluation guidance. /evals:methodology answers questions on success criteria, eval design, and grading…
-
Set up evaluation of an OpenAI Java SDK tool-calling agent using Dokimos
-
Set up evaluation of AI agents with tool call validation, correctness checks, and task completion using Dokimos
-
Pay-per-call AI evaluation MCP server. Score LLM outputs against benchmark rubrics via Workers AI.
O que cada um diz que faz
eval-genius
Decide, design, gate, judge, and defend evaluations for LLM, agent, and retrieval systems. Not ordinary unit tests.
EvalForge Lite
Compare text LLMs across OpenRouter, Bedrock, Vertex AI and Foundry with automated grading.
Como executar cada um
eval-genius
Sem dados para um comando automático: o que os marketplaces declaram não diz de forma inequívoca como conectá-lo.
EvalForge Lite Como servidor MCP local: pacote PyPI
claude mcp add --env "OPENROUTER_API_KEY=<YOUR_OPENROUTER_API_KEY>" --transport stdio evalforge-lite -- uvx evalforge-liteExige: OPENROUTER_API_KEY (secreta)
Comandos construídos apenas com o que os marketplaces declaram; o conjunto completo para cada cliente está no cartão de cada um.
Ferramentas que cada um declara
Os marketplaces de nenhum dos dois publicam uma lista de ferramentas, então não há o que comparar.
Configurações que cada um pede
Os marketplaces de eval-genius não publicam as configurações que ele pede, então não comparamos configurações.
O que pode fazer: eval-genius · O que pode fazer: EvalForge Lite · Comparar outros dois plugins
Dados de Community GitHub marketplaces. Dados de Official MCP Registry. Os números vêm das nossas próprias passagens regulares pelos marketplaces, última leitura em . Não publicamos dados de contato dos editores de plugins.