promptfoo-evaluation vs. OpenMark
promptfoo-evaluation é um pacote de plugins para ferramentas de programação com IA publicado por daymade. Marketplaces que lemos e que o listam: 1 (Community GitHub marketplaces). OpenMark é um servidor MCP publicado por openmark.ai. Marketplaces que lemos e que o listam: 1 (Official MCP Registry). Conforme nossa passagem pelos marketplaces em 2026-10-22. Este par foi escolhido por um leitor, não pela nossa regra de comparação, por isso pedimos aos buscadores que não indexem a página.
Onde cada um é publicado
| Marketplace |  promptfoo-evaluation | |
|---|---|---|
| Marketplace da comunidade daymade/claude-code-skills | Listado Versão: 1.1.0 Forks (GitHub): 228 Estrelas (GitHub): 1 482 Sem marcação · Visto pela primeira vez |
Não listado |
| Official MCP Registry | Não listado | Listado Versão: 1.0.0 Nenhum número publicado Sem marcação · Visto pela primeira vez |
Cada número é do próprio marketplace e nunca é somado entre marketplaces. Um marketplace que não publica números não mostra nenhum: sem número não é zero.
Os fatos lado a lado
| Fato | promptfoo-evaluation | OpenMark |
|---|---|---|
| Marketplaces que o listam | 1 | 1 |
| Estrelas (GitHub) (diferente) | 1 482 | Sem número no GitHub |
| Forks (GitHub) (diferente) | 228 | Sem número no GitHub |
| Último release | Não publicado | Não publicado |
| Onde roda (diferente) | Instala-se como pacote de plugins | Servidor remoto (openmark.ai/mcp) |
| Transporte (diferente) | Não informado | Streamable HTTP |
| Ferramentas que declara | Não publicado | Não publicado |
| Variáveis de ambiente que pede | Não publicado | Não publicado |
| Licença | Não informado | Não informado |
| Repositório (diferente) | github.com/daymade/claude-code-skills | Não informado |
| Mudanças nos últimos 7 dias | 2 | 2 |
| Visto pela primeira vez (diferente) | 2026-10-15 | 2026-10-18 |
| Endpoint na última verificação (diferente) | sem endpoint remoto que verificamos | ainda não verificado |
As linhas em que os dois diferem têm fundo destacado e valores em negrito. Onde os próprios dados dizem qual valor é melhor (mais marketplaces, um número maior do mesmo marketplace, um release mais recente, uma marca verified em um marketplace que lista os dois), o melhor também é marcado em verde com ▲ e o pior em vermelho com ▼. Onde roda, o transporte, as ferramentas, as configurações, os hooks, as partes do pacote, a licença e as mudanças da semana são marcados apenas como diferentes: mais ou menos não é melhor por si só.
O que cada um diz que faz
promptfoo-evaluation
Configures and runs LLM evaluation using Promptfoo framework. Use when setting up prompt testing, creating evaluation configs (promptfooconfig.yaml), writing Python custom assertions, implementing llm-rubric for LLM-as-judge, or managing few-shot examples in prompts. Triggers on keywords like promptfoo, eval, LLM evaluation, prompt testing, or model comparison
OpenMark
Benchmark your own prompt on 100+ LLMs with real API calls; pick the cheapest model that passes.
Como executar cada um
promptfoo-evaluation Como plugin do Claude Code
/plugin marketplace add daymade/claude-code-skills
/plugin install promptfoo-evaluation@daymade-skillsOpenMark Como servidor MCP remoto
claude mcp add --transport http openmark https://openmark.ai/mcp --header "Authorization: Bearer <YOUR_TOKEN>"Exige: cabeçalho Authorization
Comandos construídos apenas com o que os marketplaces declaram; o conjunto completo para cada cliente está no cartão de cada um.
Ferramentas que cada um declara
Os marketplaces de nenhum dos dois publicam uma lista de ferramentas, então não há o que comparar.
Configurações que cada um pede
Os marketplaces de nenhum dos dois publicam as configurações que ele pede.
O que pode fazer: promptfoo-evaluation · O que pode fazer: OpenMark · Comparar outros dois plugins
Dados de Community GitHub marketplaces. Dados de Official MCP Registry. Os números vêm das nossas próprias passagens regulares pelos marketplaces, última leitura em . Não publicamos dados de contato dos editores de plugins.