EvalForge Lite
Compare text LLMs across OpenRouter, Bedrock, Vertex AI and Foundry with automated grading.
MCP-сервер · от thejaredchapman
Коротко
EvalForge Lite: MCP-сервер, издатель thejaredchapman. Витрин, которые мы читаем и где он опубликован: 1 (Official MCP Registry). Мы впервые увидели его 2026-10-11 и с тех пор изменений не фиксировали. Данные нашего прохода по витринам на 2026-10-13.
Что просит
- Работает на вашем компьютере
- Секретов: 1
- Настроек: 1
Требует: OPENROUTER_API_KEY (секрет)
Что объявляет, просит и запускает, полностью
Устанавливайте плагины только от разработчиков, которым доверяете. Мы показываем то, что публикуют витрины, и не проверяем плагины.
Пакет
PyPI evalforge-lite (evalforge-lite на PyPI)
- Загрузки PyPI за неделю: 30 (2026-10-13)
- Загрузки PyPI за месяц: 244 (2026-10-13)
- Последняя версия на PyPI: 1.0.1, опубликована 2026-10-01
В OSV нет известных уязвимостей для 1.0.1 (проверено 2026-10-13)
Данные PyPI взяты с pypi.org, загрузки PyPI с pypistats.org. Каждое число принадлежит своему реестру и никогда не складывается с другим. Реестр, который не публикует число, ничего не показывает: нет числа не значит ноль. Записи об уязвимостях взяты из OSV.dev (CC BY 4.0) и относятся только к объявленной версии; листинг без объявленной версии ответа не получает. Код мы не сканируем.
Работает с
- Claude Code
- Codex
- Cursor
- VS Code
- Copilot CLI
По маркетплейсам, где он опубликован, и объявленному транспорту MCP, как их документирует каждый клиент. Плагины мы не тестируем.
Подключить
Команды и конфигурации собраны только из того, что объявляют витрины. Мы не запускаем их за вас и не проверяем плагины.
Как локальный MCP-сервер: пакет PyPI
Собрано из того, что объявляет Official MCP Registry.
claude mcp add --env "OPENROUTER_API_KEY=<YOUR_OPENROUTER_API_KEY>" --transport stdio evalforge-lite -- uvx evalforge-lite[mcp_servers.evalforge-lite]
command = "uvx"
args = ["evalforge-lite"]
[mcp_servers.evalforge-lite.env]
OPENROUTER_API_KEY = "<YOUR_OPENROUTER_API_KEY>"{
"mcpServers": {
"evalforge-lite": {
"command": "uvx",
"args": [
"evalforge-lite"
],
"env": {
"OPENROUTER_API_KEY": "<YOUR_OPENROUTER_API_KEY>"
}
}
}
}Замените значения в угловых скобках своими. Мы показываем имена настроек, но не значения.
Где опубликован
| Витрина | Статус | Версия | Числа | Проверен | Впервые замечен |
|---|---|---|---|---|---|
| Official MCP Registry (Открыть запись реестра) | Опубликован | 1.0.1 | Загрузки за месяц (PyPI): 244 Загрузки за неделю (PyPI): 30 Форки (GitHub): 0 Звёзды (GitHub): 0 |
Не помечен |
Каждое число принадлежит своей витрине и никогда не складывается с числами других витрин. Если витрина число не публикует, мы его не показываем: нет числа не значит ноль.
Что менялось
С тех пор как мы следим за плагином, ничего не менялось.
Похожие плагины
Продукты, чьи собственные названия, описания, инструменты и скиллы ближе всего по смыслу к этому, на всех витринах, которые мы читаем. Близость упорядочена только внутри этого списка.
-
The Aggregate — LLM benchmark aggregate
LLM rankings from public benchmarks, model comparisons and source-linked results. Updated daily.
-
Test and compare prompts across any AI provider. Bring your own keys.
-
llm-advisor io.github.Daichi-Kudo/llm-advisor
Real-time LLM/VLM benchmarks, pricing, and recommendations. 300+ models, 5 sources.
-
Compare LLM API prices, search models and providers, and access reviewed benchmark results.
-
Access 100+ LLMs with one API: GPT-4, Claude, Gemini, Mistral, and more.
-
Intelligent LLM routing proxy — 60-90% cost savings by auto-selecting the cheapest model
-
Browse 160+ LLM models and live pricing — no API key needed for catalog. Add key to route chat.
-
Ping 134+ free coding LLMs across 17 providers, rank by latency, pick the fastest.
-
llmtest-mcp io.github.tjacquesson/llmtest-mcp
Benchmark AI models on real prompts. Find cheaper, faster alternatives across 340+ models.
-
AI model routing on your own vendor keys: pick the best model per prompt, or route and run it.
Похожие плагины по витринам
Тот же вопрос к каждой витрине по отдельности: есть ли там аналог этого плагина?
Есть на витрине Claude Code: claude-plugins-community (5)
-
Claude model selection advisor — recommends optimal model for each task via shell hook. Zero attack surface.
-
Break through difficult problems by gathering diverse AI perspectives in parallel. Consensus queries multiple AI providers concurrently — GPT-5.2, Gemini 3.1 Pro, and DeepSeek…
-
Multi-LLM orchestration MCP server. Delegate tasks to Claude Code, Codex, and Gemini CLIs with session management, retry logic, async job orchestration, and token optimization.
-
Synthetic monitoring for LLM inference endpoints. Probe TTFT, latency, throughput, and errors across OpenAI, Anthropic, Google, Azure, Bedrock, and any OpenAI-compatible server.
-
together-ai-skills
A collection of skills that teach coding agents how to use the Together AI platform, including chat completions, image generation, video, audio, embeddings, fine-tuning, batch…
Есть на витрине Claude Code: claude-plugins-official (5)
-
Skills for adding DeepEval evaluations, tracing, datasets, Confident AI reports, and iterative improvement loops to AI applications.
-
Skills for working with Langfuse, the open-source LLM engineering platform for tracing, prompt management, and evaluation.
-
Agent Skills for Together AI platform — inference, training, embeddings, audio, video, images, function calling, and infrastructure. Covers serverless chat completions…
-
Build, train, evaluate, and use open source AI models, datasets, and spaces.
-
Build, train, and deploy AI models with deep AWS AI/ML expertise brought directly into your coding assistants, covering the surface area of Amazon SageMaker AI.
Есть на витрине Claude: knowledge-work-plugins (5)
-
Skills for working with Langfuse, the open-source LLM engineering platform for tracing, prompt management, and evaluation.
-
DataRobot skills for AI/ML workflows — model training, deployment, predictions, feature engineering, monitoring, explainability, data preparation, App Framework CI/CD, and…
-
Build multimodal AI applications with Pixeltable -- tables, computed columns, embedding search, UDFs, tool-calling agents, and 25+ AI provider integrations.
-
AI-first project auditor and re-engineer based on the 9 design principles and 7 design patterns from the TechWolf AI-First Bootcamp
-
Agent skills for Qdrant vector search covering scaling, performance optimization, search quality, monitoring, deployment, model migration, version upgrades, and SDK usage across…
Есть на витрине Codex: openai-curated (openai/plugins) (5)
-
Build with OpenAI APIs, Agents SDK, and ChatGPT Apps, and create and save OpenAI API keys from Codex.
-
Evaluate Codex skills and plugins from chat with a beginner-friendly start command, local-first reports, token budget explanations, and guided benchmarking.
-
Skills for NVIDIAs ecosystem spans GPU acceleration, CUDA, AI agents, inference, robotics, Physical AI, Omniverse, and simulation. This plugin helps you understand the pieces…
-
CrowdStrike Falcon Foundry development skills for building cybersecurity applications on the Falcon platform. Includes UI development, collections, functions, workflows, API…
-
Answer product and business questions with data
Есть на витрине Community GitHub marketplaces (5)
-
Multi-model LLM Council and parallel AI window for Claude Code. Fork any model, fold results back.
-
Skills for adding DeepEval evaluations, tracing, datasets, Confident AI reports, and iterative improvement loops to AI applications.
-
Connect Codex to a self-hosted AI gateway with provider-free prompt enhancement and fifteen governed MCP tools.
-
Accurate API model IDs, pricing, and specs for 46 models across 7 AI providers.
-
agentcents io.github.labham-llc/agentcents
Local LLM cost proxy: forecasts each call and recommends the cheapest model that clears the task.
Есть на витрине Copilot CLI: github/awesome-copilot (5)
-
Run a lightweight, role-separated AI development team with flexible tools, developer-selected models, proportionate planning, and optional QA.
-
Three-layer verification pipeline for AI output. Extracts claims, finds sources, and flags hallucination risks so humans can verify before acting.
-
Task Researcher and Task Planner for intermediate to expert users and large codebases - Brought to you by microsoft/edge-ai
-
Arize AX platform skills for LLM observability, evaluation, and optimization. Includes trace export, instrumentation, datasets, experiments, evaluators, AI provider integrations…
-
See your local Copilot token usage by day, model, and session, and get tips to use it more efficiently.
Есть на витрине Copilot CLI: github/copilot-plugins (5)
-
Toolkit for building Microsoft 365 Copilot declarative agents — scaffolding, JSON manifest development, and capability configuration.
-
model-apps
Build and deploy Power Apps generative pages for model-driven apps with specialist agents for planning, entity creation, and parallel code generation. Requires PAC CLI >= 2.7.0…
-
workiq
Query Microsoft 365 data with natural language — emails, meetings, documents, Teams messages, and more.
-
Advanced Security plugin for GitHub Copilot.
-
Bring Azure DevOps work-item, repository, and pull-request workflows into GitHub Copilot.
Есть на витрине Cursor: cursor/plugins (5)
-
Iterative self-referential AI loops using the Ralph Wiggum technique.
-
Incremental transcript-driven memory updates for AGENTS.md using high-signal bullet points only.
-
Consult a stronger model before major decisions, when stuck, and before declaring done.
-
Add Grok voice to an app: realtime speech-to-speech, speech-to-text dictation, text-to-speech read-aloud, and a log-driven fix loop for voice sessions.
-
Fan large tasks out across parallel cloud agents with planners, workers, verifiers, and structured handoffs.
Есть на витрине Docker MCP Catalog (5)
-
Read and score Opik traces, experiments, datasets and prompts from your AI assistant.
-
Provides tools to search and retrieve Google Gemini API documentation.
-
Discovers and retrieves llms.txt from websites.
-
Bridges multiple AI models and CLIs, enabling orchestrated workflows across Claude Code, Gemini CLI, Codex CLI, and other AI development tools.
-
Tools for interacting with Hugging Face models, datasets, research papers, and more.
Есть на витрине Official MCP Registry (5)
-
The Aggregate — LLM benchmark aggregate
LLM rankings from public benchmarks, model comparisons and source-linked results. Updated daily.
-
Test and compare prompts across any AI provider. Bring your own keys.
-
llm-advisor io.github.Daichi-Kudo/llm-advisor
Real-time LLM/VLM benchmarks, pricing, and recommendations. 300+ models, 5 sources.
-
Compare LLM API prices, search models and providers, and access reviewed benchmark results.
-
Access 100+ LLMs with one API: GPT-4, Claude, Gemini, Mistral, and more.
Найдено по смыслу, а не по общему коду или репозиторию: похожие плагины остаются разными продуктами, и это не обзор и не рекомендация.
Это ваш плагин?
Добавьте плагин в свои проекты и докажите, что поддерживаете его: файлом в репозитории, файлом на вашем домене или DNS-записью. Вы будете получать уведомления, когда витрина добавит плагин, снимет его, изменит отметку verified или список того, что он просит, а его удалённый endpoint встанет на мониторинг как веб-сервис.
Данные витрины Official MCP Registry. Числа взяты из наших регулярных обходов витрин, последняя проверка . Контакты издателей плагинов мы не публикуем.