IA-QA Eval & RAG — 38 tools
LLM & RAG evals: hallucination, eval contracts, semantic tests, tokens & model info. Free, no key.
MCP-сервер · от JcJamet
Коротко
IA-QA Eval & RAG — 38 tools: MCP-сервер, издатель JcJamet. Витрин, которые мы читаем и где он опубликован: 1 (Official MCP Registry). Последнее изменение мы зафиксировали 2026-10-26. Данные нашего прохода по витринам на 2026-10-29.
Что просит
- Работает удалённо
Ни одна из витрин, которые мы читаем, не публикует его инструменты или настройки, которые он просит.
Что объявляет, просит и запускает, полностью
Устанавливайте плагины только от разработчиков, которым доверяете. Мы показываем то, что публикуют витрины, и не проверяем плагины.
Работает с
- Claude Code
- Codex
- Cursor
- VS Code
- Copilot CLI
Ссылка в один клик открывает клиент, и он просит подтвердить, прежде чем добавить сервер.
По маркетплейсам, где он опубликован, и объявленному транспорту MCP, как их документирует каждый клиент. Плагины мы не тестируем.
Подключить
Команды и конфигурации собраны только из того, что объявляют витрины. Мы не запускаем их за вас и не проверяем плагины.
Как удалённый MCP-сервер
Собрано из того, что объявляет Official MCP Registry.
claude mcp add --transport http ia-qa-eval https://www.ia-qa.com/mcp/eval[mcp_servers.ia-qa-eval]
url = "https://www.ia-qa.com/mcp/eval"{
"mcpServers": {
"ia-qa-eval": {
"url": "https://www.ia-qa.com/mcp/eval"
}
}
}Где опубликован
| Витрина | Статус | Версия | Числа | Проверен | Впервые замечен |
|---|---|---|---|---|---|
| Official MCP Registry (Открыть запись реестра) | Опубликован | 1.0.1 | Форки (GitHub): 0 Звёзды (GitHub): 0 |
Не помечен |
Каждое число принадлежит своей витрине и никогда не складывается с числами других витрин. Если витрина число не публикует, мы его не показываем: нет числа не значит ноль.
Что менялось
- Official MCP Registry: выпущена версия 1.0.1 (была 1.0.0)
- Official MCP Registry: сменился репозиторий или пакет
- Стал продуктом, за которым мы следим
- Official MCP Registry: появился
Возможно, тот же плагин
Листинги, у которых есть общий признак с этим, но недостаточно, чтобы считать их одним продуктом.
Похожие плагины
Продукты, чьи собственные названия, описания, инструменты и скиллы ближе всего по смыслу к этому, на всех витринах, которые мы читаем. Близость упорядочена только внутри этого списка.
-
Decide, design, gate, judge, and defend evaluations for LLM, agent, and retrieval systems. Not ordinary unit tests.
-
Set up evaluation of LangChain4j applications and RAG pipelines using Dokimos
-
Skills for adding DeepEval evaluations, tracing, datasets, Confident AI reports, and iterative improvement loops to AI applications.
-
Generate QA datasets & evaluate RAG systems with failure diagnosis. Any LLM.
-
Pay-per-call AI evaluation MCP server. Score LLM outputs against benchmark rubrics via Workers AI.
-
Configures and runs LLM evaluation using Promptfoo framework. Use when setting up prompt testing, creating evaluation configs (promptfooconfig.yaml), writing Python custom…
-
IA-QA — 152 QA & Dev Tools for AI Agents
152 free QA tools for agents: injection scan, evals, RAG, web audits. Smaller packs: /mcp/{pack}.
-
LLM evaluation methodology and eval-suite design, based on Anthropic's evaluation guidance. /evals:methodology answers questions on success criteria, eval design, and grading…
-
Set up evaluation of an OpenAI Java SDK tool-calling agent using Dokimos
-
Agent skills for observing and evaluating LLM applications with LangSmith
Похожие плагины по витринам
Тот же вопрос к каждой витрине по отдельности: есть ли там аналог этого плагина?
Есть на витрине Claude Code: claude-plugins-community (5)
-
evalview-mcp io.github.hidai25/evalview-mcp
Regression testing for AI agents. Golden baselines, CI/CD, LangGraph, CrewAI, OpenAI, Claude.
-
AI agent evaluation sandbox for Claude Code. Holdout scenario testing with Doer/Judge/Adversary/Observer roles, probabilistic satisfaction scoring, and append-only JSONL audit…
-
Context engineering plugin for Claude Code — real-time prompt scoring, RLM adaptive weights, and token optimization. Scores every tool use across 5 dimensions (token utilization…
-
Break through difficult problems by gathering diverse AI perspectives in parallel. Consensus queries multiple AI providers concurrently — GPT-5.2, Gemini 3.1 Pro, and DeepSeek…
-
Skills for working with Langfuse, the open-source LLM engineering platform for tracing, prompt management, and evaluation.
Есть на витрине Claude Code: claude-plugins-official (5)
-
Skills for adding DeepEval evaluations, tracing, datasets, Confident AI reports, and iterative improvement loops to AI applications.
-
Skills for working with Langfuse, the open-source LLM engineering platform for tracing, prompt management, and evaluation.
-
OpenTelemetry observability for Claude Code sessions. Captures tool calls, LLM invocations, token usage, and errors as OTel traces. Send telemetry to Dash0 or any…
-
Output.ai workflow development toolkit for Claude Code. Adds 5 specialist agents (planner, builder, debugger, prompt writer, quality reviewer), 40+ slash-command skills covering…
-
Generate an explorable HTML report of Claude Code session usage — tokens, cache efficiency, subagents, skills, and the most expensive prompts — from local ~/.claude/projects…
Есть на витрине Claude: knowledge-work-plugins (5)
-
Skills for working with Langfuse, the open-source LLM engineering platform for tracing, prompt management, and evaluation.
-
DataRobot skills for AI/ML workflows — model training, deployment, predictions, feature engineering, monitoring, explainability, data preparation, App Framework CI/CD, and…
-
Atlan data catalog plugin for Claude Code. Search, explore, govern, and manage your data assets through natural language. Powered by the Atlan MCP server with semantic search…
-
AI-first project auditor and re-engineer based on the 9 design principles and 7 design patterns from the TechWolf AI-First Bootcamp
-
Build multimodal AI applications with Pixeltable -- tables, computed columns, embedding search, UDFs, tool-calling agents, and 25+ AI provider integrations.
Есть на витрине Codex: openai-curated (openai/plugins) (5)
-
Evaluate Codex skills and plugins from chat with a beginner-friendly start command, local-first reports, token budget explanations, and guided benchmarking.
-
Build with OpenAI APIs, Agents SDK, and ChatGPT Apps, and create and save OpenAI API keys from Codex.
-
Answer product and business questions with data
-
Skills for NVIDIAs ecosystem spans GPU acceleration, CUDA, AI agents, inference, robotics, Physical AI, Omniverse, and simulation. This plugin helps you understand the pieces…
-
AI-powered code review in Codex, powered by CodeRabbit.
Есть на витрине Community GitHub marketplaces (5)
-
Decide, design, gate, judge, and defend evaluations for LLM, agent, and retrieval systems. Not ordinary unit tests.
-
Set up evaluation of LangChain4j applications and RAG pipelines using Dokimos
-
Skills for adding DeepEval evaluations, tracing, datasets, Confident AI reports, and iterative improvement loops to AI applications.
-
Configures and runs LLM evaluation using Promptfoo framework. Use when setting up prompt testing, creating evaluation configs (promptfooconfig.yaml), writing Python custom…
-
LLM evaluation methodology and eval-suite design, based on Anthropic's evaluation guidance. /evals:methodology answers questions on success criteria, eval design, and grading…
Есть на витрине Copilot CLI: github/awesome-copilot (5)
-
Three-layer verification pipeline for AI output. Extracts claims, finds sources, and flags hallucination risks so humans can verify before acting.
-
Multi-model council for Copilot CLI: three subagents on different model families (Anthropic, OpenAI, Google) answer independently, then build on each other or attack the leading…
-
Run a lightweight, role-separated AI development team with flexible tools, developer-selected models, proportionate planning, and optional QA.
-
See your local Copilot token usage by day, model, and session, and get tips to use it more efficiently.
-
A runtime-portable 5-agent quality gate that adjudicates text artifacts before they ship. Five role-conditioned LLM deliberators run a 2-round async protocol with cross-read…
Есть на витрине Copilot CLI: github/copilot-plugins (5)
-
Toolkit for building Microsoft 365 Copilot declarative agents — scaffolding, JSON manifest development, and capability configuration.
-
workiq
Query Microsoft 365 data with natural language — emails, meetings, documents, Teams messages, and more.
-
Advanced Security plugin for GitHub Copilot.
-
workiq-productivity
WorkIQ productivity skills powered by the local WorkIQ CLI — read-only insights across email, meetings, calendar, Teams, SharePoint, projects, and people.
-
Bring Azure DevOps work-item, repository, and pull-request workflows into GitHub Copilot.
Есть на витрине Cursor: cursor/plugins (5)
-
Iterative self-referential AI loops using the Ralph Wiggum technique.
-
Ask Databricks Genie questions about your workspace's data in plain language.
-
Incremental transcript-driven memory updates for AGENTS.md using high-signal bullet points only.
-
Search company knowledge and draft verified answers.
-
Track AI visibility, sentiment, and citations.
Есть на витрине Docker MCP Catalog (5)
-
Read and score Opik traces, experiments, datasets and prompts from your AI assistant.
-
Production-ready RAG service to search and retrieve data from your documents.
-
Real-time web search, reasoning, and research through Perplexity's API
-
Provides tools to search and retrieve Google Gemini API documentation.
-
Wayfound’s MCP server allows business users to govern, supervise, and improve AI Agents.
Есть на витрине Official MCP Registry (5)
-
Generate QA datasets & evaluate RAG systems with failure diagnosis. Any LLM.
-
Pay-per-call AI evaluation MCP server. Score LLM outputs against benchmark rubrics via Workers AI.
-
IA-QA — 152 QA & Dev Tools for AI Agents
152 free QA tools for agents: injection scan, evals, RAG, web audits. Smaller packs: /mcp/{pack}.
-
Compare text LLMs across OpenRouter, Bedrock, Vertex AI and Foundry with automated grading.
-
ConvergeQA Compare (Due Diligence)
Compare one prompt across a multi-model panel side by side, with public verification receipts.
Есть на витрине PyPI (MCP servers) (5)
-
Read and score Opik traces, experiments, datasets and prompts from your AI assistant.
-
Read, measure and explain LLM eval runs of a digline suite. Cannot promote a baseline.
-
air-blackbox-mcp io.github.airblackbox/air-blackbox-mcp
EU AI Act compliance scanner for Python AI agents. 14 tools across 6 articles.
-
perplexity com.mcparmory/perplexity
Search the web, generate AI responses, and create embeddings with real-time information
-
Langfuse MCP server for accessing and analyzing telemetry data via natural language
Есть на витрине npm registry (MCP servers) (5)
-
rubber-duck io.github.nesquikm/rubber-duck
Bridge to multiple LLMs and CLI agents: councils, debates, voting, and more
-
Build AI-powered forms, scored assessments and professional reports on FormLM, by natural language.
-
140 deterministic tools for your AI: logs, tests, SQL, diagrams, SPARQL. Local, no network.
-
Evidence-backed crypto due diligence with sources, freshness, and a runtime receipt on every call.
-
Find test gaps, generate grounded tests, and dynamically prove behavior with mutation testing.
Найдено по смыслу, а не по общему коду или репозиторию: похожие плагины остаются разными продуктами, и это не обзор и не рекомендация.
Хотите такой знак у своего плагина в нашем каталоге?
Докажите, что поддерживаете его, файлом в репозитории, файлом на вашем домене или DNS-записью, и сможете показать этот знак на карточке, а ещё живые баннеры для сайта и README. Как проходит подтверждение
Ещё вы будете получать уведомления, когда витрина добавит плагин, снимет его, изменит отметку verified или список того, что он просит, а его удалённый endpoint встанет на мониторинг как веб-сервис.
Данные витрины Official MCP Registry. Числа взяты из наших регулярных обходов витрин, последняя проверка . Контакты издателей плагинов мы не публикуем.