AI Eval
Evaluate AI models for a real job, starting from start-eval: define the objective and workload, draw candidates from the live OpenRouter catalogue, and run wide and shallow (many…
Пакет плагинов · от danielrosehill
Коротко
AI Eval: пакет плагинов для ИИ-инструментов разработки, издатель danielrosehill. Витрин, которые мы читаем и где он опубликован: 1 (Community GitHub marketplaces). Мы впервые увидели его 2026-11-04 и с тех пор изменений не фиксировали. Данные нашего прохода по витринам на 2026-11-06.
Evaluate AI models for a real job, starting from start-eval: define the objective and workload, draw candidates from the live OpenRouter catalogue, and run wide and shallow (many models, about two outputs each). Covers in-repo and agent-run eval spaces, framework CLIs, image, RAG, agent, speech and regression evals, private annotation and human feedback Spaces, and findings through to articles.
Что просит
- Ставится как пакет плагинов
Ни одна из витрин, которые мы читаем, не публикует его инструменты или настройки, которые он просит.
Что объявляет, просит и запускает, полностью
Устанавливайте плагины только от разработчиков, которым доверяете. Мы показываем то, что публикуют витрины, и не проверяем плагины.
Работает с
- Claude Code
По маркетплейсам, где он опубликован, и объявленному транспорту MCP, как их документирует каждый клиент. Плагины мы не тестируем.
Подключить
Команды и конфигурации собраны только из того, что объявляют витрины. Мы не запускаем их за вас и не проверяем плагины.
Как плагин Claude Code
Собрано из того, что объявляет Community GitHub marketplaces.
/plugin marketplace add danielrosehill/claude-code-plugins
/plugin install ai-eval@danielrosehillГде опубликован
| Витрина | Статус | Версия | Числа | Проверен | Впервые замечен |
|---|---|---|---|---|---|
| Маркетплейс сообщества danielrosehill/claude-code-plugins (Открыть исходники на GitHub) | Опубликован | 0.8.0 | Форки (GitHub): 0 Звёзды (GitHub): 4 |
Не помечен |
Каждое число принадлежит своей витрине и никогда не складывается с числами других витрин. Если витрина число не публикует, мы его не показываем: нет числа не значит ноль.
Есть в одном маркетплейсе сообщества
| Витрина | Репозиторий | Звёзды (GitHub) |
|---|---|---|
| danielrosehill | danielrosehill/claude-code-plugins | 31 |
Что входит в пакет
Так опубликовано на витрине Community GitHub marketplaces.
Скиллы: 34
add-promptsagent-evalanalyse-findingscreate-evaldefine-objectivedefine-workload-requirementsdeploy-arenadraft-articledraft-test-promptsfull-rungo-publicimage-gen-eval
Показать остальные 22
informal-image-evalinstall-eval-clinew-workspacepackage-resultsprobe-openrouterpublish-datasetpublish-evalpublish-runrag-evalregister-evalregression-evalrun-evalrun-framework-evalsetup-agent-eval-spacesetup-annotation-spacesetup-evalsetup-framework-evalsetup-human-feedback-spacesetup-repo-eval-spaceshortlist-candidatesspeech-evalstart-eval
Команды: 7
create-evaldocument-evalnew-workspacepublish-datasetpublish-evalrun-framework-evalsetup-framework-eval
Агенты: 1
eval-engineer
Что менялось
- Стал продуктом, за которым мы следим
- Community GitHub marketplaces: появился
Похожие плагины
Продукты, чьи собственные названия, описания, инструменты и скиллы ближе всего по смыслу к этому, на всех витринах, которые мы читаем. Близость упорядочена только внутри этого списка.
-
Skills for adding DeepEval evaluations, tracing, datasets, Confident AI reports, and iterative improvement loops to AI applications.
-
Create fine-tuned LLM-as-a-judge evaluators on the Plurai platform
-
Independent auditing for AI agents, open source. Claude discovers your setup, confirms the cost, and audits your agent against the one question other tools skip: is it doing the…
-
Set up evaluation of an OpenAI Java SDK tool-calling agent using Dokimos
-
Set up evaluation of AI agents with tool call validation, correctness checks, and task completion using Dokimos
-
Compare text LLMs across OpenRouter, Bedrock, Vertex AI and Foundry with automated grading.
-
Configures and runs LLM evaluation using Promptfoo framework. Use when setting up prompt testing, creating evaluation configs (promptfooconfig.yaml), writing Python custom…
-
ai
AI & LLM — Prompting, retrieval, evaluation, agents, and the production concerns of shipping a model.
Похожие плагины по витринам
Тот же вопрос к каждой витрине по отдельности: есть ли там аналог этого плагина?
Есть на витрине Claude Code: claude-plugins-community (5)
-
AI agent evaluation sandbox for Claude Code. Holdout scenario testing with Doer/Judge/Adversary/Observer roles, probabilistic satisfaction scoring, and append-only JSONL audit…
-
Claude model selection advisor — recommends optimal model for each task via shell hook. Zero attack surface.
-
evalview-mcp io.github.hidai25/evalview-mcp
Regression testing for AI agents. Golden baselines, CI/CD, LangGraph, CrewAI, OpenAI, Claude.
-
Context engineering plugin for Claude Code — real-time prompt scoring, RLM adaptive weights, and token optimization. Scores every tool use across 5 dimensions (token utilization…
-
20 enterprise-grade skills for autonomous AI/ML research lab operations. Includes 10 custom gap-analysis skills (research-commander, agent-debugger, model-evaluator…
Есть на витрине Claude Code: claude-plugins-official (5)
-
Skills for adding DeepEval evaluations, tracing, datasets, Confident AI reports, and iterative improvement loops to AI applications.
-
DataRobot skills for AI/ML workflows — model training, deployment, predictions, feature engineering, monitoring, explainability, data preparation, App Framework CI/CD, and…
-
Build, train, and deploy AI models with deep AWS AI/ML expertise brought directly into your coding assistants, covering the surface area of Amazon SageMaker AI.
-
Output.ai workflow development toolkit for Claude Code. Adds 5 specialist agents (planner, builder, debugger, prompt writer, quality reviewer), 40+ slash-command skills covering…
-
Skills for tracing, evaluating, and improving AI agents with MLflow. Supports the full agent improvement loop: instrument → trace → evaluate → iterate → validate.
Есть на витрине Claude: knowledge-work-plugins (5)
-
DataRobot skills for AI/ML workflows — model training, deployment, predictions, feature engineering, monitoring, explainability, data preparation, App Framework CI/CD, and…
-
AI-first project auditor and re-engineer based on the 9 design principles and 7 design patterns from the TechWolf AI-First Bootcamp
-
Skills for working with Langfuse, the open-source LLM engineering platform for tracing, prompt management, and evaluation.
-
Build multimodal AI applications with Pixeltable -- tables, computed columns, embedding search, UDFs, tool-calling agents, and 25+ AI provider integrations.
-
Connects Claude Code to the Synthflow AI voice-agent platform through its hosted MCP server, with skills for reviewing calls and auditing agent prompts, plus a docs-search…
Есть на витрине Codex: openai-curated (openai/plugins) (5)
-
Evaluate Codex skills and plugins from chat with a beginner-friendly start command, local-first reports, token budget explanations, and guided benchmarking.
-
Build with OpenAI APIs, Agents SDK, and ChatGPT Apps, and create and save OpenAI API keys from Codex.
-
Skills for NVIDIAs ecosystem spans GPU acceleration, CUDA, AI agents, inference, robotics, Physical AI, Omniverse, and simulation. This plugin helps you understand the pieces…
-
Answer product and business questions with data
-
An agentic skills framework & software development methodology that works: planning, TDD, debugging, and collaboration workflows.
Есть на витрине Community GitHub marketplaces (4)
-
Skills for adding DeepEval evaluations, tracing, datasets, Confident AI reports, and iterative improvement loops to AI applications.
-
Create fine-tuned LLM-as-a-judge evaluators on the Plurai platform
-
Independent auditing for AI agents, open source. Claude discovers your setup, confirms the cost, and audits your agent against the one question other tools skip: is it doing the…
-
Set up evaluation of an OpenAI Java SDK tool-calling agent using Dokimos
Есть на витрине Copilot CLI: github/awesome-copilot (5)
-
Run a lightweight, role-separated AI development team with flexible tools, developer-selected models, proportionate planning, and optional QA.
-
Multi-model council for Copilot CLI: three subagents on different model families (Anthropic, OpenAI, Google) answer independently, then build on each other or attack the leading…
-
Task Researcher and Task Planner for intermediate to expert users and large codebases - Brought to you by microsoft/edge-ai
-
Three-layer verification pipeline for AI output. Extracts claims, finds sources, and flags hallucination risks so humans can verify before acting.
-
crowdstrike-charlotte-ai-agentworks
CrowdStrike Charlotte AI AgentWorks skills for creating, managing, and invoking AI agents via external Falcon API Gateway endpoints. Includes agent lifecycle management…
Есть на витрине Copilot CLI: github/copilot-plugins (5)
-
Toolkit for building Microsoft 365 Copilot declarative agents — scaffolding, JSON manifest development, and capability configuration.
-
model-apps
Build and deploy Power Apps generative pages for model-driven apps with specialist agents for planning, entity creation, and parallel code generation. Requires PAC CLI >= 2.7.0…
-
workiq
Query Microsoft 365 data with natural language — emails, meetings, documents, Teams messages, and more.
-
workiq-productivity
WorkIQ productivity skills powered by the local WorkIQ CLI — read-only insights across email, meetings, calendar, Teams, SharePoint, projects, and people.
-
Build Power Apps Canvas Apps using the Canvas Authoring MCP server.
Есть на витрине Cursor: cursor/plugins (5)
-
Iterative self-referential AI loops using the Ralph Wiggum technique.
-
Consult a stronger model before major decisions, when stuck, and before declaring done.
-
Incremental transcript-driven memory updates for AGENTS.md using high-signal bullet points only.
-
Fan large tasks out across parallel cloud agents with planners, workers, verifiers, and structured handoffs.
-
Ask Databricks Genie questions about your workspace's data in plain language.
Есть на витрине Docker MCP Catalog (5)
-
Read and score Opik traces, experiments, datasets and prompts from your AI assistant.
-
Wayfound’s MCP server allows business users to govern, supervise, and improve AI Agents.
-
Bridges multiple AI models and CLIs, enabling orchestrated workflows across Claude Code, Gemini CLI, Codex CLI, and other AI development tools.
-
Tools for interacting with Hugging Face models, datasets, research papers, and more.
-
Analyze documents, images, videos, and audio.
Есть на витрине Official MCP Registry (4)
-
Compare text LLMs across OpenRouter, Bedrock, Vertex AI and Foundry with automated grading.
-
Evaluate, benchmark, and simulate AI agents on the VerifyAX agent-evaluation platform.
-
Pay-per-call AI evaluation MCP server. Score LLM outputs against benchmark rubrics via Workers AI.
-
Live prices, rankings, licences and privacy of AI models: best model per task, costs, alternatives.
Есть на витрине PyPI (MCP servers) (5)
-
Read and score Opik traces, experiments, datasets and prompts from your AI assistant.
-
Read, measure and explain LLM eval runs of a digline suite. Cannot promote a baseline.
-
air-blackbox-mcp io.github.airblackbox/air-blackbox-mcp
EU AI Act compliance scanner for Python AI agents. 14 tools across 6 articles.
-
offline-mcp io.github.gabrielmahia/offline-mcp
Local AI over Ollama for low connectivity: status, local inference, model and deployment guides.
-
local-delegate io.github.ZahiriNatZuke/local-delegate
Delegate mechanical text tasks to a local OpenAI-compatible LLM to save Claude quota.
Есть на витрине npm registry (MCP servers) (4)
-
Contextual prompts and agent skills for 140+ AI platforms.
-
Alibaba Cloud DashScope — Qwen
Alibaba Cloud DashScope MCP: Qwen chat, embeddings, and model discovery on your own account.
-
Intelligent CLI tool with AI-powered model selection that analyzes your hardware and recommends optimal LLM models for your system
-
rubber-duck io.github.nesquikm/rubber-duck
Bridge to multiple LLMs and CLI agents: councils, debates, voting, and more
Найдено по смыслу, а не по общему коду или репозиторию: похожие плагины остаются разными продуктами, и это не обзор и не рекомендация.
Хотите такой знак у своего плагина в нашем каталоге?
Докажите, что поддерживаете его, файлом в репозитории, файлом на вашем домене или DNS-записью, и сможете показать этот знак на карточке, а ещё живые баннеры для сайта и README. Как проходит подтверждение
Ещё вы будете получать уведомления, когда витрина добавит плагин, снимет его, изменит отметку verified или список того, что он просит, а его удалённый endpoint встанет на мониторинг как веб-сервис.
Данные витрины Community GitHub marketplaces. Числа взяты из наших регулярных обходов витрин, последняя проверка . Контакты издателей плагинов мы не публикуем.