promptfoo-evaluation
Configures and runs LLM evaluation using Promptfoo framework. Use when setting up prompt testing, creating evaluation configs (promptfooconfig.yaml), writing Python custom…
Пакет плагинов · от daymade
Коротко
promptfoo-evaluation: пакет плагинов для ИИ-инструментов разработки, издатель daymade. Витрин, которые мы читаем и где он опубликован: 1 (Community GitHub marketplaces). Мы впервые увидели его 2026-10-15 и с тех пор изменений не фиксировали. Данные нашего прохода по витринам на 2026-10-16.
Configures and runs LLM evaluation using Promptfoo framework. Use when setting up prompt testing, creating evaluation configs (promptfooconfig.yaml), writing Python custom assertions, implementing llm-rubric for LLM-as-judge, or managing few-shot examples in prompts. Triggers on keywords like promptfoo, eval, LLM evaluation, prompt testing, or model comparison
Что просит
- Ставится как пакет плагинов
Ни одна из витрин, которые мы читаем, не публикует его инструменты или настройки, которые он просит.
Что объявляет, просит и запускает, полностью
Устанавливайте плагины только от разработчиков, которым доверяете. Мы показываем то, что публикуют витрины, и не проверяем плагины.
Работает с
- Claude Code
По маркетплейсам, где он опубликован, и объявленному транспорту MCP, как их документирует каждый клиент. Плагины мы не тестируем.
Подключить
Команды и конфигурации собраны только из того, что объявляют витрины. Мы не запускаем их за вас и не проверяем плагины.
Как плагин Claude Code
Собрано из того, что объявляет Community GitHub marketplaces.
/plugin marketplace add daymade/claude-code-skills
/plugin install promptfoo-evaluation@daymade-skillsГде опубликован
| Витрина | Статус | Версия | Числа | Проверен | Впервые замечен |
|---|---|---|---|---|---|
| Маркетплейс сообщества daymade/claude-code-skills (Открыть исходники на GitHub) | Опубликован | 1.1.0 | Число не опубликовано | Не помечен |
Каждое число принадлежит своей витрине и никогда не складывается с числами других витрин. Если витрина число не публикует, мы его не показываем: нет числа не значит ноль.
Есть в одном маркетплейсе сообщества
| Витрина | Репозиторий | Звёзды (GitHub) |
|---|---|---|
| daymade-skills | daymade/claude-code-skills | 1 463 |
Что менялось
- Стал продуктом, за которым мы следим
- Community GitHub marketplaces: появился
Похожие плагины
Продукты, чьи собственные названия, описания, инструменты и скиллы ближе всего по смыслу к этому, на всех витринах, которые мы читаем. Близость упорядочена только внутри этого списка.
-
Decide, design, gate, judge, and defend evaluations for LLM, agent, and retrieval systems. Not ordinary unit tests.
-
Generate LLM evaluation and benchmarking
-
Teaches AI coding agents to create and maintain promptfoo eval suites. Encodes best practices like deterministic assertions first, file-based test organization, correct…
-
Skills for adding DeepEval evaluations, tracing, datasets, Confident AI reports, and iterative improvement loops to AI applications.
-
IA-QA — 130+ QA & Dev Tools for AI Agents
130+ QA & dev tools for AI agents: prompt injection, RAG testing, VLM eval, guardrails. Free.
-
Scaffolding, running, documenting, and publishing AI evaluations. Ships skills and commands for setting up eval workspaces, creating custom evals (or adapting existing…
-
evalview-mcp io.github.hidai25/evalview-mcp
Regression testing for AI agents. Golden baselines, CI/CD, LangGraph, CrewAI, OpenAI, Claude.
-
Skills that take a coding agent from your first trace to evals you can trust: error analysis, datasets, validated graders, eval runs, and production monitoring.
-
Compare prompt variants and models from Claude Code. Runs an eval matrix, scores it, and gates on regressions against a pinned baseline.
-
AI agent evaluation sandbox for Claude Code. Holdout scenario testing with Doer/Judge/Adversary/Observer roles, probabilistic satisfaction scoring, and append-only JSONL audit…
Похожие плагины по витринам
Тот же вопрос к каждой витрине по отдельности: есть ли там аналог этого плагина?
Есть на витрине Claude Code: claude-plugins-community (5)
-
Teaches AI coding agents to create and maintain promptfoo eval suites. Encodes best practices like deterministic assertions first, file-based test organization, correct…
-
evalview-mcp io.github.hidai25/evalview-mcp
Regression testing for AI agents. Golden baselines, CI/CD, LangGraph, CrewAI, OpenAI, Claude.
-
AI agent evaluation sandbox for Claude Code. Holdout scenario testing with Doer/Judge/Adversary/Observer roles, probabilistic satisfaction scoring, and append-only JSONL audit…
-
Skills for working with Langfuse, the open-source LLM engineering platform for tracing, prompt management, and evaluation.
-
Skills to streamline adoption and usage of Giskard products (OSS, Hub, Guards) for testing, evaluating, and red-teaming AI agents.
Есть на витрине Claude Code: claude-plugins-official (5)
-
Skills for adding DeepEval evaluations, tracing, datasets, Confident AI reports, and iterative improvement loops to AI applications.
-
Skills for working with Langfuse, the open-source LLM engineering platform for tracing, prompt management, and evaluation.
-
Output.ai workflow development toolkit for Claude Code. Adds 5 specialist agents (planner, builder, debugger, prompt writer, quality reviewer), 40+ slash-command skills covering…
-
Skills for tracing, evaluating, and improving AI agents with MLflow. Supports the full agent improvement loop: instrument → trace → evaluate → iterate → validate.
-
Build, train, evaluate, and use open source AI models, datasets, and spaces.
Есть на витрине Claude: knowledge-work-plugins (5)
-
Skills for working with Langfuse, the open-source LLM engineering platform for tracing, prompt management, and evaluation.
-
DataRobot skills for AI/ML workflows — model training, deployment, predictions, feature engineering, monitoring, explainability, data preparation, App Framework CI/CD, and…
-
AI-first project auditor and re-engineer based on the 9 design principles and 7 design patterns from the TechWolf AI-First Bootcamp
-
A suite of agent skills for the full GrowthBook feature flag and experimentation lifecycle.
-
Build multimodal AI applications with Pixeltable -- tables, computed columns, embedding search, UDFs, tool-calling agents, and 25+ AI provider integrations.
Есть на витрине Codex: openai-curated (openai/plugins) (5)
-
Evaluate Codex skills and plugins from chat with a beginner-friendly start command, local-first reports, token budget explanations, and guided benchmarking.
-
Build with OpenAI APIs, Agents SDK, and ChatGPT Apps, and create and save OpenAI API keys from Codex.
-
Skills for NVIDIAs ecosystem spans GPU acceleration, CUDA, AI agents, inference, robotics, Physical AI, Omniverse, and simulation. This plugin helps you understand the pieces…
-
AI-powered code review in Codex, powered by CodeRabbit.
-
CrowdStrike Falcon Foundry development skills for building cybersecurity applications on the Falcon platform. Includes UI development, collections, functions, workflows, API…
Есть на витрине Community GitHub marketplaces (5)
-
Decide, design, gate, judge, and defend evaluations for LLM, agent, and retrieval systems. Not ordinary unit tests.
-
Generate LLM evaluation and benchmarking
-
Skills for adding DeepEval evaluations, tracing, datasets, Confident AI reports, and iterative improvement loops to AI applications.
-
Scaffolding, running, documenting, and publishing AI evaluations. Ships skills and commands for setting up eval workspaces, creating custom evals (or adapting existing…
-
Skills that take a coding agent from your first trace to evals you can trust: error analysis, datasets, validated graders, eval runs, and production monitoring.
Есть на витрине Copilot CLI: github/awesome-copilot (5)
-
Run a lightweight, role-separated AI development team with flexible tools, developer-selected models, proportionate planning, and optional QA.
-
A runtime-portable 5-agent quality gate that adjudicates text artifacts before they ship. Five role-conditioned LLM deliberators run a 2-round async protocol with cross-read…
-
Three-layer verification pipeline for AI output. Extracts claims, finds sources, and flags hallucination risks so humans can verify before acting.
-
Task Researcher and Task Planner for intermediate to expert users and large codebases - Brought to you by microsoft/edge-ai
-
Plain-English translation layer for non-technical Copilot CLI users. Translates every approval prompt, error message, and technical output into clear, jargon-free English with…
Есть на витрине Copilot CLI: github/copilot-plugins (5)
-
Toolkit for building Microsoft 365 Copilot declarative agents — scaffolding, JSON manifest development, and capability configuration.
-
Advanced Security plugin for GitHub Copilot.
-
model-apps
Build and deploy Power Apps generative pages for model-driven apps with specialist agents for planning, entity creation, and parallel code generation. Requires PAC CLI >= 2.7.0…
-
Bring Azure DevOps work-item, repository, and pull-request workflows into GitHub Copilot.
-
Build and manage Microsoft Dataverse solutions using natural language. Includes table/column creation, solution lifecycle, data operations, and MCP server configuration.
Есть на витрине Cursor: cursor/plugins (5)
-
Iterative self-referential AI loops using the Ralph Wiggum technique.
-
Consult a stronger model before major decisions, when stuck, and before declaring done.
-
Build apps, scripts, and automations with the TypeScript SDK.
-
playwright-mcp io.github.microsoft/playwright-mcp
Playwright Tools for MCP
-
CLI-backed repo compatibility scans plus agents that audit startup, validation, and docs against reality.
Есть на витрине Docker MCP Catalog (5)
-
Read and score Opik traces, experiments, datasets and prompts from your AI assistant.
-
Bridges multiple AI models and CLIs, enabling orchestrated workflows across Claude Code, Gemini CLI, Codex CLI, and other AI development tools.
-
Tools for interacting with Hugging Face models, datasets, research papers, and more.
-
testkube-mcp io.github.kubeshop/testkube-mcp
MCP server for Testkube - Manage test workflows, executions, and artifacts via AI assistants
-
Discovers and retrieves llms.txt from websites.
Есть на витрине Official MCP Registry (5)
-
IA-QA — 130+ QA & Dev Tools for AI Agents
130+ QA & dev tools for AI agents: prompt injection, RAG testing, VLM eval, guardrails. Free.
-
evalview-mcp io.github.hidai25/evalview-mcp
Regression testing for AI agents. Golden baselines, CI/CD, LangGraph, CrewAI, OpenAI, Claude.
-
Compare text LLMs across OpenRouter, Bedrock, Vertex AI and Foundry with automated grading.
-
Pay-per-call AI evaluation MCP server. Score LLM outputs against benchmark rubrics via Workers AI.
-
Run local prompt regression checks from prompt-response logs in AI coding assistants.
Найдено по смыслу, а не по общему коду или репозиторию: похожие плагины остаются разными продуктами, и это не обзор и не рекомендация.
Хотите такой знак у своего плагина в нашем каталоге?
Докажите, что поддерживаете его, файлом в репозитории, файлом на вашем домене или DNS-записью, и сможете показать этот знак на карточке, а ещё живые баннеры для сайта и README. Как проходит подтверждение
Ещё вы будете получать уведомления, когда витрина добавит плагин, снимет его, изменит отметку verified или список того, что он просит, а его удалённый endpoint встанет на мониторинг как веб-сервис.
Данные витрины Community GitHub marketplaces. Числа взяты из наших регулярных обходов витрин, последняя проверка . Контакты издателей плагинов мы не публикуем.