llm-observability
26 ready-to-use skills for LLM observability, several shipping runnable unit-tested scripts (cost calculator, OTel span validator, PII scrubber, hallucination consistency check…
Пакет плагинов · от ContextJet.ai
Коротко
llm-observability: пакет плагинов для ИИ-инструментов разработки, издатель ContextJet.ai. Витрин, которые мы читаем и где он опубликован: 1 (Community GitHub marketplaces). Последнее изменение мы зафиксировали 2026-10-17. Данные нашего прохода по витринам на 2026-10-17.
26 ready-to-use skills for LLM observability, several shipping runnable unit-tested scripts (cost calculator, OTel span validator, PII scrubber, hallucination consistency check) plus workflows for instrumenting, evaluating, debugging, securing, and monitoring LLM apps.
Что просит
- Ставится как пакет плагинов
Ни одна из витрин, которые мы читаем, не публикует его инструменты или настройки, которые он просит.
Что объявляет, просит и запускает, полностью
Устанавливайте плагины только от разработчиков, которым доверяете. Мы показываем то, что публикуют витрины, и не проверяем плагины.
Работает с
- Claude Code
По маркетплейсам, где он опубликован, и объявленному транспорту MCP, как их документирует каждый клиент. Плагины мы не тестируем.
Подключить
Команды и конфигурации собраны только из того, что объявляют витрины. Мы не запускаем их за вас и не проверяем плагины.
Как плагин Claude Code
Собрано из того, что объявляет Community GitHub marketplaces.
/plugin marketplace add contextjet-ai/awesome-llm-observability
/plugin install llm-observability@contextjetГде опубликован
| Витрина | Статус | Версия | Числа | Проверен | Впервые замечен |
|---|---|---|---|---|---|
| Маркетплейс сообщества contextjet-ai/awesome-llm-observability (Открыть исходники на GitHub) | Опубликован | 1.1.0 | Форки (GitHub): 29 Звёзды (GitHub): 41 |
Не помечен |
Каждое число принадлежит своей витрине и никогда не складывается с числами других витрин. Если витрина число не публикует, мы его не показываем: нет числа не значит ноль.
Есть в одном маркетплейсе сообщества
| Витрина | Репозиторий | Звёзды (GitHub) |
|---|---|---|
| contextjet | contextjet-ai/awesome-llm-observability | 41 |
Что входит в пакет
Так опубликовано на витрине Community GitHub marketplaces.
Скиллы: 26
add-llm-evalsadd-llm-fallbacksadd-llm-guardrailsannotate-traces-for-reviewbuild-eval-datasetcheck-answer-consistencychoose-observability-stackcollect-user-feedbackcompare-llm-modelsdebug-agent-from-tracesdetect-hallucinationsestimate-llm-cost
Показать остальные 14
eval-driven-developmentinstrument-llm-observabilitymeasure-agent-task-successmonitor-rag-qualityoptimize-promptsred-team-llm-appredact-pii-for-tracingreduce-llm-costscrub-pii-from-textset-up-ab-testingset-up-drift-alertstrace-based-testingtrace-multi-agent-systemvalidate-genai-spans
Что менялось
- Community GitHub marketplaces: выпущена версия 1.1.0 (была 1.0.0)
- Стал продуктом, за которым мы следим
- Community GitHub marketplaces: появился
Похожие плагины
Продукты, чьи собственные названия, описания, инструменты и скиллы ближе всего по смыслу к этому, на всех витринах, которые мы читаем. Близость упорядочена только внутри этого списка.
-
llm-observability-orchestration-agent-langchain-community ai.getvda/llm-observability-orchestration-agent-langchain-community
LLM Observability & Orchestration Agent (LangChain Community)
-
llm-observability-orchestration-agent-langchain ai.getvda/llm-observability-orchestration-agent-langchain
LLM Observability & Orchestration Agent (Langchain)
-
Skills for instrumenting AI applications with the confident-trace SDK and exporting raw OpenTelemetry traces to Confident AI.
-
Integration playbook for the @darkhunt-security/telemetry SDK — wires LLM tracing, generations, and spans into a Node/TypeScript service. Auto-invokes when you ask Claude to add…
-
Skills for working with Langfuse, the open-source LLM engineering platform for tracing, prompt management, and evaluation.
-
noveum ai.noveum/noveum
Trace, evaluate, and optimize your LLM, RAG, and agent apps with Noveum observability.
-
Generate LLM evaluation and benchmarking
-
All the tooling you need to add observability to Claude Code and your agents
-
Integration playbook for the darkhunt-telemetry Python SDK — wires LLM tracing, generations, and spans into a Python service. Auto-invokes when you ask Claude to add Darkhunt…
-
LLM serving benchmarks, SGLang model Day-0 support, profiling, code review, prod incident triage, PR-history dossiers, and SGLang explainer videos.
Похожие плагины по витринам
Тот же вопрос к каждой витрине по отдельности: есть ли там аналог этого плагина?
Есть на витрине Claude Code: claude-plugins-community (5)
-
Skills for working with Langfuse, the open-source LLM engineering platform for tracing, prompt management, and evaluation.
-
Langfuse observability plugin for Claude Code — captures and exports traces, spans, and session telemetry from Claude Code to Langfuse for LLM monitoring, debugging, and evaluation
-
Skills to streamline adoption and usage of Giskard products (OSS, Hub, Guards) for testing, evaluating, and red-teaming AI agents.
-
20 enterprise-grade skills for autonomous AI/ML research lab operations. Includes 10 custom gap-analysis skills (research-commander, agent-debugger, model-evaluator…
-
Synthetic monitoring for LLM inference endpoints. Probe TTFT, latency, throughput, and errors across OpenAI, Anthropic, Google, Azure, Bedrock, and any OpenAI-compatible server.
Есть на витрине Claude Code: claude-plugins-official (5)
-
Skills for working with Langfuse, the open-source LLM engineering platform for tracing, prompt management, and evaluation.
-
Skills for adding DeepEval evaluations, tracing, datasets, Confident AI reports, and iterative improvement loops to AI applications.
-
Langfuse observability plugin for Claude Code — captures and exports traces, spans, and session telemetry from Claude Code to Langfuse for LLM monitoring, debugging, and evaluation
-
Skills for tracing, evaluating, and improving AI agents with MLflow. Supports the full agent improvement loop: instrument → trace → evaluate → iterate → validate.
-
DataRobot skills for AI/ML workflows — model training, deployment, predictions, feature engineering, monitoring, explainability, data preparation, App Framework CI/CD, and…
Есть на витрине Claude: knowledge-work-plugins (5)
-
Skills for working with Langfuse, the open-source LLM engineering platform for tracing, prompt management, and evaluation.
-
DataRobot skills for AI/ML workflows — model training, deployment, predictions, feature engineering, monitoring, explainability, data preparation, App Framework CI/CD, and…
-
Skills, agents, and workflows for Honeycomb observability — query patterns, production investigations, SLOs, OpenTelemetry instrumentation, and Beeline migration. Designed to…
-
AI-first project auditor and re-engineer based on the 9 design principles and 7 design patterns from the TechWolf AI-First Bootcamp
-
Build multimodal AI applications with Pixeltable -- tables, computed columns, embedding search, UDFs, tool-calling agents, and 25+ AI provider integrations.
Есть на витрине Codex: openai-curated (openai/plugins) (5)
-
Evaluate Codex skills and plugins from chat with a beginner-friendly start command, local-first reports, token budget explanations, and guided benchmarking.
-
Build with OpenAI APIs, Agents SDK, and ChatGPT Apps, and create and save OpenAI API keys from Codex.
-
Skills for NVIDIAs ecosystem spans GPU acceleration, CUDA, AI agents, inference, robotics, Physical AI, Omniverse, and simulation. This plugin helps you understand the pieces…
-
Available for US1 customers only. Analyze, investigate, and act on your Datadog telemetry directly from ChatGPT using natural language. Ask questions about your production…
-
CrowdStrike Falcon Foundry development skills for building cybersecurity applications on the Falcon platform. Includes UI development, collections, functions, workflows, API…
Есть на витрине Community GitHub marketplaces (5)
-
Skills for instrumenting AI applications with the confident-trace SDK and exporting raw OpenTelemetry traces to Confident AI.
-
Integration playbook for the @darkhunt-security/telemetry SDK — wires LLM tracing, generations, and spans into a Node/TypeScript service. Auto-invokes when you ask Claude to add…
-
Generate LLM evaluation and benchmarking
-
All the tooling you need to add observability to Claude Code and your agents
-
Integration playbook for the darkhunt-telemetry Python SDK — wires LLM tracing, generations, and spans into a Python service. Auto-invokes when you ask Claude to add Darkhunt…
Есть на витрине Copilot CLI: github/awesome-copilot (5)
-
Arize AX platform skills for LLM observability, evaluation, and optimization. Includes trace export, instrumentation, datasets, experiments, evaluators, AI provider integrations…
-
Phoenix AI observability skills for LLM application debugging, evaluation, and tracing. Includes CLI debugging tools, LLM evaluation workflows, and OpenInference tracing…
-
Run a lightweight, role-separated AI development team with flexible tools, developer-selected models, proportionate planning, and optional QA.
-
Use Datadog directly in Copilot / VS Code through a preconfigured Datadog MCP server. Query logs, metrics, traces, dashboards, and more through natural conversation.
-
See your local Copilot token usage by day, model, and session, and get tips to use it more efficiently.
Есть на витрине Copilot CLI: github/copilot-plugins (5)
-
Toolkit for building Microsoft 365 Copilot declarative agents — scaffolding, JSON manifest development, and capability configuration.
-
Advanced Security plugin for GitHub Copilot.
-
Complete bundle: all Microsoft Skills for Fabric for developers and consumers.
-
model-apps
Build and deploy Power Apps generative pages for model-driven apps with specialist agents for planning, entity creation, and parallel code generation. Requires PAC CLI >= 2.7.0…
-
Build and manage Microsoft Dataverse solutions using natural language. Includes table/column creation, solution lifecycle, data operations, and MCP server configuration.
Есть на витрине Cursor: cursor/plugins (5)
-
Fan large tasks out across parallel cloud agents with planners, workers, verifiers, and structured handoffs.
-
if you want to go fast, go deep first. pstack helps you write less, but higher quality code. rigorous agent workflows you can parallelize with confidence.
-
Iterative self-referential AI loops using the Ralph Wiggum technique.
-
Build apps, scripts, and automations with the TypeScript SDK.
-
CLI-backed repo compatibility scans plus agents that audit startup, validation, and docs against reality.
Есть на витрине Docker MCP Catalog (5)
-
Read and score Opik traces, experiments, datasets and prompts from your AI assistant.
-
Bridges multiple AI models and CLIs, enabling orchestrated workflows across Claude Code, Gemini CLI, Codex CLI, and other AI development tools.
-
Discovers and retrieves llms.txt from websites.
-
Wayfound’s MCP server allows business users to govern, supervise, and improve AI Agents.
-
Analyze documents, images, videos, and audio.
Есть на витрине Official MCP Registry (5)
-
llm-observability-orchestration-agent-langchain-community ai.getvda/llm-observability-orchestration-agent-langchain-community
LLM Observability & Orchestration Agent (LangChain Community)
-
llm-observability-orchestration-agent-langchain ai.getvda/llm-observability-orchestration-agent-langchain
LLM Observability & Orchestration Agent (Langchain)
-
noveum ai.noveum/noveum
Trace, evaluate, and optimize your LLM, RAG, and agent apps with Noveum observability.
-
Agent tracing, cost tracking, anomaly detection for LLM agents
-
synapse-audit io.github.digidenone/synapse-audit
AI-Powered Security Scanner for LLMs. Detects vulnerabilities and syncs with SynapseAudit.
Найдено по смыслу, а не по общему коду или репозиторию: похожие плагины остаются разными продуктами, и это не обзор и не рекомендация.
Хотите такой знак у своего плагина в нашем каталоге?
Докажите, что поддерживаете его, файлом в репозитории, файлом на вашем домене или DNS-записью, и сможете показать этот знак на карточке, а ещё живые баннеры для сайта и README. Как проходит подтверждение
Ещё вы будете получать уведомления, когда витрина добавит плагин, снимет его, изменит отметку verified или список того, что он просит, а его удалённый endpoint встанет на мониторинг как веб-сервис.
Данные витрины Community GitHub marketplaces. Числа взяты из наших регулярных обходов витрин, последняя проверка . Контакты издателей плагинов мы не публикуем.