Ext Ops Panel
Открыть панель

Robots.txt & AI Crawler Checker

robots.txt tester (RFC 9309), AI crawler access (GPTBot, ClaudeBot...) and sitemap check.

MCP-сервер · от robots-check.quietworklabs.workers.dev

Подключить Сравнить Это мой

Коротко

Robots.txt & AI Crawler Checker: MCP-сервер, издатель robots-check.quietworklabs.workers.dev. Витрин, которые мы читаем и где он опубликован: 1 (Official MCP Registry). Мы впервые увидели его 2026-10-18 и с тех пор изменений не фиксировали. Данные нашего прохода по витринам на 2026-10-20.

Что просит

  • Работает удалённо

Ни одна из витрин, которые мы читаем, не публикует его инструменты или настройки, которые он просит.

Что объявляет, просит и запускает, полностью

Устанавливайте плагины только от разработчиков, которым доверяете. Мы показываем то, что публикуют витрины, и не проверяем плагины.

Работает с

  • Claude Code
  • Codex
  • Cursor
  • VS Code
  • Copilot CLI
Установить в CursorУстановить в VS Code

Ссылка в один клик открывает клиент, и он просит подтвердить, прежде чем добавить сервер.

По маркетплейсам, где он опубликован, и объявленному транспорту MCP, как их документирует каждый клиент. Плагины мы не тестируем.

Подключить

Команды и конфигурации собраны только из того, что объявляют витрины. Мы не запускаем их за вас и не проверяем плагины.

Как удалённый MCP-сервер

Собрано из того, что объявляет Official MCP Registry.

Claude CodeТерминал
claude mcp add --transport http robots-check https://robots-check.quietworklabs.workers.dev/mcp
Codex~/.codex/config.toml
[mcp_servers.robots-check]
url = "https://robots-check.quietworklabs.workers.dev/mcp"
Cursor~/.cursor/mcp.json
{
  "mcpServers": {
    "robots-check": {
      "url": "https://robots-check.quietworklabs.workers.dev/mcp"
    }
  }
}

Где опубликован

ВитринаСтатусВерсияЧислаПроверенВпервые замечен
Official MCP Registry (Открыть запись реестра) Опубликован 1.0.0 Число не опубликовано Не помечен

Каждое число принадлежит своей витрине и никогда не складывается с числами других витрин. Если витрина число не публикует, мы его не показываем: нет числа не значит ноль.

Что менялось

  1. Стал продуктом, за которым мы следим
  2. Official MCP Registry: появился

Похожие плагины

Продукты, чьи собственные названия, описания, инструменты и скиллы ближе всего по смыслу к этому, на всех витринах, которые мы читаем. Близость упорядочена только внутри этого списка.

  • AI Visibility Checker

    AI visibility checker: GPTBot vs OAI-SearchBot, robots.txt audit, raw-HTML schema. 165 crawlers.

    от krisdiallo · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • RobotsGate

    Generate, validate and check robots.txt rules for AI crawlers. Free; optional Pro key.

    от robotsgate.mike-tusa.workers.dev · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • robotstxt-ai io.github.sharozdawa/robotstxt-ai

    Analyze and generate robots.txt with AI crawler detection for 20+ bots like GPTBot and ClaudeBot.

    от sharozdawa · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • ActableSite AI Crawler Monitor

    Check AI crawler robots.txt policy and monitor public-site policy, sitemap, and llms.txt changes.

    от actablesite.com · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • Scrape-LE

    Analyse robots.txt content and report whether a path may be crawled.

    от nolindnaidoo · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • ai-visibility com.lastminutedealshq/ai-visibility

    AI-search-visibility tools: check crawler access, generate llms.txt, lint robots.txt, census data.

    от lastminutedealshq.com · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • Robots.txt Policy Lint

    {"jsonrpc":"2.0","id":1,"method":"tools/call","params":{"name":"whoami","arguments":{}}} free no key

    от www.pathwren.workers.dev · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • Robots Inspect

    Fetch a public robots.txt and return group counts only.

    от sadri-dridi · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • ai-crawler-readiness com.lumnika/ai-crawler-readiness

    Can AI crawlers read this site? GPTBot/ClaudeBot verdicts, robots vs edge blocking, 47k-domain index

    от lumnika.com · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • Siteiz

    Check which AI crawlers a site allows and see pages the way AI crawlers do. Free, read-only.

    от siteiz.com · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

Похожие плагины по витринам

Тот же вопрос к каждой витрине по отдельности: есть ли там аналог этого плагина?

Есть на витрине Claude Code: claude-plugins-community (5)

  • claude-seo-and-geo-site-audit

    Audits public-facing websites across accessibility, SEO, GEO (AI search readiness), and usability -- evaluates 17 checks, assigns a letter grade, and generates a client-ready PDF…

    от rjspence3 · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-community · Решает почти ту же задачу

  • skyvern-browser-automation

    Skyvern browser automation skills for web scraping and interaction via remote MCP.

    от mark1ian · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-community · Решает почти ту же задачу

  • zyte-web-data

    Web scraping skills for Claude Code powered by the Zyte API — scrape sites, generate and run Scrapy spiders, define extraction schemas, and ship to Scrapy Cloud.

    от zytedata · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

  • browser-act

    A Claude Code skill that lets Claude drive the browser-act CLI from natural-language prompts — navigating, interacting with, extracting from, and screenshotting webpages…

    от browser-act · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

  • webscan

    Client-side web security scanner — detects secrets, vulnerable JS libraries, misconfigurations, XSS sinks, CORS issues, and more

    от enderphan94 · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-community · Решает почти ту же задачу

Есть на витрине Claude Code: claude-plugins-official (5)

  • zyte-web-data

    Web scraping skills for Claude Code powered by the Zyte API — scrape sites, generate and run Scrapy spiders, define extraction schemas, and ship to Scrapy Cloud.

    от zytedata · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

  • brightdata-plugin

    Web scraping, Google search, structured data extraction, and MCP server integration powered by Bright Data. Includes 7 skills: scrape any webpage as markdown (with bot…

    от brightdata · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude: knowledge-work-plugins, Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

  • browser-use

    Give Claude a real browser — your Chrome or a Browser Use Cloud browser. Use it whenever a task involves a website or web app: browsing, scraping and data extraction, filling…

    от browser-use · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude: knowledge-work-plugins, Community GitHub marketplaces · Решает почти ту же задачу

  • playwright-mcp io.github.microsoft/playwright-mcp

    Playwright Tools for MCP

    от microsoft · MCP-сервер

    Опубликован: Official MCP Registry, Claude Code: claude-plugins-official, Cursor: cursor/plugins, Docker MCP Catalog · Решает почти ту же задачу

  • firecrawl

    Web scraping and crawling powered by Firecrawl. Turn any website into clean, LLM-ready markdown or structured data. Scrape single pages, crawl entire sites, search the web, and…

    от firecrawl · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

Есть на витрине Claude: knowledge-work-plugins (5)

  • TinyFish

    The complete web toolkit for your agent. Search the web and get answers in milliseconds. Fetch any URL and get clean markdown content back. Send a browser agent to navigate sites…

    от tinyfish-io · Пакет плагинов

    Опубликован: Claude: knowledge-work-plugins, Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

  • brightdata-plugin

    Web scraping, Google search, structured data extraction, and MCP server integration powered by Bright Data. Includes 7 skills: scrape any webpage as markdown (with bot…

    от brightdata · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude: knowledge-work-plugins, Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

  • browser-use

    Give Claude a real browser — your Chrome or a Browser Use Cloud browser. Use it whenever a task involves a website or web app: browsing, scraping and data extraction, filling…

    от browser-use · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude: knowledge-work-plugins, Community GitHub marketplaces · Решает почти ту же задачу

  • exa

    Exa AI web search, deep research, and content extraction. Provides MCP tools and research skills for comprehensive web search, people discovery, company research, academic papers…

    от exa-labs · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Official MCP Registry, Docker MCP Catalog, Claude: knowledge-work-plugins, Community GitHub marketplaces · Решает почти ту же задачу

  • SearchFit SEO

    Free AI-powered SEO toolkit — audit websites, plan content strategy, optimize pages, generate schema markup, cluster keywords, and track AI visibility. Works with any website or…

    от searchfit · Пакет плагинов

    Опубликован: Claude: knowledge-work-plugins, Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

Есть на витрине Codex: openai-curated (openai/plugins) (5)

  • Cloudflare

    Cloudflare platform plugin with curated skills for Workers, Wrangler, and Agents SDK plus the official Cloudflare API MCP server.

    от Cloudflare · Пакет плагинов

    Опубликован: Codex: openai-curated (openai/plugins) · Решает почти ту же задачу

  • Codex Security

    Codex Security workflows for security scans, analysis, and investigation.

    от OpenAI · Пакет плагинов

    Опубликован: Codex: openai-curated (openai/plugins) · Решает почти ту же задачу

  • Plugin Eval

    Evaluate Codex skills and plugins from chat with a beginner-friendly start command, local-first reports, token budget explanations, and guided benchmarking.

    от OpenAI Codex · Пакет плагинов

    Опубликован: Codex: openai-curated (openai/plugins) · Решает почти ту же задачу

  • GitHub

    Inspect repositories, triage pull requests and issues, debug CI, and publish changes through a hybrid GitHub connector and CLI workflow.

    от OpenAI · Пакет плагинов

    Опубликован: Codex: openai-curated (openai/plugins) · Решает почти ту же задачу

  • Datadog (Preview)

    Available for US1 customers only. Analyze, investigate, and act on your Datadog telemetry directly from ChatGPT using natural language. Ask questions about your production…

    от Datadog · Пакет плагинов

    Опубликован: Codex: openai-curated (openai/plugins) · Решает почти ту же задачу

Есть на витрине Community GitHub marketplaces (5)

  • web

    Browser automation and web page analysis skills using playwright-cli: connect via CDP, probe bot protection, dismiss overlays, capture DOM trees, reduce pages to skeletons…

    от Adobe · Пакет плагинов

    Опубликован: Community GitHub marketplaces · Решает почти ту же задачу

  • robots-txt-generator

    Generate robots.txt and sitemap files for SEO

    от DevsForge Community · Пакет плагинов

    Опубликован: Community GitHub marketplaces · Решает почти ту же задачу

  • Crawlie

    Technical SEO + GEO (AI-search) site audits: hosted crawls, prioritized fixes, report diffs.

    от crawlie.app · MCP-сервер

    Опубликован: Official MCP Registry, Community GitHub marketplaces · Решает почти ту же задачу

  • site-audit

    Audit a website for UX issues, bugs, accessibility problems, and unexpected behavior. site-mapper crawls once via Playwright MCP to produce sitemap.json; ux-analyst…

    от dan323 · Пакет плагинов

    Опубликован: Community GitHub marketplaces · Решает почти ту же задачу

  • squirrelscan

    Website QA tool built for coding agents (Claude Code, Cursor). 300+ rules across SEO, performance, security, accessibility & agent experience: audit from the CLI, fix findings in…

    от squirrelscan · Пакет плагинов

    Опубликован: Community GitHub marketplaces · Решает почти ту же задачу

Есть на витрине Copilot CLI: github/awesome-copilot (5)

  • apify

    Helps devs extract data from any website with thousands of trusted scrapers, crawlers, and automations from Apify Store. Integrate ready-made Actors to access all popular social…

    от apify · Пакет плагинов

    Опубликован: Copilot CLI: github/awesome-copilot · Решает почти ту же задачу

  • Chrome DevTools MCP

    MCP server for Chrome DevTools

    от ChromeDevTools · MCP-сервер

    Опубликован: Official MCP Registry, Claude Code: claude-plugins-official, Copilot CLI: github/awesome-copilot, Community GitHub marketplaces, Claude Code: claude-plugins-community · Решает почти ту же задачу

  • doublecheck

    Three-layer verification pipeline for AI output. Extracts claims, finds sources, and flags hallucination risks so humans can verify before acting.

    от Awesome Copilot Community · Пакет плагинов

    Опубликован: Copilot CLI: github/awesome-copilot · Решает почти ту же задачу

  • modern-web-guidance

    Keep your coding agent up to date with the latest web best practices

    от GoogleChrome · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude: knowledge-work-plugins, Copilot CLI: github/awesome-copilot, Community GitHub marketplaces · Решает почти ту же задачу

  • automate-this

    Record your screen doing a manual process, drop the video on your Desktop, and let Copilot CLI analyze it frame-by-frame to build working automation scripts. Supports narrated…

    от Awesome Copilot Community · Пакет плагинов

    Опубликован: Copilot CLI: github/awesome-copilot · Решает почти ту же задачу

Есть на витрине Copilot CLI: github/copilot-plugins (5)

  • advanced-security

    Advanced Security plugin for GitHub Copilot.

    от github · Пакет плагинов

    Опубликован: Copilot CLI: github/copilot-plugins · Решает почти ту же задачу

  • microsoft-365-agents-toolkit

    Toolkit for building Microsoft 365 Copilot declarative agents — scaffolding, JSON manifest development, and capability configuration.

    от microsoft · Пакет плагинов

    Опубликован: Copilot CLI: github/copilot-plugins · Решает почти ту же задачу

  • azure-devops-copilot-plugin

    Bring Azure DevOps work-item, repository, and pull-request workflows into GitHub Copilot.

    от microsoft · Пакет плагинов

    Опубликован: Copilot CLI: github/copilot-plugins · Решает почти ту же задачу

  • workiq

    Query Microsoft 365 data with natural language — emails, meetings, documents, Teams messages, and more.

    от microsoft · Пакет плагинов

    Опубликован: Copilot CLI: github/copilot-plugins · Решает почти ту же задачу

  • canvas-apps

    Build Power Apps Canvas Apps using the Canvas Authoring MCP server.

    от microsoft · Пакет плагинов

    Опубликован: Copilot CLI: github/copilot-plugins · Решает почти ту же задачу

Есть на витрине Cursor: cursor/plugins (5)

  • TinyFish

    Browse and automate the web with TinyFish: run multi-step web automations, search the web, extract clean page content, and drive remote stealth browser sessions.

    от Cursor · Пакет плагинов

    Опубликован: Cursor: cursor/plugins · Решает почти ту же задачу

  • playwright-mcp io.github.microsoft/playwright-mcp

    Playwright Tools for MCP

    от microsoft · MCP-сервер

    Опубликован: Official MCP Registry, Claude Code: claude-plugins-official, Cursor: cursor/plugins, Docker MCP Catalog · Решает почти ту же задачу

  • Ahrefs

    Research keywords, backlinks, rankings, and site health.

    от Cursor · Пакет плагинов

    Опубликован: Cursor: cursor/plugins · Решает почти ту же задачу

  • Similarweb

    Analyze website traffic, audiences, and competitors.

    от Cursor · Пакет плагинов

    Опубликован: Cursor: cursor/plugins · Решает почти ту же задачу

  • Agent Compatibility

    CLI-backed repo compatibility scans plus agents that audit startup, validation, and docs against reality.

    от Cursor · Пакет плагинов

    Опубликован: Cursor: cursor/plugins · Решает похожую задачу

Есть на витрине Docker MCP Catalog (5)

  • Firecrawl

    🔥 Official Firecrawl MCP Server - Adds powerful web scraping and search to Cursor, Claude and any other LLM clients.

    от firecrawl · MCP-сервер

    Опубликован: Docker MCP Catalog · Решает почти ту же задачу

  • mcp-server-browserbase io.github.browserbase/mcp-server-browserbase

    MCP server for AI web browser automation using Browserbase and Stagehand

    от browserbase · MCP-сервер

    Опубликован: Official MCP Registry, Docker MCP Catalog · Решает почти ту же задачу

  • Apify

    Apify is the world's largest marketplace of tools for web scraping, data extraction, and web automation. You can extract structured data from social media, e-commerce, search…

    от apify · MCP-сервер

    Опубликован: Docker MCP Catalog · Решает почти ту же задачу

  • oxylabs-mcp io.oxylabs/oxylabs-mcp

    Fetch and process content from specified URLs & sources using the Oxylabs Web Scraper API.

    от oxylabs.io · MCP-сервер

    Опубликован: Official MCP Registry, Docker MCP Catalog · Решает почти ту же задачу

  • playwright-mcp io.github.microsoft/playwright-mcp

    Playwright Tools for MCP

    от microsoft · MCP-сервер

    Опубликован: Official MCP Registry, Claude Code: claude-plugins-official, Cursor: cursor/plugins, Docker MCP Catalog · Решает почти ту же задачу

Есть на витрине Official MCP Registry (5)

  • AI Visibility Checker

    AI visibility checker: GPTBot vs OAI-SearchBot, robots.txt audit, raw-HTML schema. 165 crawlers.

    от krisdiallo · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • RobotsGate

    Generate, validate and check robots.txt rules for AI crawlers. Free; optional Pro key.

    от robotsgate.mike-tusa.workers.dev · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • robotstxt-ai io.github.sharozdawa/robotstxt-ai

    Analyze and generate robots.txt with AI crawler detection for 20+ bots like GPTBot and ClaudeBot.

    от sharozdawa · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • ActableSite AI Crawler Monitor

    Check AI crawler robots.txt policy and monitor public-site policy, sitemap, and llms.txt changes.

    от actablesite.com · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • Scrape-LE

    Analyse robots.txt content and report whether a path may be crawled.

    от nolindnaidoo · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

Есть на витрине npm registry (MCP servers) (5)

  • mcp com.dechonet/mcp

    30 security tools for AI agents: phishing links, exposure maps, DNS, SSL, PQC, history, pivots.

    от dechonet.com · MCP-сервер

    Опубликован: Official MCP Registry, npm registry (MCP servers) · Решает почти ту же задачу

  • dealflowpro io.github.jbechtel-97/dealflowpro

    Multifamily real estate deal analysis — cap rate, DSCR, IRR, DFP Score, max offer price

    от jbechtel-97 · MCP-сервер

    Опубликован: Official MCP Registry, npm registry (MCP servers) · Решает почти ту же задачу

  • dav-mcp io.github.PhilflowIO/dav-mcp

    AI-orchestrated calendars, contacts & tasks across any DAV platform. 27 tools, field-agnostic.

    от PhilflowIO · MCP-сервер

    Опубликован: Official MCP Registry, npm registry (MCP servers) · Решает почти ту же задачу

  • Delimit

    One workspace for every AI coding assistant. Shared tasks, memory, and governance.

    от delimit-ai · MCP-сервер

    Опубликован: Official MCP Registry, npm registry (MCP servers), Community GitHub marketplaces · Решает почти ту же задачу

  • DEEPBOM

    Browser-local and CLI static evidence for deployed AI model artifacts.

    от JunHwan-Kwon · MCP-сервер

    Опубликован: Official MCP Registry, npm registry (MCP servers) · Решает почти ту же задачу

Найдено по смыслу, а не по общему коду или репозиторию: похожие плагины остаются разными продуктами, и это не обзор и не рекомендация.

Хотите такой знак у своего плагина в нашем каталоге?

Докажите, что поддерживаете его, файлом в репозитории, файлом на вашем домене или DNS-записью, и сможете показать этот знак на карточке, а ещё живые баннеры для сайта и README. Как проходит подтверждение

Ещё вы будете получать уведомления, когда витрина добавит плагин, снимет его, изменит отметку verified или список того, что он просит, а его удалённый endpoint встанет на мониторинг как веб-сервис.

Добавить в свои проекты Что умеет панель

Данные витрины Official MCP Registry. Числа взяты из наших регулярных обходов витрин, последняя проверка . Контакты издателей плагинов мы не публикуем.

Откуда данные: как устроен каталог