Ext Ops Panel
Открыть панель

io.github.ryuamarines/robots-txt-checker

Checks if a URL path is allowed by robots.txt. x402 payment required (testnet USDC).

MCP-сервер · от ryuamarines

Подключить Сравнить Это мой

Коротко

io.github.ryuamarines/robots-txt-checker: MCP-сервер, издатель ryuamarines. Витрин, которые мы читаем и где он опубликован: 1 (Official MCP Registry). Мы впервые увидели его 2026-10-11 и с тех пор изменений не фиксировали. Данные нашего прохода по витринам на 2026-10-13.

Что просит

  • Работает удалённо

Ни одна из витрин, которые мы читаем, не публикует его инструменты или настройки, которые он просит.

Что объявляет, просит и запускает, полностью

Устанавливайте плагины только от разработчиков, которым доверяете. Мы показываем то, что публикуют витрины, и не проверяем плагины.

Работает с

  • Claude Code
  • Codex
  • Cursor
  • VS Code
  • Copilot CLI
Установить в CursorУстановить в VS Code

Ссылка в один клик открывает клиент, и он просит подтвердить, прежде чем добавить сервер.

По маркетплейсам, где он опубликован, и объявленному транспорту MCP, как их документирует каждый клиент. Плагины мы не тестируем.

Подключить

Команды и конфигурации собраны только из того, что объявляют витрины. Мы не запускаем их за вас и не проверяем плагины.

Как удалённый MCP-сервер

Собрано из того, что объявляет Official MCP Registry.

Claude CodeТерминал
claude mcp add --transport http robots-txt-checker https://faceted-napped-debtless.ngrok-free.dev/robots-txt-checker/mcp
Codex~/.codex/config.toml
[mcp_servers.robots-txt-checker]
url = "https://faceted-napped-debtless.ngrok-free.dev/robots-txt-checker/mcp"
Cursor~/.cursor/mcp.json
{
  "mcpServers": {
    "robots-txt-checker": {
      "url": "https://faceted-napped-debtless.ngrok-free.dev/robots-txt-checker/mcp"
    }
  }
}

Где опубликован

ВитринаСтатусВерсияЧислаПроверенВпервые замечен
Official MCP Registry (Открыть запись реестра) Опубликован 1.0.93057 Число не опубликовано Не помечен

Каждое число принадлежит своей витрине и никогда не складывается с числами других витрин. Если витрина число не публикует, мы его не показываем: нет числа не значит ноль.

Что менялось

С тех пор как мы следим за плагином, ничего не менялось.

Похожие плагины

Продукты, чьи собственные названия, описания, инструменты и скиллы ближе всего по смыслу к этому, на всех витринах, которые мы читаем. Близость упорядочена только внутри этого списка.

  • Robots.txt Policy Lint

    {"jsonrpc":"2.0","id":1,"method":"tools/call","params":{"name":"whoami","arguments":{}}} free no key

    от www.pathwren.workers.dev · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • Scrape-LE

    Analyse robots.txt content and report whether a path may be crawled.

    от nolindnaidoo · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • robotstxt-ai io.github.sharozdawa/robotstxt-ai

    Analyze and generate robots.txt with AI crawler detection for 20+ bots like GPTBot and ClaudeBot.

    от sharozdawa · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • robots-txt-ai-crawler-audit io.github.jmshinhwa/robots-txt-ai-crawler-audit

    Checks robots.txt line by line and says what each AI crawler token actually controls - training, AI

    от jmshinhwa · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • ActableSite AI Crawler Monitor

    Check AI crawler robots.txt policy and monitor public-site policy, sitemap, and llms.txt changes.

    от actablesite.com · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • ai-visibility com.lastminutedealshq/ai-visibility

    AI-search-visibility tools: check crawler access, generate llms.txt, lint robots.txt, census data.

    от lastminutedealshq.com · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • Robots Inspect

    Fetch a public robots.txt and return group counts only.

    от sadri-dridi · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • AI Crawler Access Check

    Can GPTBot, ClaudeBot and PerplexityBot reach a site? Real fetch per crawler, firewall/CDN blocks.

    от hamzawamiqhq · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • AI Visibility Checker

    AI visibility checker: GPTBot vs OAI-SearchBot, robots.txt audit, raw-HTML schema. 165 crawlers.

    от krisdiallo · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • ai-crawler-readiness com.lumnika/ai-crawler-readiness

    Can AI crawlers read this site? GPTBot/ClaudeBot verdicts, robots vs edge blocking, 47k-domain index

    от lumnika.com · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

Похожие плагины по витринам

Тот же вопрос к каждой витрине по отдельности: есть ли там аналог этого плагина?

Есть на витрине Claude Code: claude-plugins-community (5)

  • mpp-inspector

    Inspect, debug, and test Machine Payments Protocol (HTTP 402) endpoints directly from Claude Code. Parses spec-compliant WWW-Authenticate challenges, discovers MPP endpoints on…

    от amgb20 · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-community · Решает почти ту же задачу

  • skyvern-browser-automation

    Skyvern browser automation skills for web scraping and interaction via remote MCP.

    от mark1ian · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-community · Решает почти ту же задачу

  • freshprobe

    Data freshness and endpoint liveness verification for AI agents. Probes external APIs and endpoints before agents act on their data, returning deterministic FRESH/STALE/UNKNOWN…

    от Sudhan30 · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-community · Решает почти ту же задачу

  • brightdata-plugin

    Web scraping, Google search, structured data extraction, and MCP server integration powered by Bright Data. Includes 7 skills: scrape any webpage as markdown (with bot…

    от brightdata · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude: knowledge-work-plugins, Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

  • achilles-ep-delphi

    Agent safety infrastructure (RiskOracle, NoLeak, MemGuard, SecureExec, FlowCore) and real-time DELPHI Oracle intelligence signals. x402 USDC micropayments on Base Mainnet. 19…

    от achilliesbot · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-community · Решает почти ту же задачу

Есть на витрине Claude Code: claude-plugins-official (5)

  • brightdata-plugin

    Web scraping, Google search, structured data extraction, and MCP server integration powered by Bright Data. Includes 7 skills: scrape any webpage as markdown (with bot…

    от brightdata · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude: knowledge-work-plugins, Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

  • browser-use

    Give Claude a real browser — your Chrome or a Browser Use Cloud browser. Use it whenever a task involves a website or web app: browsing, scraping and data extraction, filling…

    от browser-use · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude: knowledge-work-plugins, Community GitHub marketplaces · Решает почти ту же задачу

  • playwright-mcp io.github.microsoft/playwright-mcp

    Playwright Tools for MCP

    от microsoft · MCP-сервер

    Опубликован: Official MCP Registry, Claude Code: claude-plugins-official, Cursor: cursor/plugins, Docker MCP Catalog · Решает почти ту же задачу

  • 42crunch-api-security-testing

    Automate API security directly in Claude Code with 42Crunch - automatically audit OpenAPI specs, detect vulnerabilities aligned with OWASP API Security risks (including…

    от 42Crunch-AI · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

  • zyte-web-data

    Web scraping skills for Claude Code powered by the Zyte API — scrape sites, generate and run Scrapy spiders, define extraction schemas, and ship to Scrapy Cloud.

    от zytedata · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude Code: claude-plugins-community · Решает почти ту же задачу

Есть на витрине Claude: knowledge-work-plugins (5)

  • brightdata-plugin

    Web scraping, Google search, structured data extraction, and MCP server integration powered by Bright Data. Includes 7 skills: scrape any webpage as markdown (with bot…

    от brightdata · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude: knowledge-work-plugins, Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

  • browser-use

    Give Claude a real browser — your Chrome or a Browser Use Cloud browser. Use it whenever a task involves a website or web app: browsing, scraping and data extraction, filling…

    от browser-use · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude: knowledge-work-plugins, Community GitHub marketplaces · Решает почти ту же задачу

  • TinyFish

    The complete web toolkit for your agent. Search the web and get answers in milliseconds. Fetch any URL and get clean markdown content back. Send a browser agent to navigate sites…

    от tinyfish-io · Пакет плагинов

    Опубликован: Claude: knowledge-work-plugins, Claude Code: claude-plugins-community · Решает почти ту же задачу

  • exa

    Exa AI web search, deep research, and content extraction. Provides MCP tools and research skills for comprehensive web search, people discovery, company research, academic papers…

    от exa-labs · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Official MCP Registry, Docker MCP Catalog, Claude: knowledge-work-plugins, Community GitHub marketplaces · Решает почти ту же задачу

  • stackhawk-hawkscan

    Configure, run, and interpret HawkScan DAST results inside Claude Code. Generates stackhawk.yml configs, runs scans via CLI or Docker, and transforms security findings into…

    от stackhawk · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude: knowledge-work-plugins · Решает почти ту же задачу

Есть на витрине Codex: openai-curated (openai/plugins) (5)

  • Cloudflare

    Cloudflare platform plugin with curated skills for Workers, Wrangler, and Agents SDK plus the official Cloudflare API MCP server.

    от Cloudflare · Пакет плагинов

    Опубликован: Codex: openai-curated (openai/plugins) · Решает почти ту же задачу

  • Plugin Eval

    Evaluate Codex skills and plugins from chat with a beginner-friendly start command, local-first reports, token budget explanations, and guided benchmarking.

    от OpenAI Codex · Пакет плагинов

    Опубликован: Codex: openai-curated (openai/plugins) · Решает почти ту же задачу

  • Codex Security

    Codex Security workflows for security scans, analysis, and investigation.

    от OpenAI · Пакет плагинов

    Опубликован: Codex: openai-curated (openai/plugins) · Решает почти ту же задачу

  • OpenAI Developers

    Build with OpenAI APIs, Agents SDK, and ChatGPT Apps, and create and save OpenAI API keys from Codex.

    от OpenAI · Пакет плагинов

    Опубликован: Codex: openai-curated (openai/plugins) · Решает почти ту же задачу

  • NVIDIA

    Skills for NVIDIAs ecosystem spans GPU acceleration, CUDA, AI agents, inference, robotics, Physical AI, Omniverse, and simulation. This plugin helps you understand the pieces…

    от NVIDIA · Пакет плагинов

    Опубликован: Codex: openai-curated (openai/plugins) · Решает почти ту же задачу

Есть на витрине Community GitHub marketplaces (5)

  • web

    Browser automation and web page analysis skills using playwright-cli: connect via CDP, probe bot protection, dismiss overlays, capture DOM trees, reduce pages to skeletons…

    от Adobe · Пакет плагинов

    Опубликован: Community GitHub marketplaces · Решает почти ту же задачу

  • HTTP

    HTTP/REST client with saved collections, env secrets, and SSRF-safe host allowlisting.

    от Abhishekkumar2021 · MCP-сервер

    Опубликован: Official MCP Registry, Community GitHub marketplaces · Решает почти ту же задачу

  • brightdata-plugin

    Web scraping, Google search, structured data extraction, and MCP server integration powered by Bright Data. Includes 7 skills: scrape any webpage as markdown (with bot…

    от brightdata · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude: knowledge-work-plugins, Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

  • browser-use

    Give Claude a real browser — your Chrome or a Browser Use Cloud browser. Use it whenever a task involves a website or web app: browsing, scraping and data extraction, filling…

    от browser-use · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude: knowledge-work-plugins, Community GitHub marketplaces · Решает почти ту же задачу

  • agentforge io.github.acarchidi/agentforge

    DeFi safety layer for AI agents: wallet safety, token risk, tx decode/simulate. 20 tools.

    от acarchidi · MCP-сервер

    Опубликован: Official MCP Registry, Community GitHub marketplaces · Решает почти ту же задачу

Есть на витрине Copilot CLI: github/awesome-copilot (5)

  • apify

    Helps devs extract data from any website with thousands of trusted scrapers, crawlers, and automations from Apify Store. Integrate ready-made Actors to access all popular social…

    от apify · Пакет плагинов

    Опубликован: Copilot CLI: github/awesome-copilot · Решает почти ту же задачу

  • BLEA

    Safe BLE diagnostics, evidence workflows, and guarded automation for AI agents.

    от Nitmi · MCP-сервер

    Опубликован: Official MCP Registry, Copilot CLI: github/awesome-copilot · Решает почти ту же задачу

  • doublecheck

    Three-layer verification pipeline for AI output. Extracts claims, finds sources, and flags hallucination risks so humans can verify before acting.

    от Awesome Copilot Community · Пакет плагинов

    Опубликован: Copilot CLI: github/awesome-copilot · Решает почти ту же задачу

  • token-pacman

    Visualizes live session AI-credit usage as a Pac-Man board with pellets, ghosts, fruit milestones, and game-over limits.

    от James Montemagno · Пакет плагинов

    Опубликован: Copilot CLI: github/awesome-copilot · Решает почти ту же задачу

  • Chrome DevTools MCP

    MCP server for Chrome DevTools

    от ChromeDevTools · MCP-сервер

    Опубликован: Official MCP Registry, Claude Code: claude-plugins-official, Copilot CLI: github/awesome-copilot, Community GitHub marketplaces, Claude Code: claude-plugins-community · Решает почти ту же задачу

Есть на витрине Copilot CLI: github/copilot-plugins (5)

  • advanced-security

    Advanced Security plugin for GitHub Copilot.

    от github · Пакет плагинов

    Опубликован: Copilot CLI: github/copilot-plugins · Решает почти ту же задачу

  • microsoft-365-agents-toolkit

    Toolkit for building Microsoft 365 Copilot declarative agents — scaffolding, JSON manifest development, and capability configuration.

    от microsoft · Пакет плагинов

    Опубликован: Copilot CLI: github/copilot-plugins · Решает почти ту же задачу

  • canvas-apps

    Build Power Apps Canvas Apps using the Canvas Authoring MCP server.

    от microsoft · Пакет плагинов

    Опубликован: Copilot CLI: github/copilot-plugins · Решает почти ту же задачу

  • mcp-apps

    Generate MCP App widgets for MCP tools. Produces self-contained HTML widgets using the MCP Apps protocol.

    от microsoft · Пакет плагинов

    Опубликован: Copilot CLI: github/copilot-plugins · Решает почти ту же задачу

  • azure-devops-copilot-plugin

    Bring Azure DevOps work-item, repository, and pull-request workflows into GitHub Copilot.

    от microsoft · Пакет плагинов

    Опубликован: Copilot CLI: github/copilot-plugins · Решает почти ту же задачу

Есть на витрине Cursor: cursor/plugins (5)

  • TinyFish

    Browse and automate the web with TinyFish: run multi-step web automations, search the web, extract clean page content, and drive remote stealth browser sessions.

    от Cursor · Пакет плагинов

    Опубликован: Cursor: cursor/plugins · Решает почти ту же задачу

  • playwright-mcp io.github.microsoft/playwright-mcp

    Playwright Tools for MCP

    от microsoft · MCP-сервер

    Опубликован: Official MCP Registry, Claude Code: claude-plugins-official, Cursor: cursor/plugins, Docker MCP Catalog · Решает почти ту же задачу

  • Cursor SDK

    Build apps, scripts, and automations with the TypeScript SDK.

    от Cursor · Пакет плагинов

    Опубликован: Cursor: cursor/plugins · Решает почти ту же задачу

  • Agent Compatibility

    CLI-backed repo compatibility scans plus agents that audit startup, validation, and docs against reality.

    от Cursor · Пакет плагинов

    Опубликован: Cursor: cursor/plugins · Решает почти ту же задачу

  • Orchestrate

    Fan large tasks out across parallel cloud agents with planners, workers, verifiers, and structured handoffs.

    от Cursor · Пакет плагинов

    Опубликован: Cursor: cursor/plugins · Решает похожую задачу

Есть на витрине Docker MCP Catalog (5)

  • Firecrawl

    🔥 Official Firecrawl MCP Server - Adds powerful web scraping and search to Cursor, Claude and any other LLM clients.

    от firecrawl · MCP-сервер

    Опубликован: Docker MCP Catalog · Решает почти ту же задачу

  • Apify

    Apify is the world's largest marketplace of tools for web scraping, data extraction, and web automation. You can extract structured data from social media, e-commerce, search…

    от apify · MCP-сервер

    Опубликован: Docker MCP Catalog · Решает почти ту же задачу

  • oxylabs-mcp io.oxylabs/oxylabs-mcp

    Fetch and process content from specified URLs & sources using the Oxylabs Web Scraper API.

    от oxylabs.io · MCP-сервер

    Опубликован: Official MCP Registry, Docker MCP Catalog · Решает почти ту же задачу

  • mcp-server-browserbase io.github.browserbase/mcp-server-browserbase

    MCP server for AI web browser automation using Browserbase and Stagehand

    от browserbase · MCP-сервер

    Опубликован: Official MCP Registry, Docker MCP Catalog · Решает почти ту же задачу

  • Postman MCP Server

    Give your AI agents trusted access to the full Postman platform.

    от postman.com · MCP-сервер

    Опубликован: Official MCP Registry, Docker MCP Catalog · Решает почти ту же задачу

Есть на витрине Official MCP Registry (5)

  • Robots.txt Policy Lint

    {"jsonrpc":"2.0","id":1,"method":"tools/call","params":{"name":"whoami","arguments":{}}} free no key

    от www.pathwren.workers.dev · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • Scrape-LE

    Analyse robots.txt content and report whether a path may be crawled.

    от nolindnaidoo · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • robotstxt-ai io.github.sharozdawa/robotstxt-ai

    Analyze and generate robots.txt with AI crawler detection for 20+ bots like GPTBot and ClaudeBot.

    от sharozdawa · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • robots-txt-ai-crawler-audit io.github.jmshinhwa/robots-txt-ai-crawler-audit

    Checks robots.txt line by line and says what each AI crawler token actually controls - training, AI

    от jmshinhwa · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • ActableSite AI Crawler Monitor

    Check AI crawler robots.txt policy and monitor public-site policy, sitemap, and llms.txt changes.

    от actablesite.com · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

Найдено по смыслу, а не по общему коду или репозиторию: похожие плагины остаются разными продуктами, и это не обзор и не рекомендация.

Это ваш плагин?

Добавьте плагин в свои проекты и докажите, что поддерживаете его: файлом в репозитории, файлом на вашем домене или DNS-записью. Вы будете получать уведомления, когда витрина добавит плагин, снимет его, изменит отметку verified или список того, что он просит, а его удалённый endpoint встанет на мониторинг как веб-сервис.

Добавить в свои проекты Что умеет панель

Данные витрины Official MCP Registry. Числа взяты из наших регулярных обходов витрин, последняя проверка . Контакты издателей плагинов мы не публикуем.

Откуда данные: как устроен каталог