Ext Ops Panel
Открыть панель

io.github.sharozdawa/robotstxt-ai

Analyze and generate robots.txt with AI crawler detection for 20+ bots like GPTBot and ClaudeBot.

MCP-сервер · от sharozdawa

Подключить Сравнить Это мой

Коротко

io.github.sharozdawa/robotstxt-ai: MCP-сервер, издатель sharozdawa. Витрин, которые мы читаем и где он опубликован: 1 (Official MCP Registry). Мы впервые увидели его 2026-10-11 и с тех пор изменений не фиксировали. Данные нашего прохода по витринам на 2026-10-14.

Что просит

  • Работает на вашем компьютере

Ни одна из витрин, которые мы читаем, не публикует его инструменты или настройки, которые он просит.

Что объявляет, просит и запускает, полностью

Устанавливайте плагины только от разработчиков, которым доверяете. Мы показываем то, что публикуют витрины, и не проверяем плагины.

Пакет

npm robotstxt-ai-mcp (robotstxt-ai-mcp на npm)

  • Загрузки npm за неделю: 28 (2026-10-13)
  • Загрузки npm за месяц: 151 (2026-10-13)
  • Последняя версия на npm: 1.0.1, опубликована 2026-03-21

В OSV нет известных уязвимостей для 1.0.1 (проверено 2026-10-14)

Данные npm взяты из публичного реестра npm (registry.npmjs.org, api.npmjs.org). Каждое число принадлежит своему реестру и никогда не складывается с другим. Реестр, который не публикует число, ничего не показывает: нет числа не значит ноль. Записи об уязвимостях взяты из OSV.dev (CC BY 4.0) и относятся только к объявленной версии; листинг без объявленной версии ответа не получает. Код мы не сканируем.

Работает с

  • Claude Code
  • Codex
  • Cursor
  • VS Code
  • Copilot CLI
Установить в CursorУстановить в VS Code

Ссылка в один клик открывает клиент, и он просит подтвердить, прежде чем добавить сервер.

По маркетплейсам, где он опубликован, и объявленному транспорту MCP, как их документирует каждый клиент. Плагины мы не тестируем.

Подключить

Команды и конфигурации собраны только из того, что объявляют витрины. Мы не запускаем их за вас и не проверяем плагины.

Как локальный MCP-сервер: пакет npm

Собрано из того, что объявляет Official MCP Registry.

Claude CodeТерминал
claude mcp add --transport stdio robotstxt-ai -- npx -y robotstxt-ai-mcp
Codex~/.codex/config.toml
[mcp_servers.robotstxt-ai]
command = "npx"
args = ["-y", "robotstxt-ai-mcp"]
Cursor~/.cursor/mcp.json
{
  "mcpServers": {
    "robotstxt-ai": {
      "command": "npx",
      "args": [
        "-y",
        "robotstxt-ai-mcp"
      ]
    }
  }
}

Где опубликован

ВитринаСтатусВерсияЧислаПроверенВпервые замечен
Official MCP Registry (Открыть запись реестра) Опубликован 1.0.1 Загрузки за месяц (npm): 151
Загрузки за неделю (npm): 28
Форки (GitHub): 0
Звёзды (GitHub): 1		 Не помечен

Каждое число принадлежит своей витрине и никогда не складывается с числами других витрин. Если витрина число не публикует, мы его не показываем: нет числа не значит ноль.

Что менялось

С тех пор как мы следим за плагином, ничего не менялось.

Похожие плагины

Продукты, чьи собственные названия, описания, инструменты и скиллы ближе всего по смыслу к этому, на всех витринах, которые мы читаем. Близость упорядочена только внутри этого списка.

  • ai-visibility com.lastminutedealshq/ai-visibility

    AI-search-visibility tools: check crawler access, generate llms.txt, lint robots.txt, census data.

    от lastminutedealshq.com · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • Robots Inspect

    Fetch a public robots.txt and return group counts only.

    от sadri-dridi · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • Scrape-LE

    Analyse robots.txt content and report whether a path may be crawled.

    от nolindnaidoo · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • ActableSite AI Crawler Monitor

    Check AI crawler robots.txt policy and monitor public-site policy, sitemap, and llms.txt changes.

    от actablesite.com · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • AI Visibility Checker

    AI visibility checker: GPTBot vs OAI-SearchBot, robots.txt audit, raw-HTML schema. 165 crawlers.

    от krisdiallo · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • robots-txt-ai-crawler-audit io.github.jmshinhwa/robots-txt-ai-crawler-audit

    Checks robots.txt line by line and says what each AI crawler token actually controls - training, AI

    от jmshinhwa · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • Robots.txt Policy Lint

    {"jsonrpc":"2.0","id":1,"method":"tools/call","params":{"name":"whoami","arguments":{}}} free no key

    от www.pathwren.workers.dev · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • ai-crawler-readiness com.lumnika/ai-crawler-readiness

    Can AI crawlers read this site? GPTBot/ClaudeBot verdicts, robots vs edge blocking, 47k-domain index

    от lumnika.com · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • crawl-readiness io.github.Grubbomatic/crawl-readiness

    Audit any site for 50+ AI crawlers, generate llms.txt, robots.txt and schema, track AI mentions.

    от Grubbomatic · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • Siteiz

    Check which AI crawlers a site allows and see pages the way AI crawlers do. Free, read-only.

    от siteiz.com · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

Похожие плагины по витринам

Тот же вопрос к каждой витрине по отдельности: есть ли там аналог этого плагина?

Есть на витрине Claude Code: claude-plugins-community (5)

  • skyvern-browser-automation

    Skyvern browser automation skills for web scraping and interaction via remote MCP.

    от mark1ian · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-community · Решает почти ту же задачу

  • apify-scraper

    Full Apify web scraping platform integration for Claude. Run Actors, manage datasets, key-value stores, schedules, webhooks, and tasks — all from within Claude. Includes 27 tools…

    от MSApps-Mobile · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-community · Решает почти ту же задачу

  • zyte-web-data

    Web scraping skills for Claude Code powered by the Zyte API — scrape sites, generate and run Scrapy spiders, define extraction schemas, and ship to Scrapy Cloud.

    от zytedata · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

  • brightdata-plugin

    Web scraping, Google search, structured data extraction, and MCP server integration powered by Bright Data. Includes 7 skills: scrape any webpage as markdown (with bot…

    от brightdata · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude: knowledge-work-plugins, Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

  • browser-act

    A Claude Code skill that lets Claude drive the browser-act CLI from natural-language prompts — navigating, interacting with, extracting from, and screenshotting webpages…

    от browser-act · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

Есть на витрине Claude Code: claude-plugins-official (5)

  • zyte-web-data

    Web scraping skills for Claude Code powered by the Zyte API — scrape sites, generate and run Scrapy spiders, define extraction schemas, and ship to Scrapy Cloud.

    от zytedata · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

  • brightdata-plugin

    Web scraping, Google search, structured data extraction, and MCP server integration powered by Bright Data. Includes 7 skills: scrape any webpage as markdown (with bot…

    от brightdata · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude: knowledge-work-plugins, Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

  • browser-use

    Give Claude a real browser — your Chrome or a Browser Use Cloud browser. Use it whenever a task involves a website or web app: browsing, scraping and data extraction, filling…

    от browser-use · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude: knowledge-work-plugins, Community GitHub marketplaces · Решает почти ту же задачу

  • playwright-mcp io.github.microsoft/playwright-mcp

    Playwright Tools for MCP

    от microsoft · MCP-сервер

    Опубликован: Official MCP Registry, Claude Code: claude-plugins-official, Cursor: cursor/plugins, Docker MCP Catalog · Решает почти ту же задачу

  • firecrawl

    Web scraping and crawling powered by Firecrawl. Turn any website into clean, LLM-ready markdown or structured data. Scrape single pages, crawl entire sites, search the web, and…

    от firecrawl · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

Есть на витрине Claude: knowledge-work-plugins (5)

  • brightdata-plugin

    Web scraping, Google search, structured data extraction, and MCP server integration powered by Bright Data. Includes 7 skills: scrape any webpage as markdown (with bot…

    от brightdata · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude: knowledge-work-plugins, Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

  • browser-use

    Give Claude a real browser — your Chrome or a Browser Use Cloud browser. Use it whenever a task involves a website or web app: browsing, scraping and data extraction, filling…

    от browser-use · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude: knowledge-work-plugins, Community GitHub marketplaces · Решает почти ту же задачу

  • TinyFish

    The complete web toolkit for your agent. Search the web and get answers in milliseconds. Fetch any URL and get clean markdown content back. Send a browser agent to navigate sites…

    от tinyfish-io · Пакет плагинов

    Опубликован: Claude: knowledge-work-plugins, Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

  • exa

    Exa AI web search, deep research, and content extraction. Provides MCP tools and research skills for comprehensive web search, people discovery, company research, academic papers…

    от exa-labs · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Official MCP Registry, Docker MCP Catalog, Claude: knowledge-work-plugins, Community GitHub marketplaces · Решает почти ту же задачу

  • SearchFit SEO

    Free AI-powered SEO toolkit — audit websites, plan content strategy, optimize pages, generate schema markup, cluster keywords, and track AI visibility. Works with any website or…

    от searchfit · Пакет плагинов

    Опубликован: Claude: knowledge-work-plugins, Claude Code: claude-plugins-community, Community GitHub marketplaces · Решает почти ту же задачу

Есть на витрине Codex: openai-curated (openai/plugins) (5)

  • Cloudflare

    Cloudflare platform plugin with curated skills for Workers, Wrangler, and Agents SDK plus the official Cloudflare API MCP server.

    от Cloudflare · Пакет плагинов

    Опубликован: Codex: openai-curated (openai/plugins) · Решает почти ту же задачу

  • Plugin Eval

    Evaluate Codex skills and plugins from chat with a beginner-friendly start command, local-first reports, token budget explanations, and guided benchmarking.

    от OpenAI Codex · Пакет плагинов

    Опубликован: Codex: openai-curated (openai/plugins) · Решает почти ту же задачу

  • Codex Security

    Codex Security workflows for security scans, analysis, and investigation.

    от OpenAI · Пакет плагинов

    Опубликован: Codex: openai-curated (openai/plugins) · Решает почти ту же задачу

  • OpenAI Developers

    Build with OpenAI APIs, Agents SDK, and ChatGPT Apps, and create and save OpenAI API keys from Codex.

    от OpenAI · Пакет плагинов

    Опубликован: Codex: openai-curated (openai/plugins) · Решает почти ту же задачу

  • GitHub

    Inspect repositories, triage pull requests and issues, debug CI, and publish changes through a hybrid GitHub connector and CLI workflow.

    от OpenAI · Пакет плагинов

    Опубликован: Codex: openai-curated (openai/plugins) · Решает почти ту же задачу

Есть на витрине Community GitHub marketplaces (5)

  • Crawlwise

    SEO audits and AI crawler checks. Honest findings only; no invented scores.

    от crawlwise.site · MCP-сервер

    Опубликован: Official MCP Registry, Community GitHub marketplaces · Решает почти ту же задачу

  • web

    Browser automation and web page analysis skills using playwright-cli: connect via CDP, probe bot protection, dismiss overlays, capture DOM trees, reduce pages to skeletons…

    от Adobe · Пакет плагинов

    Опубликован: Community GitHub marketplaces · Решает почти ту же задачу

  • fastCRW

    Scrape, crawl, map, search, parse, extract, and change-track the web with fastCRW, the open-source, self-hostable Firecrawl alternative. Single Rust binary, ~6.6 MB idle RAM…

    от us · Пакет плагинов

    Опубликован: Community GitHub marketplaces · Решает почти ту же задачу

  • svipall

    Read any page past its anti-bot wall, crawl sites, search without an API key, and answer captchas locally. Installs the binary, wires up the MCP server, and ships the skills.

    от ilien · Пакет плагинов

    Опубликован: Community GitHub marketplaces · Решает почти ту же задачу

  • pline.ai

    Scrape, crawl, batch-scrape, map, and search the web through the hosted pline.ai API.

    от grepsr · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

Есть на витрине Copilot CLI: github/awesome-copilot (5)

  • apify

    Helps devs extract data from any website with thousands of trusted scrapers, crawlers, and automations from Apify Store. Integrate ready-made Actors to access all popular social…

    от apify · Пакет плагинов

    Опубликован: Copilot CLI: github/awesome-copilot · Решает почти ту же задачу

  • automate-this

    Record your screen doing a manual process, drop the video on your Desktop, and let Copilot CLI analyze it frame-by-frame to build working automation scripts. Supports narrated…

    от Awesome Copilot Community · Пакет плагинов

    Опубликован: Copilot CLI: github/awesome-copilot · Решает почти ту же задачу

  • doublecheck

    Three-layer verification pipeline for AI output. Extracts claims, finds sources, and flags hallucination risks so humans can verify before acting.

    от Awesome Copilot Community · Пакет плагинов

    Опубликован: Copilot CLI: github/awesome-copilot · Решает почти ту же задачу

  • modern-web-guidance

    Keep your coding agent up to date with the latest web best practices

    от GoogleChrome · Пакет плагинов

    Опубликован: Claude Code: claude-plugins-official, Claude: knowledge-work-plugins, Copilot CLI: github/awesome-copilot, Community GitHub marketplaces · Решает почти ту же задачу

  • tiny-tool-town-submitter

    Inspect a repository, improve Tiny Tool Town readiness, submit its listing issue, and launch remediation work.

    от James Montemagno · Пакет плагинов

    Опубликован: Copilot CLI: github/awesome-copilot · Решает почти ту же задачу

Есть на витрине Copilot CLI: github/copilot-plugins (5)

  • microsoft-365-agents-toolkit

    Toolkit for building Microsoft 365 Copilot declarative agents — scaffolding, JSON manifest development, and capability configuration.

    от microsoft · Пакет плагинов

    Опубликован: Copilot CLI: github/copilot-plugins · Решает почти ту же задачу

  • advanced-security

    Advanced Security plugin for GitHub Copilot.

    от github · Пакет плагинов

    Опубликован: Copilot CLI: github/copilot-plugins · Решает почти ту же задачу

  • workiq

    Query Microsoft 365 data with natural language — emails, meetings, documents, Teams messages, and more.

    от microsoft · Пакет плагинов

    Опубликован: Copilot CLI: github/copilot-plugins · Решает почти ту же задачу

  • azure-devops-copilot-plugin

    Bring Azure DevOps work-item, repository, and pull-request workflows into GitHub Copilot.

    от microsoft · Пакет плагинов

    Опубликован: Copilot CLI: github/copilot-plugins · Решает почти ту же задачу

  • canvas-apps

    Build Power Apps Canvas Apps using the Canvas Authoring MCP server.

    от microsoft · Пакет плагинов

    Опубликован: Copilot CLI: github/copilot-plugins · Решает почти ту же задачу

Есть на витрине Cursor: cursor/plugins (5)

  • TinyFish

    Browse and automate the web with TinyFish: run multi-step web automations, search the web, extract clean page content, and drive remote stealth browser sessions.

    от Cursor · Пакет плагинов

    Опубликован: Cursor: cursor/plugins · Решает почти ту же задачу

  • playwright-mcp io.github.microsoft/playwright-mcp

    Playwright Tools for MCP

    от microsoft · MCP-сервер

    Опубликован: Official MCP Registry, Claude Code: claude-plugins-official, Cursor: cursor/plugins, Docker MCP Catalog · Решает почти ту же задачу

  • Similarweb

    Analyze website traffic, audiences, and competitors.

    от Cursor · Пакет плагинов

    Опубликован: Cursor: cursor/plugins · Решает почти ту же задачу

  • Ahrefs

    Research keywords, backlinks, rankings, and site health.

    от Cursor · Пакет плагинов

    Опубликован: Cursor: cursor/plugins · Решает почти ту же задачу

  • Ralph Loop

    Iterative self-referential AI loops using the Ralph Wiggum technique.

    от Cursor · Пакет плагинов

    Опубликован: Cursor: cursor/plugins · Решает почти ту же задачу

Есть на витрине Docker MCP Catalog (5)

  • Apify

    Apify is the world's largest marketplace of tools for web scraping, data extraction, and web automation. You can extract structured data from social media, e-commerce, search…

    от apify · MCP-сервер

    Опубликован: Docker MCP Catalog · Решает почти ту же задачу

  • Firecrawl

    🔥 Official Firecrawl MCP Server - Adds powerful web scraping and search to Cursor, Claude and any other LLM clients.

    от firecrawl · MCP-сервер

    Опубликован: Docker MCP Catalog · Решает почти ту же задачу

  • mcp-server-browserbase io.github.browserbase/mcp-server-browserbase

    MCP server for AI web browser automation using Browserbase and Stagehand

    от browserbase · MCP-сервер

    Опубликован: Official MCP Registry, Docker MCP Catalog · Решает почти ту же задачу

  • oxylabs-mcp io.oxylabs/oxylabs-mcp

    Fetch and process content from specified URLs & sources using the Oxylabs Web Scraper API.

    от oxylabs.io · MCP-сервер

    Опубликован: Official MCP Registry, Docker MCP Catalog · Решает почти ту же задачу

  • scrapegraph-mcp io.github.ScrapeGraphAI/scrapegraph-mcp

    AI-powered web scraping and data extraction capabilities through ScrapeGraph API

    от ScrapeGraphAI · MCP-сервер

    Опубликован: Official MCP Registry, Docker MCP Catalog · Решает почти ту же задачу

Есть на витрине Official MCP Registry (5)

  • ai-visibility com.lastminutedealshq/ai-visibility

    AI-search-visibility tools: check crawler access, generate llms.txt, lint robots.txt, census data.

    от lastminutedealshq.com · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • Robots Inspect

    Fetch a public robots.txt and return group counts only.

    от sadri-dridi · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • Scrape-LE

    Analyse robots.txt content and report whether a path may be crawled.

    от nolindnaidoo · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • ActableSite AI Crawler Monitor

    Check AI crawler robots.txt policy and monitor public-site policy, sitemap, and llms.txt changes.

    от actablesite.com · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

  • AI Visibility Checker

    AI visibility checker: GPTBot vs OAI-SearchBot, robots.txt audit, raw-HTML schema. 165 crawlers.

    от krisdiallo · MCP-сервер

    Опубликован: Official MCP Registry · Решает почти ту же задачу

Найдено по смыслу, а не по общему коду или репозиторию: похожие плагины остаются разными продуктами, и это не обзор и не рекомендация.

Это ваш плагин?

Добавьте плагин в свои проекты и докажите, что поддерживаете его: файлом в репозитории, файлом на вашем домене или DNS-записью. Вы будете получать уведомления, когда витрина добавит плагин, снимет его, изменит отметку verified или список того, что он просит, а его удалённый endpoint встанет на мониторинг как веб-сервис.

Добавить в свои проекты Что умеет панель

Данные витрины Official MCP Registry. Числа взяты из наших регулярных обходов витрин, последняя проверка . Контакты издателей плагинов мы не публикуем.

Откуда данные: как устроен каталог