io.github.jmshinhwa/robots-txt-ai-crawler-audit
Checks robots.txt line by line and says what each AI crawler token actually controls - training, AI
MCP-сервер · от jmshinhwa
Коротко
io.github.jmshinhwa/robots-txt-ai-crawler-audit: MCP-сервер, издатель jmshinhwa. Витрин, которые мы читаем и где он опубликован: 1 (Official MCP Registry). Последнее изменение мы зафиксировали 2026-10-27. Данные нашего прохода по витринам на 2026-11-02.
Что просит
- Работает на вашем компьютере
Ни одна из витрин, которые мы читаем, не публикует его инструменты или настройки, которые он просит.
Что объявляет, просит и запускает, полностью
Устанавливайте плагины только от разработчиков, которым доверяете. Мы показываем то, что публикуют витрины, и не проверяем плагины.
Пакет
npm @readystack/robots-txt-ai-crawler-audit (@readystack/robots-txt-ai-crawler-audit на npm)
- Загрузки npm за неделю: 36 (2026-10-27)
- Загрузки npm за месяц: 597 (2026-10-27)
- Последняя версия на npm: 0.1.8, опубликована 2026-09-29
- Последняя версия помечена на npm как устаревшая
- Объявленная версия 0.1.3 помечена на npm как устаревшая
В OSV нет известных уязвимостей для 0.1.3 (проверено 2026-10-23)
Данные npm взяты из публичного реестра npm (registry.npmjs.org, api.npmjs.org). Каждое число принадлежит своему реестру и никогда не складывается с другим. Реестр, который не публикует число, ничего не показывает: нет числа не значит ноль. Записи об уязвимостях взяты из OSV.dev (CC BY 4.0) и относятся только к объявленной версии; листинг без объявленной версии ответа не получает. Код мы не сканируем.
Работает с
- Claude Code
- Codex
- Cursor
- VS Code
- Copilot CLI
Ссылка в один клик открывает клиент, и он просит подтвердить, прежде чем добавить сервер.
По маркетплейсам, где он опубликован, и объявленному транспорту MCP, как их документирует каждый клиент. Плагины мы не тестируем.
Подключить
Команды и конфигурации собраны только из того, что объявляют витрины. Мы не запускаем их за вас и не проверяем плагины.
Как локальный MCP-сервер: пакет npm
Собрано из того, что объявляет Official MCP Registry.
claude mcp add --transport stdio robots-txt-ai-crawler-audit -- npx -y @readystack/robots-txt-ai-crawler-audit --mcp
[mcp_servers.robots-txt-ai-crawler-audit]
command = "npx"
args = ["-y", "@readystack/robots-txt-ai-crawler-audit", "--mcp"]
{
"mcpServers": {
"robots-txt-ai-crawler-audit": {
"command": "npx",
"args": [
"-y",
"@readystack/robots-txt-ai-crawler-audit",
"--mcp"
]
}
}
}
Где опубликован
| Витрина | Статус | Версия | Числа | Проверен | Впервые замечен |
|---|---|---|---|---|---|
| Official MCP Registry (Открыть запись реестра) | Опубликован | 0.1.3 | Загрузки за месяц (npm): 597 Загрузки за неделю (npm): 36 Форки (GitHub): 1 Звёзды (GitHub): 1 |
Не помечен |
Каждое число принадлежит своей витрине и никогда не складывается с числами других витрин. Если витрина число не публикует, мы его не показываем: нет числа не значит ноль.
Как менялись числа
- 2026-10-171,6 тыс.
- 2026-10-27597
- 2026-10-1743
- 2026-10-2736
Каждая точка: день, когда мы прочитали другое число; ровные участки: дни, когда число не менялось. Числа разных витрин никогда не складываются.
Что менялось
С тех пор как мы следим за плагином, ничего не менялось.
Похожие плагины
Продукты, чьи собственные названия, описания, инструменты и скиллы ближе всего по смыслу к этому, на всех витринах, которые мы читаем. Близость упорядочена только внутри этого списка.
-
Generate, validate and check robots.txt rules for AI crawlers. Free; optional Pro key.
-
robotstxt-ai io.github.sharozdawa/robotstxt-ai
Analyze and generate robots.txt with AI crawler detection for 20+ bots like GPTBot and ClaudeBot.
-
Analyse robots.txt content and report whether a path may be crawled.
-
ai-crawler-readiness com.lumnika/ai-crawler-readiness
Can AI crawlers read this site? GPTBot/ClaudeBot verdicts, robots vs edge blocking, 47k-domain index
-
Robots.txt & AI Crawler Checker
robots.txt tester (RFC 9309), AI crawler access (GPTBot, ClaudeBot...) and sitemap check.
-
{"jsonrpc":"2.0","id":1,"method":"tools/call","params":{"name":"whoami","arguments":{}}} free no key
-
tdm-reservation-lint io.github.jmshinhwa/tdm-reservation-lint
Finds the robots.txt lines that reserve nothing — retired crawler tokens, shadowed groups, rules abo
-
ai-visibility com.lastminutedealshq/ai-visibility
AI-search-visibility tools: check crawler access, generate llms.txt, lint robots.txt, census data.
-
crawl-readiness io.github.Grubbomatic/crawl-readiness
Check what AI crawlers may read and what a page permits, generate llms.txt and schema.
-
ActableSite AI Crawler Monitor
Check AI crawler robots.txt policy and monitor public-site policy, sitemap, and llms.txt changes.
Похожие плагины по витринам
Тот же вопрос к каждой витрине по отдельности: есть ли там аналог этого плагина?
Есть на витрине Claude Code: claude-plugins-community (5)
-
Skyvern browser automation skills for web scraping and interaction via remote MCP.
-
Web scraping skills for Claude Code powered by the Zyte API — scrape sites, generate and run Scrapy spiders, define extraction schemas, and ship to Scrapy Cloud.
-
Audit your Claude plugins, skills, and coding agents against the SOSA methodology — Supervised Orchestrated Secured Agents. Scans your entire plugin ecosystem and evaluates each…
-
Audits your app's Privacy Policy, ToS, Cookie Policy and DPA against its actual codebase. Scans your dependencies, DB schema, and API routes to find undisclosed data collection…
-
Full Apify web scraping platform integration for Claude. Run Actors, manage datasets, key-value stores, schedules, webhooks, and tasks — all from within Claude. Includes 27 tools…
Есть на витрине Claude Code: claude-plugins-official (5)
-
Web scraping skills for Claude Code powered by the Zyte API — scrape sites, generate and run Scrapy spiders, define extraction schemas, and ship to Scrapy Cloud.
-
playwright-mcp io.github.microsoft/playwright-mcp
Playwright Tools for MCP
-
Web scraping, Google search, structured data extraction, and MCP server integration powered by Bright Data. Includes 7 skills: scrape any webpage as markdown (with bot…
-
Give Claude a real browser — your Chrome or a Browser Use Cloud browser. Use it whenever a task involves a website or web app: browsing, scraping and data extraction, filling…
-
Automate API security directly in Claude Code with 42Crunch - automatically audit OpenAPI specs, detect vulnerabilities aligned with OWASP API Security risks (including…
Есть на витрине Claude: knowledge-work-plugins (5)
-
Web scraping, Google search, structured data extraction, and MCP server integration powered by Bright Data. Includes 7 skills: scrape any webpage as markdown (with bot…
-
Give Claude a real browser — your Chrome or a Browser Use Cloud browser. Use it whenever a task involves a website or web app: browsing, scraping and data extraction, filling…
-
The complete web toolkit for your agent. Search the web and get answers in milliseconds. Fetch any URL and get clean markdown content back. Send a browser agent to navigate sites…
-
Configure, run, and interpret HawkScan DAST results inside Claude Code. Generates stackhawk.yml configs, runs scans via CLI or Docker, and transforms security findings into…
-
AI-first project auditor and re-engineer based on the 9 design principles and 7 design patterns from the TechWolf AI-First Bootcamp
Есть на витрине Codex: openai-curated (openai/plugins) (5)
-
Cloudflare platform plugin with curated skills for Workers, Wrangler, and Agents SDK plus the official Cloudflare API MCP server.
-
Evaluate Codex skills and plugins from chat with a beginner-friendly start command, local-first reports, token budget explanations, and guided benchmarking.
-
Codex Security workflows for security scans, analysis, and investigation.
-
Skills for NVIDIAs ecosystem spans GPU acceleration, CUDA, AI agents, inference, robotics, Physical AI, Omniverse, and simulation. This plugin helps you understand the pieces…
-
Build with OpenAI APIs, Agents SDK, and ChatGPT Apps, and create and save OpenAI API keys from Codex.
Есть на витрине Community GitHub marketplaces (5)
-
Free AI search audits with no account: which AI crawlers your robots.txt lets in, and whether your llms.txt is present and well formed.
-
Stealth browser automation skill using Pydoll, specialized in bypassing Cloudflare WAF, Turnstile CAPTCHA, and other bot detection systems.
-
Stealth browser automation skill using Pydoll, specialized in bypassing Cloudflare WAF, Turnstile CAPTCHA, and other bot detection systems.
-
Browser automation and web page analysis skills using playwright-cli: connect via CDP, probe bot protection, dismiss overlays, capture DOM trees, reduce pages to skeletons…
-
Up-to-date action manuals for browser automation. Get verified CSS/XPath selectors for any website directly into your agent context.
Есть на витрине Copilot CLI: github/awesome-copilot (5)
-
Helps devs extract data from any website with thousands of trusted scrapers, crawlers, and automations from Apify Store. Integrate ready-made Actors to access all popular social…
-
Safe BLE diagnostics, evidence workflows, and guarded automation for AI agents.
-
Record your screen doing a manual process, drop the video on your Desktop, and let Copilot CLI analyze it frame-by-frame to build working automation scripts. Supports narrated…
-
MCP server for Chrome DevTools
-
See a live map of the Copilot agents on your computer, their sub-agents, their commands, and where their data goes.
Есть на витрине Copilot CLI: github/copilot-plugins (5)
-
Advanced Security plugin for GitHub Copilot.
-
Toolkit for building Microsoft 365 Copilot declarative agents — scaffolding, JSON manifest development, and capability configuration.
-
Bring Azure DevOps work-item, repository, and pull-request workflows into GitHub Copilot.
-
Build Power Apps Canvas Apps using the Canvas Authoring MCP server.
-
mcp-apps
Generate MCP App widgets for MCP tools. Produces self-contained HTML widgets using the MCP Apps protocol.
Есть на витрине Cursor: cursor/plugins (5)
-
Browse and automate the web with TinyFish: run multi-step web automations, search the web, extract clean page content, and drive remote stealth browser sessions.
-
playwright-mcp io.github.microsoft/playwright-mcp
Playwright Tools for MCP
-
Build apps, scripts, and automations with the TypeScript SDK.
-
Fan large tasks out across parallel cloud agents with planners, workers, verifiers, and structured handoffs.
-
Let Grok Bot reach MCP servers on your private Tailscale network: connect your own tailnet, or your team's company tailnets turned on by a team admin, with each member using their…
Есть на витрине Docker MCP Catalog (5)
-
Official Firecrawl MCP server, the context API for AI agents: search, scrape, and interact with the web, plus parse, crawl, map, Agent and Monitor, from any MCP client.
-
Apify is the world's largest marketplace of tools for web scraping, data extraction, and web automation. You can extract structured data from social media, e-commerce, search…
-
scrapegraph-mcp io.github.ScrapeGraphAI/scrapegraph-mcp
AI-powered web scraping and data extraction capabilities through ScrapeGraph API
-
oxylabs-mcp io.oxylabs/oxylabs-mcp
Fetch and process content from specified URLs & sources using the Oxylabs Web Scraper API.
-
Browser automation and web scraping using Puppeteer.
Есть на витрине Official MCP Registry (5)
-
Generate, validate and check robots.txt rules for AI crawlers. Free; optional Pro key.
-
robotstxt-ai io.github.sharozdawa/robotstxt-ai
Analyze and generate robots.txt with AI crawler detection for 20+ bots like GPTBot and ClaudeBot.
-
Analyse robots.txt content and report whether a path may be crawled.
-
ai-crawler-readiness com.lumnika/ai-crawler-readiness
Can AI crawlers read this site? GPTBot/ClaudeBot verdicts, robots vs edge blocking, 47k-domain index
-
Robots.txt & AI Crawler Checker
robots.txt tester (RFC 9309), AI crawler access (GPTBot, ClaudeBot...) and sitemap check.
Есть на витрине PyPI (MCP servers) (5)
-
Screaming Frog SEO Spider MCP Server (headless)
Headless Screaming Frog SEO Spider via its CLI: run crawls, export and filter data, no GUI needed.
-
firecrawl com.mcparmory/firecrawl
Scrape, crawl, and extract structured data from websites at scale
-
scrapingant com.mcparmory/scrapingant
Scrape webpages, handle JavaScript and CAPTCHA, extract structured data
-
apify com.mcparmory/apify
Build, deploy, and run web scraping and automation actors in the cloud
-
parallel com.mcparmory/parallel
Search the web, extract content, and run distributed tasks with AI-powered automation
Есть на витрине npm registry (MCP servers) (5)
-
Analyse robots.txt content and report whether a path may be crawled.
-
crawl-readiness io.github.Grubbomatic/crawl-readiness
Check what AI crawlers may read and what a page permits, generate llms.txt and schema.
-
mcp io.github.crawlbrulee/mcp
EU-native web scraping for AI agents. scrape pages, map sites, run background jobs, check usage.
-
zenrows-mcp io.github.ZenRows/zenrows-mcp
Zenrows MCP server: Fetch, Extract, Batch, and Browser Sessions for AI agents
-
ainative-browser-mcp io.github.AINative-Studio/ainative-browser-mcp
AI-powered browser automation MCP — 6 tools for web interaction, extraction, and validation.
Найдено по смыслу, а не по общему коду или репозиторию: похожие плагины остаются разными продуктами, и это не обзор и не рекомендация.
Хотите такой знак у своего плагина в нашем каталоге?
Докажите, что поддерживаете его, файлом в репозитории, файлом на вашем домене или DNS-записью, и сможете показать этот знак на карточке, а ещё живые баннеры для сайта и README. Как проходит подтверждение
Ещё вы будете получать уведомления, когда витрина добавит плагин, снимет его, изменит отметку verified или список того, что он просит, а его удалённый endpoint встанет на мониторинг как веб-сервис.
Данные витрины Official MCP Registry. Числа взяты из наших регулярных обходов витрин, последняя проверка . Контакты издателей плагинов мы не публикуем.