LogoClawIndex
案例技能关于
LogoClawIndex

geo-crawlers - 分析网站的 AI 爬虫访问权限

分析 robots.txt、元标签和 HTTP 标头，绘制 AI 爬虫访问地图并提供可见性建议。

标签

更新于: 2026-10-03
AI 爬虫robots.txtGEO网站可访问性爬虫分析

能力

检查 robots.txt 规则检查元标签检查 HTTP 标头判断爬虫访问权限

典型输入

网站 URL网站内容

典型输出

AI 爬虫访问地图可见性建议

该技能可以做什么

  • 检查 robots.txt 规则
  • 检查元标签
  • 检查 HTTP 标头
  • 判断爬虫访问权限
  • 绘制爬虫访问地图
  • 提供可见性建议

输入

  • 网站 URL
  • 网站内容

输出

  • AI 爬虫访问地图
  • 可见性建议

要求

    来源

    • 规范: SKILL.md

    ClawIndex

    OpenClaw Skills 与 Use Case 索引

    ClawIndex 是一个生态驱动的 OpenClaw Skills 与真实 Use Case 索引站。

    索引

    Skills·
    Cases

    Meta

    关于·
    声明·
    邮箱·
    GitHub
    © 2026 ClawIndex 保留所有权利。