Robots.txt生成器

生成搜索引擎爬虫规则

2 次使用

Robots.txt生成器

可视化配置并生成Robots.txt文件

* 表示所有搜索引擎，也可指定如 Googlebot、Baiduspider

使用说明

  • 配置搜索引擎爬虫的访问规则
  • Allow表示允许访问的路径，Disallow表示禁止访问的路径
  • 将生成的文件保存为robots.txt放在网站根目录

工具介绍

可视化管理网站的Robots.txt规则，控制搜索引擎爬虫访问

相关工具

IP地址查询 SSL证书检测 网站测速 DNS查询 Whois域名查询 HTTP头检测