robots.txt 生成
控制搜索引擎爬取规则
主页
导航
工具
搜索引擎:
所有爬虫 (*)
Googlebot
Bingbot
百度蜘蛛
搜狗蜘蛛
添加规则
User-agent: *
Disallow
Allow
添加路径
生成
复制
下载
清空
生成的 robots.txt
快速模板
允许所有
禁止所有
WordPress
常见屏蔽