Robots.txt工具集 - 生成&检测搜索引擎规则

Robots.txt 工具集

1. 选择搜索引擎

2. 允许爬取的路径（每行一个）

3. 禁止爬取的路径（每行一个）

4. Sitemap 地址（可选）

5. 爬取延迟（秒，可选）

# 请点击 "生成 Robots 文件" 按钮来查看预览 # Robots.txt # 生成时间:

网站域名

Robots.txt 内容

检测指定爬虫

请选择检测方式并点击按钮开始检测

1. User-agent: 指定爬虫
2. Disallow: 禁止路径
3. Allow: 允许路径
4. Sitemap: 网站地图
5. Crawl-delay: 访问间隔