robots.txt是一种存放于网站根目录下的文本文件，它通常告诉网络搜索引擎蜘蛛，此网站中的哪些内容是可以被收录哪些不可以被收录。本工具支持自定义允许/拒绝所有蜘蛛、搜索间隔、限制目录、Sitemap地址，还能分别配置百度、搜狗、360、头条、神马、谷歌、必应等各大搜索引擎爬虫规则。新站上线要配robots屏蔽后台目录、不想让某些页面被收录、做SEO要管理蜘蛛爬取范围，勾选选项直接生成代码复制到根目录。不用自己手写协议规则，站长做SEO基础配置的时候特别方便。

更多在线工具，请看《网址主域名批量提取工具链接根域名解析导出》。