生成网站 robots.txt 与 Sitemap 声明
上线新站要告诉爬虫怎么爬。这个工具按你填的允许、禁止路径和 Sitemap 生成 robots.txt,复制贴到站点根目录即可,配 SEO 基础很顺手。