robots.txt 生成器

新站上线，得告诉搜索引擎的爬虫哪些能爬哪些不能爬。这个工具你填上允许的路径、禁止的路径，再加上 Sitemap 地址，它就生成一段 robots.txt，复制贴到站点根目录就能生效。配 SEO 基础的时候很顺手，比如不想让搜索引擎收录取后台、或者只开放部分栏目都能写。改版调整抓取范围时也常用。生成完传上去，再用搜索平台的自检工具验一下，确认规则生效，比手写那几句语法要稳，少出格式错。