# Ju7CMS 前台爬虫规则(本文件按站点根目录发布;换域名时只改最后一行 Sitemap 的主机名) User-agent: * Disallow: /ju7/ Disallow: /manage/ Disallow: /lib/ Disallow: /class/ Disallow: /cache/ Disallow: /data/ Disallow: /log/ Disallow: /block/ Disallow: /comment/ Disallow: /plug/ Disallow: /andvar.asp Disallow: /index.asp? Allow: /upfile/ # 站内搜索结果页是 noindex,follow(见 lib/search.asp),这里不 Disallow, # 否则爬虫看不到 noindex 标记,只能靠重复内容自己判别。 User-agent: Baiduspider Disallow: /ju7/ Disallow: /manage/ Disallow: /lib/ Disallow: /cache/ Disallow: /data/ Disallow: /log/ Disallow: /plug/ User-agent: Googlebot Disallow: /ju7/ Disallow: /manage/ Disallow: /lib/ Disallow: /cache/ Disallow: /data/ Disallow: /log/ Disallow: /plug/ # 只有一份静态清单:后台 生成地图(ju7/html.asp 的 html_sitemap)一次写出 sitemap1.xml 与 llms.txt, # 静态件走 IIS 静态压缩(166KB 级→3.9KB)。前台动态件 /sitemap.asp 已于 #193 删除,它同时还是 # 一个匿名可触发的写入口(#192-S8b 实测过伪造 Host 头能整份换掉发布物)。改完栏目/内容要在后台重跑。 # 换域名时只改下面的主机名。 Sitemap: https://www.576so.com/sitemap1.xml