利用rewrite重写规则屏蔽蜘蛛抓取网站
限制蜘蛛抓取可以用robots.txt，但是并非所有蜘蛛都会严格遵守，所以robots.txt也可以认为是“君子”协议，非“君子”可能一样会抓取，所以要用rewrite方式直接拒绝访问。 注：规则中HTTP_USER_A...
wordpress使用代码向百度蜘蛛主动推送链接
简介说明 1. 站长主动向百度搜索推送数据，可缩短爬虫发现网站链接时间，可加快爬虫抓取速度，但无法解决网站内容是否收录问题。 2. 百度搜索资源平台为站长提供链接提交通道，但不...