在百度普通的抓取蜘蛛（ Baiduspider ）之外，百度还放养着两类变异的蜘蛛，这两类变异蜘蛛一类称为 cpro，另一类叫做 sfkr，专爬百度的“关系户”。 所谓关系户是指，给百度直接带来利益的网站，这种利益一是金钱（付费推广的客户）、二是内容资源（内容联盟伙伴）。对待这两类关系户，百度便培育了 [...]

今天在 Google 帮助论坛上看到了一位 googler 说的关于 robots.txt 的事[download id="null"] Google 通常每天都会来扫描一下 robots.txt 这是印象中 Google员工第一次从官方层面进行表态说 蜘蛛通常每天会来访问robots.txt这个文件 打个比方就 像每天吃饭一样，忽然一顿不吃或者一直没的吃 (饿死了？)，对蜘蛛来说感觉是很不好的。 robots.txt [...]