在百度普通的抓取蜘蛛（ Baiduspider ）之外，百度还放养着两类变异的蜘蛛，这两类变异蜘蛛一类称为 cpro，另一类叫做 sfkr，专爬百度的“关系户”。

今天在 Google 帮助论坛上看到了一位 googler 说的关于 robots.txt 的事[download id="null"]