所谓关系户是指，给百度直接带来利益的网站，这种利益一是金钱（付费推广的客户）、二是内容资源（内容联盟伙伴）。对待这两类关系户，百度便培育了 cpro 与 sfkr 这两类专走后门的变异蜘蛛。

先来看看百度自己的描述吧！

Baiduspider-cpro：抓取百度联盟会员站点的网页以优化推广效果，只有您的网站加入百度联盟，才会被 cpro 抓取。

Baiduspider-sfkr：抓取参加百度竞价排名的网页以优化推广效果，只有您的网站参加了竞价排名或其他搜索营销服务，才会被 sfkr 抓取。

注意：Baiduspider-cpro 和 Baiduspider-sfkr 抓取的网页并不会建入索引，只是执行与客户约定的操作，所以不遵守robots协议。

我们该怎样理解百度的变异蜘蛛呢，是为百度系网站提供的福利？还是利益相关者的特殊照顾？其中的“注意”更搞笑，“抓取的网页并不会建入索引，只是执行与客户约定的操作……”这简直是此地无银，不建入索引，只执行操作，那不就等于是给其客户摆样子，随便糊弄一下嘛，瞧我的蜘蛛多勤快呀，仅此而已，那怎么能在客户的面前体现出优化了的推广效果呢？

不管如何，百度还真的称得上是有中国特色的搜索引擎呢，知道所谓的公平与公正都是瞎球扯，只要有商业利益，这个社会有个球的透明与公平。不公平也就罢了，这个世道就是这样，咱也能理解，不过起码还是需要有一些专业精神吧，既然做了就干脆做得赤裸裸一点，写到明处，让大家都知道交了钱或进入联盟能得到的具体照顾：蜘蛛勤快、自然搜索结果里显示的机会增多。这样对利益共同体也有个好交代！不过，对外的时候就别再宣称自己多么多么对中小网站一视同仁了，这样真的是几头不讨好，还落了一个“老子是流氓你能拿老子怎么样”的恶嘴脸。

本文首发 SEM Watch，转载请注明出处,欢迎大家留言或者来信（talk[at]SEMWatch.org） ，或者在 twitter 上 Follow SEMWATCH 。懒得翻墙推的，也可以来新浪围脖我们拉。

您可能也喜欢：
探一探百度凤巢的巢穴	百度搜索结果首页调整	老外眼里的百度	乱谈百度地域性影响因素
无觅

Google 通常每天都会来扫描一下 robots.txt

这是印象中 Google员工第一次从官方层面进行表态说 蜘蛛通常每天会来访问robots.txt这个文件

打个比方就 像每天吃饭一样，忽然一顿不吃或者一直没的吃 (饿死了？)，对蜘蛛来说感觉是很不好的。

robots.txt 文件对抓取网络的搜索引擎漫游器（称为漫游器）进行限制。这些漫游器是自动的，在它们访问网页前会查看是否存在限制其访问特定网页的 robots.txt 文件。如果你想保护网站上的某些内容不被搜索引擎收入的话，robots.txt是一个简单有效的工具。

这里举一个robots.txt的例子：

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~name/

其中 User-agent 我知道的有 Baiduspider、Googlebot、msnbot、Yahoo、Sogou、YodaoBot、Sosospider。相信这些名字，大家一看就知道了。

而最新的 Bing.com，据传用的也是 MSNbot，当然还会有一些分类，如 MSNBot-Media 负责图片，MSNBot-NewsBlogs 负责新闻和博客，MSNBot-Products 负责产品和购物车程序等等。

详细的写法，你可以参考一下 Google，依样画一下葫芦：http://www.google.com/robots.txt

本文首发搜索引擎营销观察，转载请注明。

您可能也喜欢：
模仿 Googlebot 机器人查看你网页的代码	Google Panda 更新那点事	用 site: 查 Google 收录靠谱吗？	时代精神2010-Google之一年一回头
无觅