Google 网站管理员工具刚刚发布了一个 Labs 功能，其中有个功能叫做 Fetch as Googlebot ，你可以在这里模仿 Googlebot，查看你自己的网页代码。不过这个功能是必须通过管理员验证的网站才能查看，没有网站管理权限就没机会了。

2、安装 Firefox 扩展插件，名字叫 User Agent Switcher

这个 User Agent Switcher 可以模仿 IE6、IE7、IE8、Googlebot、Msnbot、Yahoo Slurp、iPhone 3.0，同时这个扩展插件还可以自定义机器人，添加或者删除，如图。

再补充一些：User Agent String几乎将所有的 Googlebot 都在这个页面列举出来了，有兴趣进一步研究的可以查看，自己添加和修改机器人，应该还包括不少google的服务器IP资源

3、安装 SEOBOOK 为 SEOer 量身定做的工具条

SEOBOOK 里面也有 User Agent 切换功能，不光是 Googlebot、MSN bot、Yahoo Slurp，还有其他浏览器的IE、 Netscape、Opera 等。

如图

4、修改注册表（只限于IE,不推荐）

将下面代码另存为：Useragent.reg，然后确认就可以使用了。

Windows Registry Editor Version 5.00
[HKEY_LOCAL_MACHINE\SOFTWARE\Micro$oft\Windows\Curr entVersion\Internet Settings\5.0\User Agent]
@=”Googlebot/2.1″
“Compatible”=”+hxxp://www.googlebot.c0m/bot.html”

为了防止修改完后改不回来，这里再附加一段修改回的代码，另存为

Windows Registry Editor Version 5.00
[HKEY_LOCAL_MACHINE\SOFTWARE\Micro$oft\Windows\Curr entVersion\Internet Settings\5.0\User Agent]
@=”Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)”

5、修改 Firefox Config 的方法

设置方法，打开火狐，Ctrl+T新建一个浏览标签，输入：about:config，打开配置页面，右键点击页面选择“ 新建→字符串”，在弹出的窗口中 输入：general.useragent.override，确定之后，输入：Googlebot/2.1(+http: //www.googlebot.com/bot.html)，继续确定，关闭窗口。

若想修改回来，请提前做好备份，当然你也可以在这里拷贝，我用的最新的firefox：

Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.0.15) Gecko/2009101601 Firefox/3.0.15

6、使用 Lynx 模仿 Googlebot

使用诸如 Lynx 的文本浏览器来检查您的网站，因为大多数搜索引擎信息采集软件查看您网站的方式与 Lynx 几乎一样。如果诸如 Javascript、Cookie、会话 ID、框架、DHTML 或 Flash 等复杂功能造成您无法在文本浏览器中看到整个网站，则搜索引擎信息采集软件在抓取您的网站时可能会遇到问题。

国平自己写了一个 Lynx 在线版浏览器插件

7、HTTrack

软件的官方网站是：http://www.httrack.com/ 软件安装后可以换成中文界面。一般用它来检测网站的坏链接和测试搜索引擎对这个网站可能面临的抓取问题。另外用它也可以探知一些SEO做法的由来。详见国平的博客

8、使用 GSA（Google Search Appliance ）

Google 推出 GSA 的目的是让那些信息量暴增的企业和机构能用它建立自己的搜索引擎。它支持的格式有 220 多种，你可以用它来抓取和收录自己的博客、网站、数据库和网络文件夹等等。它是机器和软件全部打包在一起的。

来自国平的博客：你可以把这个 GSA 看做是 Google 的微缩版，它有爬虫，有索引库，有排序算法。它的的硬件和软件都是现在 Google.com 这个网站正在用的东西。所以两者之间相似程度非常的高。我在过 去操作 Google mini 的时候已经证实：至少它的抓取机制和现在的 Google.com 几乎是一摸一样的。

其他方法，等你补充

本文首发 SEM Watch ，转载请注明出处。欢迎大家留言或者来信（talk[at]SEMWatch.org）

您可能也喜欢：
模仿 Googlebot 机器人查看你网页的代码	Google 每天都会抓取一次 Robots.txt	优化网页速度-SEOs和Web开发者可执行的技巧	分析师的囧事-1：保留原有设计
无觅

而在这个 Labs 功能下面还有一个查看恶意软件的细节功能，自动侦测。

Fetch as Googlebot

在这个功能下，你可以查看任何你自己站点页面代码，通过 Google 机器人的视角，好好的审视自己的站点。操作过程很简单，只要点击 Labs 打开功能，点击 Fetch 按钮查看，等待 Google 机器人的处理，几秒钟后，再刷新一下就可以看到结果了。

有朋友奇怪了，这和我们平时看网页的源代码有什么不同呢？ 为什么要麻烦蜘蛛再来一次，而且必须在网站管理员工具中查看

• 首先你可以看到 Http 的头信息，这个信息可以通过 Live HTTP Headers 等工具查看到，但是直接查看源代码是看不到的，见上图中最顶部，相当于有个小探针，帮你查看更多的服务器信息和其他相关信息。
• 其次你可以比较蜘蛛看到的信息和人看到的信息有什么不同。这个工具用的是和 Google 抓取网页的那个 Googlebot 及其人一样的IP，一样的方式，一样的 user-agent，如果你在不知情的情况下被人进行了代码修改，在蜘蛛下和人为下看到的代码不一样（英文叫 clocking），就可以靠这个工具来检查了。
• 还有你可以用这个工具测试一些变化，比如重定向。

在这个工具中你还能发现一些额外的东西，比如 javascript 能被 googlebot 抓取

我没有 flash 站，有的朋友也可以看看 flash 在 Googlebot 中是什么样子的。

目前测试发现 Google 机器人只能抓取前 100000 字节的内容，有人就会觉得网页文件最好不要超过这个大小，还有人说做链接不要放在底部。其实这个没关系，这个只是工具的作用，跟真实的 Googlebot 机器人还是有一定差距，你看看新浪的首页，肯定不止 100KB。

小知识：什么是 Cloaking？

通常是说在 Web 服务器上使用一定的手段，对搜索引擎中的巡回机器人显示出与普通阅览者不同内容的网页。

现象 1：为了提高在搜索引擎中的名次，不自然地大量向网页中输入关键字，使其不展现给普通用户,单是选择性地发给搜索引擎的一种手法。

现象 2：黑链，今年就流行黑客了。当然，普通黑客的所谓黑链，人可以直接在源代码里看出来，但若有高手用了cloaking，那就不得了。 （据传搜索引擎会对 cloaking 的网站进行严惩）

小知识：如何测试我的重定向？

用这个工具测试的话，就不用再去等待 Google 重新收录你的网站，比如我们给 www.semwatch.org  做了重定向，自动跳到 semwatch.org，你就可以通过这个工具了检测是否顺利了。

本文首发 SEM Watch，转载请注明出处,欢迎大家留言或者来信（talk[at]SEMWatch.org） ，或者在 twitter 上 Follow SEMWATCH 。懒得翻墙推的，也可以来新浪围脖我们拉。

您可能也喜欢：
八种以 Googlebot 查看网页的方式	Google 网站管理员工具升级：关键词报告	Google 网站管理员多用户功能发布	Google 每天都会抓取一次 Robots.txt
无觅

Google 通常每天都会来扫描一下 robots.txt

这是印象中 Google员工第一次从官方层面进行表态说 蜘蛛通常每天会来访问robots.txt这个文件

打个比方就 像每天吃饭一样，忽然一顿不吃或者一直没的吃 (饿死了？)，对蜘蛛来说感觉是很不好的。

robots.txt 文件对抓取网络的搜索引擎漫游器（称为漫游器）进行限制。这些漫游器是自动的，在它们访问网页前会查看是否存在限制其访问特定网页的 robots.txt 文件。如果你想保护网站上的某些内容不被搜索引擎收入的话，robots.txt是一个简单有效的工具。

这里举一个robots.txt的例子：

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~name/

其中 User-agent 我知道的有 Baiduspider、Googlebot、msnbot、Yahoo、Sogou、YodaoBot、Sosospider。相信这些名字，大家一看就知道了。

而最新的 Bing.com，据传用的也是 MSNbot，当然还会有一些分类，如 MSNBot-Media 负责图片，MSNBot-NewsBlogs 负责新闻和博客，MSNBot-Products 负责产品和购物车程序等等。

详细的写法，你可以参考一下 Google，依样画一下葫芦：http://www.google.com/robots.txt

本文首发搜索引擎营销观察，转载请注明。

您可能也喜欢：
模仿 Googlebot 机器人查看你网页的代码	Google Panda 更新那点事	用 site: 查 Google 收录靠谱吗？	时代精神2010-Google之一年一回头
无觅