搜索引擎不可告人的小秘密

神奇的搜索结果

当你在搜索栏输入单词“服饰(dresses)”并点击回车键。最先得出的结果会是什么?

当然，有很多的可能性。可能是梅西百货。也可能是专业连锁，比如J，Crew或Gap(美国服装品牌)。

好的，那输入“床上用品(bedding)”呢?结果可能是家居产品零售商BedBath&Beyond，沃尔玛，或者是亚马逊网站上的床上用品板块。

搜索“小地毯(Area rugs)”呢?结果可能是美国本土家居连锁店Crate&Barrel，也可能是家得宝公司(HomeDepot)，多种经营零售公司Sears，家装用品零售商Pier 1或者任何一个含有“area rug”的网页，比如。你可以想象出商家们对这些搜索结果的激烈竞争。但在最近的几个月，一个名字神奇地雄踞在很多关键词搜索的第一位，它就是“J.C.Penney.”该公司击败了数百万的网站――不仅仅在搜索“dresses，bedding and area rugs”(服饰，床上用品，小地毯)等关键词的时候。数月来，无论搜索词是贴近大众的(如“桌布”)还是不常见的(如“索环窗帘”)，该公司始终占据搜索结果首位或接近首位。

这个惊人的表现持续了数月，在网购高峰的假期更是突出。在搜索一些产品时，J.C.Penney甚至打败了生产这些产品的制造商网站。例如，搜索“新秀丽便携行李箱”时，Penney公司数月来占据搜索结果第一位，排在新秀丽官网之前。

拥有1100多家商店，2010年有178亿美元的总收入，Penney公司毫无疑问是美国零售业的佼佼者。然而，谷歌的既定目标是通过筛选互联网的每个角落来找到最重要的相关网页。

网络搜索真的能证明Penney公司在这些方面居于最重要的地位吗?

“黑帽”技术：网络搜索的秘密

《纽约时报》委托一位线上搜索专家道格・皮尔斯(Doug Pierce)研究这个问题，并且研究最近几个月里Penney公司令人叹为观止的词语搜索表现的原因。道格的研究发现，这不过是数字时代最常见的行为，在谷歌搜索背后是被层层掩盖的阴谋。而这种阴谋源于网络世界内潜藏的“黑帽”优化工具。这种工具通过一些技术手段提高了网站的访问量，而谷歌视这种行为等同于作弊。

尽管“黑帽”服务不违法，但他们所使用的违规手段使谷歌不满。谷歌将它所认为的欺诈手段与“白帽”技术明显地区分开来。这种“白帽”技术由数百家咨询公司以合法的手段提供，用来增加网站知名度。皮尔斯说Penney公司的结果则被划为由欺诈手段得出的那一类。他称这种优化行为是他所见过的最雄心勃勃的尝试挑战谷歌搜索结果的行为。

为了理解使J.C.Penney公司在众多搜索结果中位于首位的技术，你需要知道网站是如何在谷歌搜索结果中排在前几位的。清楚点说，我们讨论的是“有机”的搜索结果――换句话说，就是未付广告费的搜索结果。在得出有机结果时，谷歌算法会引入许多准则，而这些，谷歌公司是不会提及的。但它详细描述了一个关键的因素：网站间的互链。

例如，你拥有一个有关中餐的网站，当其他网站链接你的网站时，你的网站在谷歌中的搜索排名就会提升。链接越多，网站的排名就会越高。

如果你的网站上附加了足够多的其他链接，甚至是那些与中餐毫无关联的链接，这样做也可以提高网站的点击率。有人花钱在众多网站设置大量关键字，这些关键字的指向就链接到Penney公司网站。

这些链接不带有任何认证信息。通过使用一种“打开网页浏览器”(OpenSite Explorer)的在线工具，皮尔斯发现了含有诸如“休闲服装”“晚装”“黑色礼服”或者“燕尾服”等短语的共计2015页网页。点击这2015页上的任何一个此类短语，页面就会直接跳转到J.C.Penney主页的服装页面上。

这2015个网页中的一些，至少在名义上与衣服相关，但大多数则毫无关系。“黑色礼服”短语和Penney网的链接被挂在了一个与核能工程有关的网站下方。“晚礼服”出现在一个赌博的网站上。“燕尾服”出现在保加利亚产权门户网站。“休闲服装”出现在艾里斯托银行网站。“半正式礼服”则相当不协调的被粘贴在教育类信息网站上。

链接到JCPenney网页的服装页面的关键词包括：疾病，照相机，汽车，狗，铝板，旅行，打鼾，钻石开采，浴室瓷砖，宾馆家具，在线游戏，商品，钓鱼，AdobeFlas软件，玻璃浴室门，笑话和牙医――而关键词的范围仍在不断扩充。

降级：搜索引擎的应对

当你浏览到如此大量与Penney网站链接的网站时，你会意识到应该重新认识互联网的环境。开发这些废弃网站作为链接是谷歌所禁止的。谷歌规定禁止使用欺诈行为提升搜索引擎排名，包括它提到的“链接阴谋”。违者会受到严厉的惩罚：公司在谷歌搜索结果排名中被降至末尾。

2006年，谷歌宣布它发现了宝马公司使用黑帽技术提升该公司德国官方网页BMW.de的点击率。这个网页被“从搜索结果中消除”，BBC称其为“死刑”。

上周，《泰晤士报》发送给谷歌它所搜集到的关于链接到J.C.Penney主页的证据。谷歌随即采访了公司互联网垃圾清理团队的负责人马特・卡茨(Matt Cutts)。卡茨在看过付费链接在J.C.Penney网站上的清单后说：“我能确认这违反了我们的规定”。

他表示，谷歌已经发现了三次与J.C.Penney网站有关的对现有规定的威胁，去年11月尤为频繁。每次，他们都采取降低Penney网站在搜索结果中排名的方法――卡茨避免使用“惩罚”这个词――但谷歌并没有随后“回头”检查Penney公司是否仍在违反规定。

在这次谈话中，卡茨表现的相当乐观并泰然自若，这让我们感到吃惊。你可以从对话中获得这样的信息，卡茨和他的同伴敏锐地意识到他们所拥有的“作为法官、陪审团和上诉委员会”的巨大权力，并渴望建立一种成熟公正的网络氛围。

“我对这件事的发生感到高兴吗?”他接着问到。“当然不。谷歌将会采取强有力的纠正措施吗?当然会。”

谷歌的确这么做了。周三晚，谷歌开始对Penney公司采取了一项名为“手动操作”的降级行动。

东部时区的周三晚上7点，J.C.Penney公司仍是“新秀丽便携旅行箱”的搜索结果首位。两小时后，排名下降至第71位。

当晚7点，Penney公司在“客厅家具”搜索的结果中排名第一，之后两小时它的排名降低至第68位。

换句话说，在某一时刻整个国家中Penney公司是最显著的客厅家具的网上搜索目标。而在下一时刻，它就被 真正的埋葬了。

Penney对这种瞬间发生的命运逆转的回应是，解雇其搜索引擎顾问公司SearchDex。并同时发表声明：“我们对谷歌公司因此事而降低我公司排名的行为感到失望，”布罗萨特写道，“但我们将继续积极工作来保持我们在自然搜索中的高排名。”

她补充到，虽然大量的链接确实产生了额外的收益，但这部分并没有起太大作用，J.C.Penney主页上只有7％的流量来自对有机搜索的点击。她表示这个假期中更多的利润来源于新的移动应用和店内服务亭，来源于与雅虎和时代华纳等公司的合作。

然而，搜索专家称Penney公司很可能在付费链接中获得了很大回报。如果你设想谷歌是通往地球上最大的购物中心的入口，那么那些链接会使Penney公司成为购物中心的聚焦点。

谷歌排名究竟有多值钱呢?去年五月份，Chifika网站的丹尼尔・罗比(Daniel Ruby)对这个拥有10万个网站的在线广告网络进行了研究，结果发现，一般情况下，34％的谷歌流量去往了排名第一的网站，是排名第二网站的两倍。

据谷歌的关键词评估者统计，“服装”一词在美国的平均搜索次数为每月1110万次，这个数字是基于12个月数据的平均量。因此，仅“服装”这一项，在Penney公司居于谷歌搜索排名第一位时，可能每月就吸引了大约380万人次的访问量。至于这些访问究竟有多少转化为销售额，以及每单销售额有多大，就只有Penney公司自己才知道了。

就在一月份，该公司对其假日在线销售的状况还是感到得意洋洋。Penney公司一位发言人凯特・库尔斯(Kate Coultas)一月份在写给一名记者的信中谈到，“在感恩节后一周和圣诞节前一周这样重要的假日购物期间JCP网站的点击量和订单显著增加，使得12月份的网上销售强劲增长。”

不少网站业主似乎对Penney公司在它们主页上安插广告链接很开心。但也有例外，其中包括cocamall.ch网站。这网站是由一名25岁，健谈的瑞士信息安全分析师科新・卡米歇尔(corsin Camichel)所有并经营的。

“服装”一词夹在一小堆链接间，出现在空白的Cocaman网站页面上。

该链接来自网站，这个网站付给卡米歇尔先生相应的点数。接着他用这些点数换取链接来将流量引到他的其他网站上，比如。当人们访问该网站并点击广告时他就赚钱了。据他所说，他还可以从TNX网站得到报酬。目前，他的网站Cocaman上有403个链接，所有的链接都是TNX代表顾客放上去的。

回响：问题远未结束

想要面对面访问“黑帽”服务的供应商并不容易。他们是一群低调的人。但是，一名自称与Penney公司的链接阴谋没有任何关系的链接销售专家――马克・史蒂文斯(Mark Stevens)同意接受采访。但接受访问的条件是隐去他所在公司的名字。

他提到几个月前其公司招惹谷歌的后果。“这是我的错，”史蒂文斯先生说。“我在斯坦福大学工程学的校友邮箱栏里了一个招聘信息，并提到了我们公司的名称及我们的工作范围。我想有些谷歌员工看到了这则信息。”短短几天的时间里，在谷歌搜索里就找不到这家公司了。如今，该公司换了新名字，甚至在其所在的办公大楼里都表现得很低调。

“关键是要缓慢地退出这场链接战”，他说道，“现在很多公司都很着急。他们想要我们尽可能快地帮他们设置更多的链接。但谷歌公司会察觉到。它会关注到那些在一周内的链接量从零发展到数百的网站。”

他说，开启这场网页大战的人，依赖的实际上是一些低租金的垃圾网站，也就是一种按照谷歌网站质量评级措施评出的网页等级较低的网站。

史蒂文斯先生说，那些网站的所有者，或者是他所谓的发行商，通过每个链接得到一小部分酬金，而这种交易完全通过网络进行。

你可能会认为史蒂文斯先生对谷歌有些蔑视，因为他通过他的职业生涯去设法颠覆它。但整个晚上，他几次提到，他对谷歌公司及其搜索引擎的品质是很敬畏的。

那么，他是如何为他破坏谷歌引擎进行的所有努力辩护的呢?

“我认为我们需要区别两种不同类型的搜索――信息类搜索和商业类搜索”，他说。“如果你搜索‘癌症’，这就是一个信息类搜索，谷歌的信息类搜索能力是很棒的。但是，在商业类搜索方面，谷歌的搜索结果的确受到了污染。以我个人的经验来看，在搜索引擎优化方面支出越多，则其排名越高。”

为什么谷歌公司未能觉察到这场Penney公司已经暗地里开展了数月的链接战呢?一个疑问是，谷歌不是已经对其采取了3次打击措施吗?另一个疑问是，为什么那些搜集了大量链接的网站没有被发现?

卡茨先生强调，现在有2亿个域名，而谷歌公司仅有2.4万名雇员。

“垃圾邮件一直屡禁不止”，他说到。与这些垃圾邮件发送者作斗争是一项永不停息的工作，而这正是他认为谷歌正在变得越来越好的原因之一。

另一种假设是，这是利益集团的一个阴谋。去年，《广告时代》获得了一份谷歌文件，其中列出了谷歌的一些广告大客户，包括AT&T公司，eBay(易趣)，当然还有J.C.Penney公司。该文件指出，Penney公司每月在谷歌搜索引擎广告上花费246万美元。

当被问及Penney公司是否由于广告投资而获得排名的上升时，卡茨先生答道：“答案绝对是否定的。”接下来，他为谷歌作出的将恪守业务层面与资金层面分开的承诺作了一番慷慨激昂的辩护。他说，前者对后者的影响为零。

卡茨先生说，他不打算写Penney公司的情况，正如2006年他对于宝马的做法一样。他解释说，他很少当众曝光一个公司，因为谷歌的目标是保存结果的真实完整，而不是去为难人。

“但是，我们不谈论它”，他说，“并不意味着我们不会采取强有力的行动。”