发挥googlebots与嘟嘟地喝,TEOMA的沙箱,与MSNBot会-蜘蛛显示不同的个性
出现了无休止的管理员猜测,担心所谓的“谷歌沙盒” -即对新域名的索引时间延迟-传言至少45天,最后由首次“发现日期”由 Googlebot的。这承认上市延迟来到被称为“谷歌沙盒效应”。这个沙盘上的时间延迟的算法分子不等,因为索引拖延广泛思索是首次发现的 2004年春天。有些人认为它是连接等活动的一个很好的搜索引擎优化的单个元素的问题。链接建设一直是最多的讨论焦点,但其他国家对重点 对一个新的网站或内部连接结构或只是作为最相关的比有助于实现这一猜测,并进一步泥泞沙盒算法elements.Rather大小的具体时间延迟的可能性,我们将 看一个新域名的网站案例研究,确立2005年5月11日,具体网站结构,提交的活动,外部和内部连接。我们将看到了如何在搜索的引擎 在四大搜索engines.Ready蜘蛛的活动与索引日期?我们将给日期和履带在日常行动和列表看到这一切了关于这个单一的新址随着时间的推移.* 05年5月11日基本文本 大型网站上公布新购的域名,去年底由天活。搜索友好的结构连接利用所有内容的机器人尽可能充分地发现文本执行。主页更新了10 新的文本内容网页每天补充。谷歌网站上提交的“添加网址”提交页面.* 5月十二日至14日-由嘟嘟地喝,MSNBot会,TEOMA的或谷歌没有访问。 (嘟嘟地喝,是雅虎的蜘蛛和TEOMA的是从Ask Jeeves公司)发布链接 关于WebSite101新域名在Publish101.com * 5月15日- Googlebot的到来,并热切地爬在寻找新的领域245页,但没有找到robots.txt文件。 Oooops! Gotta补充说,robots.txt文件!* 5 16 - Googlebot的回报率是5个页面和停止。嘟嘟地喝贪婪地鲸吞1480页和1892年错误的连结!这些错误的连结是由于我们的电子邮件掩蔽为了阻挡坏的机器人。讽刺的嘟嘟地喝喜欢这些.* 5月 17 -嘟嘟地喝发现1409多只屏蔽链接和209页的新内容。 MSNBot爬访问首次和75倍的robots.txt要求在白天,但离开时,发现该文件丢失!终于四处 添加天的robots.txt年末停止嘟嘟地喝检索电子邮件联系,并让屏蔽MSNBot会知道它是安全的时候了!* 5月23日- TEOMA的蜘蛛显示了第一次和抓取93页。网站所获得的BecomeBot抨击,一 蜘蛛,点击网页的页面与2409速射要求每5到7秒和压力我们的资源。新增BecomeBot的robots.txt的排除列表,当'时间内.* 5月24日- MSNBot会已停止显示为 一个星期后找到robots.txt文件丢失。嘟嘟地喝呈现每隔几个小时的robots.txt前瞻性和地离开现在什么爬行,这是从电子邮件联系排除再次掩盖。 BecomeBot 似乎是兑现的robots.txt排除,并要求该文件的109倍白天。 TEOMA的抓取更多网页139 .* 5月25日-我们认识到,我们需要重新分配服务器资源和数据库设计和 这就需要网址的,这意味着所有以前抓取网页的链接,现在不好的变化!实现子,不知道现在怎么办?嘟嘟地喝显示和发现数以千计的新的电子邮件联系,作为掩盖了robots.txt是 不移动到新的目录结构。蜘蛛越来越访问后,新的错误页面。四处乱跑扑灭后,内容广泛,火灾现场的变化,我们错过了一个星期的。蜘蛛行动参差不齐10天 直到我们确定的robots.txt * 6月4日- TEOMA的回报和检索590页!没有其他.* 6月5日- TEOMA的回报,1902年抓取网页!没有其他.* 6月6日- TEOMA的回报和抓取290页。没有其他.* 6月7日- TEOMA的 收益和检索471页。没有其他.* 6月8日至一十四号单蜘蛛的行为,在robots.txt的眼光只放在.* 6月15日-嘟嘟地喝得到渴,一口吞下1396页!没有其他.* 6月16日-嘟嘟地喝还是渴,一口吞下1379页!否 others.So我们将采取在5个星期的休息点,并利用这里的最高抓取非常不同的行为说明。 Googlebot的一次访问在大量的网页外观,但不超过一回 一个月。嘟嘟地喝发现错误的连结,似乎对他们上瘾,因为它停止抓取良好页,直到它被告知要裁员坏酒,二是通过让robots.txt来掴嘟嘟地喝了理智的联系。 MSNBot爬访问 寻找的robots.txt,不会抓取任何网页,直到被告知什么不该做的robots.txt文件。 TEOMA的只是抓取像疯了似的,需要休息,然后回来为more.This行为可能会模仿的不同 个性的软件工程师,他们谁设计的。 TEOMA的坚韧和勤奋工作。 MSNBot是胆小,需要一些指导和保证,是做正确的事,加速缓慢的网页 仔细。嘟嘟地喝了上瘾的个性,并执行一个随机的时间表不正常。 Googlebot会需要一个很好的外观和树叶。谁知道它会回来,when.Now让我们看看在每个索引 发动机。截至7月7日这个写作,每个引擎还显示不同的索引行为以及。谷歌没有显示网页抓取索引,虽然250页近两个月前。雅虎在索引3页 清除老化例程没有列出的近8000页它迄今抓取任何(并非所有的分项以上。)的MSN有187个网页建立索引,而爬行比其他任何较少的页面。 Ask Jeeves公司已经抓取 更多网页迄今比任何搜索引擎,但并没有索引的引擎单一page.Each将显示建立索引的网页数量如果您使用查询经营者的“site:publish101.com不带引号”。质谱187 页,卖出没有,雅虎3页,谷歌none.The日常活动中没有列出的3个星期以上的6月16日以来没有与TEOMA的急剧变化,抓取比其他发动机,嘟嘟地喝起来有点不正常 慢慢下降和MSN收集30至50页的日常。谷歌是absent.Linking运动已与讨论的名单,有几篇文章和一些博客活动岗位最少的。回首这一次是 显然,上市延迟其实是相当从搜索引擎认为明智的。我们的网站结构调整和bobbled robots.txt的执行似乎突然停顿,但索引检索 每个引擎的行为明显不同的显示按主要player.The沙箱政策显然不只是谷歌的乐园,但肯定是无聊经过近两个月。我想我要离开 家庭,有一些午餐,午睡now.Back上课之前,我们有一天小子离开。我们得到了什么呢?观察早期履带活动,并确定实施的robots.txt及早调整往往 坏的机器人。噢,是的,和沙箱属于所有搜索engines.Mike银行情人节是一个搜索引擎优化专家http://WebSite101.com谁经营,并会继续记述的个案研究报告
文章来源: Messaggiamo.Com
Related:
» Credit Secrets Bible
» Cash Making Power Sites
» Home Cash Course
» Automated Cash Formula
网管得到HTML代码
加上这条到你的网站!
网站管理员提交你的文章
无须登记!填写好的表格和你的文章是在 Messaggiamo.Com 目录!
版权 2006-2011 Messaggiamo.Com -
网站地图 -
Privacy -
网站管理员提交你的文章,以 Messaggiamo.Com 目录 [0.01]