使用在googlebots沙盒與啜食, teoma, & msnbot -蜘蛛顯示不同的個性
有不盡的Web站點管理員猜想,并且對」憂慮-索引時延為新的域名-被傳言的所謂的「Google沙盒的首先持續從「發現」日期的至少45天由Googlebot。 這认可了目錄延遲來叫「Google沙盒作用」。
自从索引延遲在春天的2004年,首先被注意了在時延這個的沙盒的算法元素的反芻廣泛排列了。 一些认为它是好搜索引擎優化的一個唯一元素的問題例如連接競選。 鏈接大廈是多數討論焦点,但是其他集中于一個新的站點的大小的可能性或內部連接的結構或特定时间延遲作为多数相關的算法元素。
而不是造成這猜想和进一步泥濘沙盒,我們看一個站點的一個专题研究一個新的域名的,建立5月11日2005年和具體站點結構,提議活動,外在和內部連接。 我們將看見這怎麼充当搜索引擎蜘蛛活動對索引日期在名列前茅四個查尋引擎。
準備好? 我們怎麼將給日期和在每日名單的履帶牽引裝置行動并且看見這所有戲劇隨著時間的推移在這個唯一新的站點。
*在最近被購買的域名和現場張貼的大站點的2005 5月11日,基本的文本在几天之前結束。 搜尋友好的結構實施與連接的文本使充分的發現所有內容成为可能由機器人。 主頁更新與每日增加的10新的文本目录页。 Google的「增加URL」提議頁的遞交的站點。
* 5月12日- 14日-參觀不啜食, MSNbot、Teoma或者Google。 (啜食是雅虎的蜘蛛,并且Teoma從要求Jeeves)在WebSite101的張貼的鏈接對在Publish101.com的新的領域
* 5月15日- Googlebot在尋找,但是不發現robots.txt文件以后到達和熱切地爬行在新的領域的245頁。 Oooops! 得到增加那個robots.txt文件!
* 5月16日- Googlebot為5頁和中止还返回。 啜食貪婪狼吞虎咽1480頁和1892個壞鏈接! 那些壞鏈接是由我們被认为的電子郵件掩沒造成的把壞馬胃蠅蛆关在外面。 多么諷刺啜食喜歡這些。
* 5月17日-啜食發現1409個掩沒的鏈接&仅209新的目录页。 当它寻找那文件失蹤时,第一次MSNbot參觀和日間请求robots.txt 75次,但是葉子! 最终着手在几天末端之前增加robots.txt &中止啜食爬行的電子郵件掩沒的鏈接并且告诉MSNbot它是安全进来!
* 5月23日- Teoma蜘蛛第一次出现并且爬行93頁。 站點得到關上由BecomeBot,擊中頁每5到7秒并且勞損我們的與2409個速射要求的资源頁的蜘蛛。 對robots.txt把他們关在外面的排除名單的增加的BecomeBot。
* 5月24日- MSNbot停止出现一個星期從找到robots.txt文件失蹤。 啜食出现每隔幾小時看robots.txt和再离开沒有爬行任何,即然它從電子郵件掩沒的鏈接被排除。 BecomeBot看上去尊敬robots.txt排除,但是日間请求那個文件109次。 Teoma还爬行139頁。
* 5月25日-我們意识到我們需要再分配服務器资源,并且数据库设计和這要求對URL的變動,意味所有以前爬行的頁現在是壞鏈接! 實施subdomains并且想知道現在什麼? 因为robots.txt未被移動向新的目录结构,啜食出现和發現數以萬計新的電子郵件掩沒的鏈接。 蜘蛛得到錯誤頁在新的參觀。 疾走灭火,在廣泛對站點之後的變動,我們錯過此一個星期。 蜘蛛行動是多斑點的10天,直到我們固定robots.txt
* 6月4日- Teoma回歸和爬行590頁! 沒有其他。
* 6月5日- Teoma回歸和爬行1902頁! 沒有其他。
* 6月6日- Teoma回歸和爬行290頁。 沒有其他。
* 6月7日- Teoma回歸和爬行471頁。 沒有其他。
* 6月8-14奇怪的蜘蛛行為,看仅robots.txt。
* 6月15日-啜食得到渴,吞1396頁! 沒有其他。
* 6月16日-啜食渴,一大口1379頁! 沒有其他。
因此我們休假這裡在5個星期點并且注意到頂面履帶牽引裝置的非常另外行為。 Googlebot一次參觀和看看頁的一個堅固數字,但是不返回一個月。 啜食發現壞鏈接并且似乎上癮對他們,是鏈接通过得到robots.txt摑啜食對它的感覺的它停止爬行的好頁,直到告訴解雇壞酒,唔。 MSNbot參觀尋找那robots.txt,并且不會爬行直到告訴的任何頁什麼做由robots.txt文件。 Teoma爬行像瘋狂,作為斷裂,然后為更多回來。
這行為也许仿效設計他們软件工程师的不同的個性。 Teoma是頑強和堅硬工作。 MSNbot是怯懦的并且需要指示,并且一些再保證它做着正确的事,慢慢地和小心地採摘頁。 啜食有致癮個性并且不規律地執行在任意日程表。 Googlebot看一看好長的并且离开。 誰知道它是否將回来,并且什么时候。
现在我們看標註由每個引擎。 自在7月7日的這文字,每個引擎也顯示不同的索引行為。 Google不顯示被標註的頁,雖然它爬行了250頁幾乎二個月前。 雅虎有被標註的三頁在不列出幾乎8,000頁中的任一它比其中任一有爬行的一個清楚的老化慣例(不所有分條列述以上。) MSN迄今安排187頁被標註,当爬行少量頁其他时。 比所有搜索引擎要求Jeeves迄今爬行了更多頁,未標註單頁。
如果您使用詢問操作員「站點,其中每一個引擎將顯示被標註的頁的数量:publish101.com」沒有行情。 MSN 187頁什么都,不要求,雅虎3頁, Google無。
在三個星期沒列出的每日活動從上面的6月16日比其他引擎,上上下下不規律地啜食和每日慢慢地會集30到50頁的MSN未顯著變化,当Teoma爬行更。 Google是缺席的。
連接競選是最小的與崗位對讨论目录、兩三篇文章和一些博克活動。 回顾在這时间期间它是明顯的目錄延遲從查尋引擎的看法實際上是相當易察覺的。 我們的站點更改結構和失誤的robots.txt實施似乎突然使爬行,但是每項引擎顯示清楚地不同的政策失去作用索引行為由每個主要球員。
沙盒不顯然地是仅Google的操場,但是它在幾乎二数月以后一定是討厭的。 我認為我希望动身去家,吃午餐和現在採取休息。
回到類,在我們动身去天小傢伙之前。 我們今天學會了什麼? 手錶早履帶牽引裝置活動和肯定及早實施robots.txt和为壞馬胃蠅蛆經常调整。 噢是和沙盒屬於所有查尋引擎。
麥克銀行華倫泰是操作
http://WebSite101.com,并且繼續記載
http://Publish101.com的查尋索引专题研究報告的搜索引擎優化專家
文章來源: Messaggiamo.Com
Related:
» Credit Secrets Bible
» Cash Making Power Sites
» Home Cash Course
» Automated Cash Formula
網管得到HTML代碼
加上這條到你的網站!
網站管理員提交你的文章
無須登記!填寫好的表格和你的文章是在 Messaggiamo.Com 目錄!