60 dagen zandbak voor Google & askjeeves; indexen snelste msn, yahoo volgende
Zoekmachine vertragingen zijn gekomen worden genoemd het Google Sandbox effect daadwerkelijk het geval in de praktijk op elk van de vier top-tier zoekmachines in een of andere vorm. MSN, lijkt het de kortste indexeren vertraging op 30 dagen. Dit artikel is het tweede in een serie naar aanleiding van de spinnen door middel van een gloednieuwe website die ingaat op 11 mei 2005 wanneer de site voor het eerst werd gemaakt leven op die dag onder een nieuw aangeschafte domein name.First Case Study ArticlePreviously we keken naar de eerste 35 dagen en gedetailleerd het doorzoeken gedrag van Googlebot, Teoma, Slurp MSNBot en als ze de pagina's van deze nieuwe site afgelegd. We ontdekten het elke robot spin toont duidelijk anders kruipen gedrag in frequentie en evenzo uiteenlopende indexering patterns.For referentie, zijn er ongeveer 15 tot 20 nieuwe pagina's toegevoegd aan de site per dag, die elk worden losgekoppeld van de home page voor een dag. Site-structuur is de niet-traditionele categorieën en zonder een link structuur gekoppeld aan auteur pagina's met hun artikelen, alsmede een 'aanverwante artikelen "index gevarieerd door te linken naar relevante pagina's met daarin soortgelijke content.So laten herzien waar we met elkaar spin kruipen en kijken naar pagina's doorzocht en vergelijk pagina's geïndexeerd door engine.The AskJeeves spin, Teoma heeft kroop het grootste deel van de pagina's op de site, nog geen indexen pagina's 60 dagen later op dit schrijven. Dit is duidelijk een site veroudering vertraging die is gemodelleerd op Sandbox gedrag van Google. Hoewel de Teoma spin van Ask.com heeft doorzocht meer pagina's op deze site dan enige andere motor dan een periode van 60 dagen en lijkt te zijn moe van het kruipen, omdat zij niet hebben teruggegeven sinds 13 juli - de eerste pauze in 60 days.In de eerste twee dagen, Googlebot maximaal 250 pagina's opgeslokt en kwam niet terug tot 60 dagen later, maar is niet geïndexeerd, zelfs een enkele pagina in 60 dagen, omdat zij dat eerste crawl gemaakt. Maar Googlebot toont een hernieuwde belangstelling voor het doorzoeken van de site sinds dit kruipen case artikel werd gepubliceerd op verschillende hoog traffic sites. Nu Googlebot is te kijken naar een paar bladzijden per dag. Tot nu toe niet meer dan ongeveer 20 pagina's met een uitgesproken glansloos tempo, een echte "Crawl" dat zal houden bezet jaren als vervolg dat slowly.MSNbot kroop schuchter voor de eerste 45 dagen, op zoek gedurende 30 tot 50 pagina's per dag, maar niet voordat ze een robots.txt-bestand, dat we zouden verwaarloosd te plaatsen op de site voor een week en dan bobbled de bal zoals we zelf veranderd gevonden structuur, dan niet robots.txt implementeren in nieuwe subdomeinen tot en met dag 25 - en dan MSNbot niet terug tot en met dag 30. Als weinig anders werden ontdekt over de eerste doorzoekt en indexeert, hebben we gezien dat MSNbot steunt zwaar op dat robots.txt-bestand en correcte uitvoering van dat bestand zal de snelheid crawling.MSNbot is nu kruipen met enthousiasme op ergens tussen de 200 en 800 pagina's per dag. In feite hadden we het gebruik van een "crawl-vertraging" opdracht in het robots.txt-bestand na MSNbot begon het raken van 6 pagina's per seconde vorige week. De MSN-index toont nu 4905 pagina's 60 dagen in dit experiment. Cached pagina's veranderen wekelijks. MSNbot heeft blijkbaar vastgesteld dat zij graag hoe we veranderde de pagina structuur om een nieuwe functie die de links op de vragen van verschillende andere artikel pages.Slurp krijgt vreemd inactief dan hyperactief afwisselend voor een periode van tijd te nemen. De Yahoo crawler zal worden gekeken naar 40 pagina's een dag en dan 4000 de volgende, dan gewoon kijken naar de home pagina voor een paar dagen en spring dan weer in voor 3000 pagina's de volgende dag en weer terug naar de herziening van robots.txt slechts voor twee dagen. Consistentie is niet een vloek geleden door Slurp. Yahoo toont nu 6 pagina's in hun index, een fouten in een pagina en een ander een "index / of"-pagina zoals we hebben gepost een homepage verschillende subdomeinen. Maar Slurp heeft doorzocht gemakkelijk 15.000 pagina's aan date.Lessons in de eerste 60 dagen geleerd op een nieuwe site volgt: 1) Google doorzoekt 250 pagina's op de eerste ontdekking van links naar site. Toen ze niet terugkeren totdat ze meer links vinden en te doorzoeken langzaam. Google heeft geen index nieuw domein voor 60 days.2) Yahoo zoekt naar fouten pagina's en als ze vinden slechte banden zullen onophoudelijk doorzoeken totdat je ze vertellen om het te stoppen. Dan zal niet doorzoeken op alle weken tot kruipen een dag zwaar en licht de volgende in willekeurige fashion.3) MSNbot vereist robots.txt-bestanden en als ze besluiten ze willen je site, te snel kan worden doorzocht, waarbij "crawl-vertraging" instructies in dat robots.txt bestand. Implementeren immediately.4) Bad bots kunnen middelen stam en sloeg te veel pagina's te snel totdat je ze te vertellen te blijven uit. Wij verboden 3 bots regelrechte nadat ze sloeg onze servers voor een dag of twee. Genoteerd "aipbot" kroop eerste dan "BecomeBot" kwam langs en dan "Pbot" uit Picsearch.com zwaar doorzocht op zoek naar beeldbestanden hebben we niet. Bad bots, stay out. Best te voeren robots.txt uitsluitingen voor alle motoren, maar naar boven als de crawlers stam uw server resources. We hebben overwogen met uitzondering van de Chinese zoekmachine Baidu.com genoemd toen ze kruipen zwaar vroeg op. We verwachten niet veel verkeer uit China, maar waarom sluiten een miljard mensen? Vooral omdat Google is gekletst te overwegen van een eventuele aankoop van Baidu.com als toegang tot de Chinese market.The bottom line is dat we hebben ontdekt alle motoren lijken te vertragen indexeren van nieuwe domein namen voor ten minste dertig dagen. Google tot nu toe heeft vertraagd indexering van dit nieuwe domein voor 60 dagen sinds de eerste het crawlen. AskJeeves heeft doorzocht duizenden pagina's, terwijl geen van hen indexeren. MSN indexen sneller dan alle motoren maar vereist robots.txt-bestand. Yahoo Slurp kruipt weer weer voor 60 dagen, maar indexeert slechts zes van in totaal 15.000 of meer pagina's doorzocht op date.We lijken te hebben geregeld dat er een duidelijke indexering vertraging, maar of deze site specifiek is "Sandboxed" en of de vertragingen universeel van toepassing is minder duidelijk. Veel webmasters beweren dat zij zijn volledig geïndexeerd binnen 30 dagen na de eerste plaatsen van een nieuw domein. We'd liefde te zien anderen volgen spiders via volgende nieuwe sites te lanceren om de resultaten daarvan openbaar zodat document dat indexeren en doorzoeken gedrag zijn proven.ÃƒÆ 'à ¢ â, ¬ Å ¡Ãƒâ € Ã,  © Copyright 18 juli 2005 Mike Banks ValentineMike Banks Valentijn is een zoekmachine optimalisatie specialist die opereert WebSite101 eCommerce Zelfstudie en zullen de verslagen van de case studie kroniek zoeken indexering van Publish101 verder
Artikel Bron: Messaggiamo.Com
Related:
» Credit Secrets Bible» Cash Making Power Sites
» Home Cash Course
» Automated Cash Formula
Webmaster krijgen html code
Voeg dit artikel aan uw website!
Webmaster verzenden van artikelen
Geen registratie vereist! Vul het formulier in en uw artikel is in de Messaggiamo.Com Directory!
