60дни пясък за Google & AskJeeves; MSN индекси бързо, Yahoo следващата
Търсене закъснения двигател листинг са дошли да се нарича Google таксуването ефект действително вярно на практика във всяка от четирите най-подреждане търсачки в една или друга форма. MSN, изглежда, е най-краткият индексиране закъснение на 30 дни. Тази статия е втората от поредицата след паяци чрез чисто нов уеб сайт началото на 11 май 2005 г., когато на мястото е за първи път живеят на този ден по една новозакупени домейн name.First Case Study ArticlePreviously гледахме в първата 35 ден и са описани подробно пълзи поведението на Googlebot, Teoma, MSNbot и Slurp, тъй като те преминават на страниците на този нов сайт. Открихме, на всеки робот паяк показва различно поведение в индексиране честотата и по същия начин различните референтни индексиране patterns.For, има около 15-20 нови страници добавени в сайта дневно, които са свързани всяка от началната страница за един ден. Структура на сайта е нетрадиционен, без категории и обвързване структура свързана с автор страници листинг техните членове, както и "свързани статии" индекс разнообразни чрез свързване на съответните страници, съдържащи подобни content.So нека преглед, където сме с всеки паяк пълзи и погледнете страници влечуго и сравни страници индексирани от engine.The паяк AskJeeves, Teoma е индексирал повечето от страниците на сайта, все още не индекси 60 дни по-късно страницата на този запис. Това е ясно едно място застаряването на забавяне, който е по модела на поведение на Google таксуването. Въпреки че паяк Teoma от Ask.com е индексирал повече страници в този сайт, отколкото всеки друг двигател над 60-дневен срок и изглежда уморен от пълзене, тъй като не сте върнати от 13 юли - първия си пробив в 60 days.In през първите два дни, Googlebot gobbled до 250 страници и не се завръщат до 60 дни по-късно, но не е индексирана дори една страница за 60 дни, тъй като те направиха, че първоначалният обхождане. Но Googlebot показва подновен интерес от индексиране на сайта, тъй като това индексиране член казус беше публикувана на няколко високи трафик сайтове. Сега Googlebot търси в няколко страници всеки ден. Досега не повече от около 20 страници на определено незначителни темпове, истински "Crawl", че ще запази заети в продължение на години, ако продължи тази slowly.MSNbot обходен плахо за първи от 45 дни, гледам повече от 30 до 50 страници дневно, но не и докато не намери robots.txt файл, който ще пренебрегвани може да публикувате на сайта за една седмица и след това bobbled топката като променихме сайт структура, а след това не успя да приложи robots.txt в новите домейни, докато 25 дни - и след това MSNbot не се върне до 30-ти ден. Ако нищо друго бяха открити за първоначално обхожда и индексиране, видяхме, че MSNbot зависи в голяма степен на този файл robots.txt и правилното изпълнение на този файл ще ускори crawling.MSNbot е натъпкана с ентусиазъм в порядъка 200-800 страници дневно. В интерес на истината, ние трябваше да се използва "Обхождане-забавяне" команда в robots.txt файл, след като започна MSNbot удря 6 страници в секунда миналата седмица. Индексът MSN сега показва 4905 страници 60 дни в този експеримент. Кеширане на страниците промяна за седмицата. MSNbot е очевидно установено, че тя се интересува от това как ние промяна на страницата структура, която да включва една нова функция, която връзки към въпроси от няколко други pages.Slurp член получава странно неактивни след това последователно хиперактивно за периоди от време. В робот Yahoo ще разгледаме 40 страници един ден и след това 4000 следващите, след това просто погледнете на началната страница в продължение на няколко дни и след това скочи обратно в 3000 страници на следващия ден и обратно само за два прегледа robots.txt дни. Последователността не е проклятие, понесени от Slurp. Yahoo сега показва 6 страници в индекса, един милион грешки страница и друга да е "индекс / на" страница като ние не са написали начална страница на няколко поддомейна. Но е Slurp обходен лесно 15,000 страници, за да date.Lessons научили в първите 60 дни на новия сайт следва: 1) Google обхожда 250 страници при първото разкриване на връзки към сайта. Тогава те не се връщат, докато не намерите връзки и индексиране бавно. Google не е индекс на нов домейн за 60 days.2) Yahoo търси грешки страници и след като намери лоши връзки ще ги обходим непрекъснато, докато не им каже да го спрете. Тогава няма да пълзя на всички в продължение на седмици, докато пълзи силно един ден и леко следващите в произволен fashion.3) MSNbot изисква robots.txt файлове и след като реши като вашия сайт, може да обходим твърде бързо, което изисква "обхождане-забавяне" инструкции в тази robots.txt файл. Прилагане immediately.4) Бад ботове може щам ресурси и удар твърде много страници, много бързо, докато не им кажа да се скриете. Ние забранени 3 ботове окончателно, след като провалиха нашите сървъри за един ден или два. Отбеляза, че "aipbot" обходен първи след "BecomeBot" се появи и след това "Pbot" от Picsearch.com обходен силно търсите файлове с изображения, ние нямаме. Бад ботове, остана извън. Най-добро прилагане robots.txt изключения за всички, но началото двигатели, ако техните роботи щам сървъра си ресурси. Ние считаме с изключение на китайския търсачка Baidu.com име, когато те започнаха силно в началото на индексиране. Ние не очакваме много трафик от Китай, но защо едно изключи милиарда хора? Особено след като Google е да се говори, като се има предвид евентуална покупка на Baidu.com за влизане на китайски market.The линия дъното е, че сме открили всички двигатели изглежда забавяне индексиране на нов домейн Имената на най-малко тридесет дни. Google досега е забавено индексиране Тази нова област в продължение на 60 дни, тъй като за първи път го пълзи. AskJeeves е обходен хиляди страници, а индексирането нито един от тях. MSN индекси по-бързо от всички двигатели, но изисква robots.txt файла. На Yahoo Slurp обхожда отново на разстояние отново в продължение на 60 дни, но индексът само шест от общо 15 000 или повече страници обходен да date.We изглежда да са се установили, че съществува ясна индексиране закъснение, но дали този сайт е специално "Sandboxed" и дали закъснението прилага навсякъде е толкова ясна. Много уебмастъри твърдят, че са индексирани напълно в рамките на 30 дни от първото публикуване на нов домейн. Ние искаме Обичам да виждам другите паяци следите чрез нови обекти след стартирането да се документира резултатите от тях публично, така че индексирането и обхождането поведение proven.ÃƒÆ "А ¢ В, ¬ Е ¡Ãƒâ € SA, В © Copyright 18 юли 2005 Майк банки ValentineMike банка Валентин е търсене специализирани машини, които работят WebSite101 електронната търговия начинаещи и ще продължи доклади на казус хроника търсене индексиране на Publish101
Член Източник: Messaggiamo.Com
Related:
» Credit Secrets Bible» Cash Making Power Sites
» Home Cash Course
» Automated Cash Formula
уебмастъра Вземи Html кодекс
Добави тази статия на вашия сайт сега!
уебмастъра Подайте членове
Не е необходима регистрация! Попълнете формата и статията ви е в Messaggiamo.Com директория!
