60 день песочнице для Google И askjeeves; MSN индексирует быстрее, Yahoo следующая
Поискового сервера задержки стали называться Google Песочницы эффект действительно верно на практике на каждом из четырех началу ярус поисковые системы в той или иной форме. MSN, кажется, имеет короткие задержки индексации на 30 дней. Данная статья является второй в серии после пауков с помощью нового веб-сайта, начинающийся 11 мая 2005 года, когда сайт был впервые выступил жить в этот день в соответствии с недавно приобрели домен name.First Case Study ArticlePreviously мы смотрели на первых 35 дней и подробный сканирование поведении Google, Teoma, MSNbot и чавкать, как они пересекали страницах этого сайта. Мы обнаружили каждый робот паук дисплее отличается поведение в частоту сканирования и индексирования различных аналогичным patterns.For ведения Есть примерно 15 до 20 новых страниц добавлены на сайт в день, которые связаны с домашней страницы за один день. Структура сайта является нетрадиционным не категорий и ссылок структура связана с автором страницах список своих статей, а также "похожие статьи" индекс изменяются со ссылками на соответствующие страницы, содержащие аналогичные content.So Рассмотрим, где мы с каждым паука сканирование и посмотреть на страницах просканированы и сравнить страниц индексируются engine.The AskJeeves паука, Teoma просканировала большинство страниц на сайте, пока не индексирует Страницы 60 дней на момент написания этих строк. Это, безусловно, является сайт старение что задержка по модели компании Google Песочницы поведение. Несмотря на то, что Teoma паука из Ask.com просканировала больше страниц на сайте, чем любого другого двигателя свыше 60-дневный период и, как представляется, устали от сканирования, поскольку они уже не вернулись, поскольку 13 июля - их первый перерыв в 60 days.In течение первых двух дней, робот Google gobbled 250 страниц и не вернулись до 60 дней, но не индексируется еще одну страницу в течение 60 дней, поскольку они сделали, что первоначальное сканирование. Но робот Google проявляет повышенный интерес к сканированию сайте, поскольку это сканирование исследование статья была опубликована на нескольких высоких трафик сайта. Теперь робот Google ищет на несколько страниц в день. До сих пор не более 20 страниц на явно непримечательные темпами, а истина "сканирования", которая будет держать его на оккупированных лет, если продолжение что slowly.MSNbot просканированные робко за первые 45 дней, глядя в течение от 30 до 50 страниц в день, но не до тех пор, пока они обнаружили файл robots.txt, в котором мы пренебрегали разместить на сайте в течение недели и затем bobbled мяч, как мы изменили на сайте структуры, то не удалось осуществить robots.txt в новом субдоменами до 25 дня - и тогда MSNbot не вернулись до 30 дня. Если еще немного было обнаружено около первоначального сканирования и индексирования, мы убедились в том, что MSNbot в значительной мере опирается на том, что файл robots.txt и надлежащего осуществления этого файла скорость crawling.MSNbot теперь сканирование с энтузиазмом в любом месте от 200 до 800 страниц в день. По сути, мы были вынуждены использовать "сканировать-задержка" в файле robots.txt MSNbot после поражения начал 6 страниц в секунду на прошлой неделе. В настоящее время MSN индекс показывает 4905 страниц за 60 дней в этом эксперименте. Кэшированные вносятся изменения в неделю. MSNbot, по-видимому, было установлено, что он любит, как мы изменили структуру страниц включить новую функцию, которая ссылки на вопросы, от ряда других статье pages.Slurp становится неактивным странно затем поочередно гиперактивности для периодов времени. В Yahoo сканер будет выглядеть на 40 страницах один день, а затем в следующем 4000, то просто посмотрите на главной странице сайта в течение нескольких дней, а затем перейти обратно в 3000 страниц на следующий день и обратно только в анализе файла robots.txt для двух дней. Соответствие не является проклятием, понесенный чавкать. Yahoo в настоящее время показывает, 6 страниц в индексе, на одной странице ошибок, а другой является "Индекс / к" страница, когда мы еще не размещена на главной странице несколько субдоменов. Но имеет чавкать просканированные легко 15,000 страниц date.Lessons узнали в первые 60 дней на новом сайте следующие: 1) Google сканирует 250 страниц в первом открытия ссылки на сайт. Тогда они не вернутся до тех пор, пока они находят больше связей и сканирование медленно. Google не удалось индекса нового домена в течение 60 days.2) Yahoo ищет ошибок страниц, и как только они находят плохой связи будет сканировать их неустанно, пока вы не сообщите им, чтобы остановить его. Тогда не будет сканировать на все за неделю до тех пор, пока сканирования сильно один день и слегка следующий в случайном fashion.3) MSNbot требует файлов robots.txt и как только они решат они, как ваш сайт, может очень быстро сканировать, что требует "сканировать-задержка" инструкции в том, что robots.txt файл. Осуществлять immediately.4) Бад-ботов может напряжения ресурсов и ударил слишком много страниц слишком быстро, пока Вы не сообщите им, чтобы уклониться. Мы запретили 3 роботов прямо после того, как они slammed наших серверов на один день или два. Отметил "aipbot" просканированные первом затем "BecomeBot" пришли вместе, а затем "Pbot" из Picsearch.com просканированные активно ищет файлы изображений у нас нет. Бад-ботов, оставаться вне. Лучший осуществлять robots.txt исключений для всех, но если рейтинг двигателей сканер штамма сервере ресурсов. Мы рассмотрели за исключением китайской поисковой системы Baidu.com назвали, когда они начали сканирование сильно преждевременно. Мы не ожидаем, объем трафика с Китаем, но зачем исключать одна миллиардов людей? Тем более, что Google является слухами будет рассматривать возможности покупки Baidu.com как вступление в китайском рынке нижняя линия заключается в том, что мы обнаружили все двигатели, как представляется, задержки индексации новых доменов Имена, по крайней мере за тридцать дней. Google до сих пор задержки индексации Этот новый домен в течение 60 дней после первого сканирования. AskJeeves просканировала тысячи страниц, при этом никто не индексировать их. MSN индексирует быстрее, чем все двигателей, однако, требует файл robots.txt. Yahoo в чавкать сканирует снова покинуть снова в течение 60 дней, но только шесть индексов общей 15,000 или более страниц сканируется в date.We, похоже, урегулирован, что существует четкое индексирование безотлагательно, но ли этот сайт, конкретно является "Sandboxed" и задержек ли применять универсально менее ясна. Многие веб-мастера утверждают, что они были полностью индексируется в течение 30 дней с момента первой публикации в новом домене. Мы любви, чтобы другие дорожки пауков с помощью новых объектах следующий запуск в документе свои результаты публично, чтобы индексировать и сканирование поведения proven.ÃƒÆ 'A ¢ A, Е ¬ ¡Ãƒâ € С.А. ", © Copyright 18 июля 2005 Майк Банки Банки ValentineMike Валентина является поисковой оптимизации специалисту, который работает WebSite101 учебное пособие по электронной коммерции и будет продолжать доклады исследование хроники поиска индексирование Publish101
Статья Источник: Messaggiamo.Com
Related:
» Credit Secrets Bible» Cash Making Power Sites
» Home Cash Course
» Automated Cash Formula
Вебмастер получить html-код
Добавить эту статью на Вашем сайте прямо сейчас!
Вебмастер представить свои статьи
Не требуется регистрация! Заполните форму и ваша статья в Messaggiamo.Com каталог!
