Търсачката паяци загуби без ръководство - след този знак!
В robots.txt файл е изключване стандарт изисква от всички уеб роботи / роботи да им каже кои файлове и директории, които искате да скриете от сайта си. Не всички роботи / ботове следва изключване стандарт и ще продължи да пълзи вашия сайт или иначе. Харесва ми да ги наричаме "Bad Ботове" или trespassers. Ние ги блокира от изключване ПР, което е друга история entirely.This е много прост преглед на основите за robots.txt уебмастъри. За пълно и задълбочено урок http://www.robotstxt.org/To посещение видите подходящ формат за малко по стандарт robots.txt файл гледайте директно по-долу. Този файл трябва да бъде в основата на домейна, защото че е мястото, където роботите се очаква тя да бъде, а не в някои второстепенни directory.Below е подходящ формат за файл robots.txt -----> User-Agent: * Забрана: / CGI-BIN / Забрана: / снимки / Забрана: / група / User-Agent: MSNbot Crawl-забавяне: 10User-Agent: Teoma Crawl-забавяне: 10User-Agent: Slurp Crawl-забавяне: 10User-Agent: aipbot Забрана: / User-Agent: BecomeBot Забрана: / User-Agent: psbot Забрана: / --- -----> Край на robots.txt fileThis малки текстови файлове се записва като обикновен текстов документ и винаги с името "robots.txt" в корена на domain.A ви бърз преглед на включените в списъка на информация от файла robots.txt по-горе следва. В "Потребителски агент: MSNbot "е от MSN, Yahoo Slurp е от и Teoma е от AskJeeves. Изброените другите са" лош "ботове, че обхождане много бързо и да се ползват, но никой не си, така че ние ги молим да се скриете напълно. * В звездичка див карта, която означава "всички" роботите / паяци / ботове трябва да стоят далеч от тази група от файлове или директории listed.The ботове дадена инструкция "Забрана: /" означава, че те трябва да стоят далеч изцяло и тези с "Crawl-забавяне: 10" са тези, които обходен нашия сайт прекалено бързо и я е довело до блато надолу и прекомерна употреба на ресурсите на сървъра. Google обхожда по-бавно от другите и не се нуждае от тази инструкция, така че не е изрично изброени по-горе robots.txt файла. Crawl-забавяне обучение е необходимо само за много големи сайтове със стотици или хиляди страници. В маска знака * се отнася за всички роботи, ботове и паяци, включително Googlebot.Those ние, при условие че "Crawl-закъснение: 10" Инструкция за иска са толкова, колкото 7 страници всяка секунда и затова ги накарал да се забави. Числото, което виждате е секунди и можете да го смените с костюм сървъра си капацитет, въз основа на техните пълзи курс. Десет секунди между страница искания е далеч по-припряно и да ги спира да пита за повече страници от вашия сървър може да съблазнителен вид. (Можете да откриете колко бързо и роботи паяци са пълзи като се потърси в суров сървъра си дневници - страници, които показват, поискана от точно време, в рамките на стотна от секундата - да получите от вашия уеб хост или попитайте вашия уеб или ИТ лице. Вашият сървър логове може да да се намери в главната директория, ако имате достъп до сървъра, можете да изтеглите обикновено компресирани файлове сървъри от правото календарни дни изключва сървър. Ще ви трябва програма, която може да се разшири компресирани файлове, за да отворите и прочети тези обикновен текст суровини сървъра файлове дневника.) За да видите съдържанието на файла robots.txt просто напишете robots.txt след всяко име на домейн. Ако имат този файл, вие ще видите, че показва като текстов файл във вашия уеб браузър. Кликнете върху линка долу, за да се види, че преписката за Amazon.comhttp: / / www.Amazon.com / robots.txtYou да видите съдържанието на всеки сайт на файла robots.txt, че way.The robots.txt показани по-горе е, което ние в момента използват в Publish101 уеб съдържание дистрибутор, току-що стартира през май 2005 година. Направихме един широк казус и публикува поредица от статии на робота поведение и закъсненията индексиране известен като Google таксуването. Тази Google Пясък Case Study е много поучителен на много нива за уебмастъри навсякъде за важността на това често се пренебрегват малко нещо текст file.One ние не очакваме да събере от научните изследвания, участващи в индексиране закъснения (известен като Google Пясък) е значението на robots.txt файлове бързо и ефикасно индексиране от паяци от големите търсачки, а броят на тежките обхожда от ботове, че ще направим не по земното добре да се собственика на сайта, все още индексиране повечето сайтове широко и силно, като се прецеждат сървъри на точката на пречупване с искания за следващите страници по-бързо от 7 страници в second.We открити в стартирането ни за нов сайт Google и Yahoo, че ще обходим на сайта независимо дали използвате файла robots.txt, но MSN изглежда го изискват, преди те ще започнат да пълзи на всички. Всички търсачки изглежда искане на преписката по редовно да се провери, че не е changed.Then когато правите го промените, те ще спрат да пълзи за кратки периоди и многократно поиска, че robots.txt файл през това време, без да пълзи допълнителни страници. (Може би те имат списък на страници за посещение, включващо директория или файловете, които са дали нареждане да остане извън и сега трябва да коригират своите пълзи график за премахване на тези файлове от списъка им.) Най- уебмастъри инструктира бота да се скриете от "образ" директории и "CGI-бен" директория, както и всички директории, съдържащи частни или лични файлове, предназначени само за потребители на интранет или парола защитени части на вашия сайт. Ясно е, че трябва да се ръководи ботове да се скриете от всички частни области, които не искате индексирани от значение търсене engines.The на robots.txt рядко се обсъжда от средната уебмайстори и аз дори имаше някои от моя клиент бизнес "уебмастъри ме питат каква е тя и как да го приложи, когато им кажа колко е важно за двете сайт за сигурност и ефикасно индексиране от търсачките. Това трябва да бъде стандарт знания от уебмайстори в значителна компании, но това показва колко малко внимание се отделя на използването на robots.txt.The търсачката паяци наистина искате вашите указания и този мъничък текст файл е най-добрият начин за предоставяне на роботите и ботове ясно упъти към предупреждават разстояние trespassers и защита на частната собственост - и горещо приветствам поканени гости, като големите три търсачки, докато ги пита добре да се скриете от частни areas.Copyright ÃÆ'à ¢ В, ¬ Е ¡Ãƒâ € SA, В © 17-ти август 2005 година от Майк банки ValentineGoogle Пясъци Case Study http://publish101.com/Sandbox2 Майк банка Валентин работа http://Publish101.com безплатен уеб съдържание разпределение на членовете в пазара и предоставя съдържание агрегация, оптимизация на прессъобщението, както и допълнително съдържание за уеб търсачка позициониране
Член Източник: Messaggiamo.Com
Related:
» Credit Secrets Bible» Cash Making Power Sites
» Home Cash Course
» Automated Cash Formula
уебмастъра Вземи Html кодекс
Добави тази статия на вашия сайт сега!
уебмастъра Подайте членове
Не е необходима регистрация! Попълнете формата и статията ви е в Messaggiamo.Com директория!
