검색 엔진 스파이더의지도없이는 손실 - 서명을 게시!
robots.txt 파일을 배제 표준을 모든 웹 크롤 러가 필요합니다 / 로봇 어떤 파일 및 디렉토리에 당신은 그들을 귀하의 사이트에 빠져 원하는 걸 말해. 모든 크롤 러 / 로봇 배제에 따라 표준 어쨌든 귀하의 사이트를 크롤 링을 계속합니다. 전화처럼 "나쁜 봇"또는 침입자. 우리는 IP 배제에 의해 또 다른 새로운 이야기 entirely.This 그들에게 차단에 대해 robots.txt를 기본의 매우 간단한 개요입니다 웹마 스터. 완벽하고 철저하게 수업을 보려면 http://www.robotstxt.org/To 다소 표준 robots.txt 파일에 대한 바로 아래에 보이는 적절한 형식을 참조하십시오. 그 파일은 도메인의 루트에 있어야하기 때문에 어디에 그것을 크롤 러가 아닌 일부 보조 directory.Below 될 것으로 기대됩니다 robots.txt 파일을 적절한 형식입니다 -----> 사용자 에이전트 : * Disallow입니다 : /도 cgi - bin에 /은 Disallow : / 이미지 / 금지 : / 그룹 / 사용자 - 에이전트 : msnbot 크롤링 지연 : 10User 에이전트 : Teoma 크롤링 지연 : 10User 에이전트 : 후루룩 소리 내며 먹기 크롤링 지연 : 10User 에이전트 : aipbot은 Disallow : / User - Agent를 : BecomeBot은 Disallow : / User - Agent를 : psbot은 Disallow : / --- robots.txt를 fileThis의 끝 -----> 작은 텍스트 파일은 일반 텍스트 문서와 항상 위의 robots.txt 파일에 나열된 정보를 검토하여 빠른 domain.A의 루트 이름은 "robots.txt를"와 같이 저장됩니다 다음과 같습니다. "사용자 에이전트 : msnbot "MSN 친구로부터, 후루룩 소리 내며 먹기 야후입니다 Teoma AskJeeves부터입니다. 위치 목록에 다른 사람" "나쁜 로봇이 크롤 링을 매우 빠르게, 그리고 그 누구의 이익을하지만, 자신, 그래서 우리는 완전히 빠져 그들을 부탁드립니다. * 별표입니다 와일드 카드는 뜻에서 "All"크롤 러가 / 거미 / 봇 파일이나 디렉토리 listed.The의 그룹의 지침 "은 Disallow : /"그들은 완전히 있어야 그 의미 부여와 함께 보트 밖으로 있어야한다고 "크롤링 지연 : 10"그가 너무 빨리 우리의 사이트를 크롤 링하고 그것을 아래로 늪지 및 과용 서버 자원을 발생합니다. Google은 더 느리게 다른 사람 들보다 및 지침을 필요로하지 않기 때문에, 크롤 링되지 않습니다 특별히 위의 robots.txt 파일에 나열된. 크롤링 지연 지시에만 수백 또는 수천 페이지의 매우 큰 사이트에서 필요합니다. * 모든 크롤 러는, 로봇 및 스파이더가 적용되는 와일드 카드로 별표 Googlebot.Those 우리가 "크롤링 지연 : 10"명령을 많은 7 페이지를 때마다 그래서 우리는 진정 그들이 두 번째 질문을 요청했다 제공했다. 당신이 볼 수있는 번호는 초입니다 그리고 당신에 맞게 변경할 수있습니다 자신의 크롤링 속도를 기반으로 귀하의 서버 용량. 페이지 요청 사이에 10 초 훨씬 더 여유롭게 그들을 중지하고 귀하의 서버보다 더 많은 페이지를 해달라 부탁했다. (당신은 얼마나 빨리 발견할 수 로봇 스파이더가 귀하의 원시 서버 로그에서보고에 의해 크롤 링 - 어느 페이지를 정확한 시간에 의해서 2 - 귀하의 웹 호스트에서 사용할 수 백 시간을 요청하거나 웹 또는 IT있는 사람에게 표시됩니다. 귀하의 서버 로그있습니다 만약 당신이, 당신은 일반적으로 다운로드하실 수있습니다 서버에서 요일 바로 옆에 서버 로그 파일을 압축 서버에 액세스 권한이 루트 디렉토리에서 찾을 수. 당신 열고 압축 파일을 확장할 수있는 유틸리티가 필요합니다 이러한 일반 텍스트로 읽기 원시 서버 로그 파일입니다.) 모든 도메인 이름을 입력한 후 robots.txt에 어떤 robots.txt 파일의 내용을 참조하십시오. 만약 그들이 최대 파일, 당신은 귀하의 웹사이트에있는 텍스트 파일에 표시됩니다 브라우저. 아래를 클릭하십시오 링크를 Amazon.comhttp 그 파일을 참조하려면 : / / www.Amazon.com robots.txtYou 모든 웹사이트에 robots.txt 파일을 way.The robots.txt를 위에 표시된의 내용을 볼 수있습니다 / 우리는 현재 무엇을 사용합니다 에 Publish101 웹 콘텐츠 배급자, 그냥 2005 년 5 월 발표했다. 우리는 광범위한 사례 연구를 저지른 행동 크롤 러가 색인 지연 구글 샌드 박스로 알려진 일련의 기사를 발표했다. Google은 샌드 박스 사례 연구 고도의 웹마 스터를위한 많은 수준이 자주 색인에 관련된 연구에서 수집 줄은 몰랐 작은 텍스트 file.One 건 무시의 중요성을 여기저기에 대한 교육적이에요 지연 (구글 샌드 박스로)에 robots.txt 파일의 중요성을 알고 신속하고 주요 검색 엔진에서 거미, 그리고 무거운 머로부터 그렇게 할 것입니다 크롤 링의 숫자에 의해 크롤 링을 효율적으로 전혀 안 어울리는 사이트 소유자에게 좋은 아직은 광범위하고 심하게 페이지로 빠르게 second.We 새로운 사이트를 우리의 발사에서 발견된 당 7 페이지로 와주셔서 요청을 깨는 지점에 서버를 질주 대부분의 사이트를 크롤 링 구글과 야후의 여부에 상관없이 robots.txt 파일을 사용하여 사이트를 크롤 링하지만, MSN 친구가 요구하는 것 이전에 그들 모두를 크롤 링이 시작됩니다. 모든 검색 엔진 로봇에서 파일을 요청할 것 정기적으로 그것이 당신이 그것을 어떻게 변경합니까 changed.Then 않았는지 확인하려면, 그들은 짧은 기간 동안 크롤 링을 중지한다 반복해서 그 시간 동안은 robots.txt 파일을 요청 추가 페이지를 크롤 링하지 않고. (아마 그들은 페이지의 디렉터리 또는 당신이 그들 중에 빠져 지금은 자신의 목록에서 해당 파일을 제거하고 자신의 크롤 링이 일정을 조정해야 지시를 가진 파일이 포함되어있는 목록을 방문했다.) 대부분의 웹마 스터는 "이미지"디렉토리 "의 CGI뿐만 아니라 어떠한 디렉토리가 개인 또는 독점적인 의도가 포함된 파일을 인트라넷 또는 비밀 번호의 사용자만을위한 빈"디렉토리에 끼어들지 로봇 지시 귀하의 사이트의 보호 섹션. 분명히, 당신은 어떤 은밀한 부위를 당신의 robots.txt에 검색 engines.The의 중요성에 의해 색인 싶지 않아 밖으로 유지 봇이 직접해야합니다 거의 평균에 의해 설명되어있습니다 웹마 스터와 웹마 스터 심지어 일부 클라이언트 사업 '을받은 것 무엇이며 어떻게 내가 어떻게 두 사이트의 보안 및 검색 엔진에 의해 크롤 링을 효율적으로하는 것이 중요 그들에게 그것을 구현하는 내게 물어봐. 실질적인 기업의 웹마 스터에 의해이 표준 지식되어야하지만, 이런식으로 약간의 관심을 robots.txt.The 검색 엔진 스파이더가 정말 원하는 게 사용하는 지불을 보여줍니다 귀하의지도는이 작은 텍스트 파일은 무단 침입을 경고하고 사유 재산을 보호하는 크롤 러와 봇은 취소 푯말을 제공하기 위해 최선의 방법입니다 - 그리고 따뜻하게 손님을 초청, 빅 3와 같은 검색 엔진에 오신 것을 환영하면서 그들이 요구 멋지게 민간 areas.Copyright ÃÆ'à ¢ â, ¬ Å ¡ Ã⠀ SA를  © 2005년 8월 17일 마이크 뱅크스 ValentineGoogle 샌드 박스 사례 연구 http://publish101.com/Sandbox2 마이크 뱅크스 발렌타인에 의해 운영의 참견 기술 자료 마케팅 및 제공 콘텐츠를 집계, 보도 자료를 최적화 및 검색 엔진의 위치에 대한 사용자 정의 웹 콘텐츠에 대한 http://Publish101.com 무료 웹 콘텐츠 유통
ꀰ사냴ꀰ: Messaggiamo.Com
Related:
» Credit Secrets Bible» Cash Making Power Sites
» Home Cash Course
» Automated Cash Formula
샹냈 삤퀰 삻쁄 쁔냜
ꃀ큘쁘 샹사쁴킸샐쁴 뀸쀜끼 삔ꀀ 샀ꀈ 냹삥!
샹냈 삤퀰샐ꂌ ꀰ사끼 쀜삜큘ꀰ
쁄냈삔 냱끝 큄쀘! ꃀ큘쁘 삑생쁄 삑쀱큘ꃠ쁴 뀸쀜낔 Messaggiamo.Com 뀔뀉킠났!
