什么是机器人文本文件?
机器人文本文件被使用禁止具体或对您不想要标注的文件夹或页的所有搜索引擎蜘蛛的通入。
为什么您会想做这?
您也许创造了人员页为公司雇员, 您不想要列出。一些万维网主管使用它排除他们的客人书页如此避免人spamming 。有许多不同的原因使用机器人文本文件。
我怎么使用它?
您需要上装它对您的网站根或这不会有效- 如果您不得以进入对根的您然后将需要使用阶标记禁止通入。您需要包括用户代理和文件或文件夹禁止。
它看起来什么象?
它真正地是没什么更多比"笔记薄" 类型txt 文件名为"robots.txt"
基本的句法是
用户代理: 蜘蛛名字这里
Disallow:/ 文件名这里
如果您使用
用户代理: *
* 作为计算机通配符和禁止所有蜘蛛。您可以想要使用这停止查寻引擎列出未完成的页。
禁止一个整个目录用途
Disallow:/mydirectory/
禁止一个单独文件用途
Disallow:/file.htm
您必须使用一条分开的线为每个禁止。您不能您例如用途
Disallow:/file1.htm, file2.html
您应该使用
使用代理/*
Disallow:/file1.htm
Disallow:/file2.htm
为蜘蛛名字参观名单
http://www.robotstxt.org/wc/active/html/
确定您使用正确的句法如果您不它不会工作。您能检查您句法这里 http://www.searchengineworld.com/cgi-bin/robotcheck.cgi
为帮助在创造机器人文本文件有一节目电话robogen 。
有一个自由版本和一个先进的版本, 花费$12.99 http://www.rietta.com/robogen/
关于作者:
阿伦・Murray 是一位被证明的互联网万维网主管专业和提供SEO 服务和网站设计。
http://www.designprofessional.co.uk/SEO-Services.htm
文章来源: Messaggiamo.Com
Related:
» Seo Elite: New Seo Software!» AntiSpywareBOT
» Reverse Mobile
» Error Nuker
网管得到HTML代码
加上这条到你的网站！
网站管理员提交你的文章
无须登记！填写好的表格和你的文章是在 Messaggiamo.Com 目录！
