本文目录
- 什么是robots.txt文件在网站优化中有什么作用
- 网站robots.txt文件中这些内容是什么意思
- robots.txt怎么设置
- robots.txt文件主要是干什么的
- 关于robots.txt怎么写
- Robots.txt文件是什么文件
- robotstxt应该放在什么地方
- 什么是robots.txt文件
- 如何创建 robots.txt 文件
- .robots.txt注意事项有哪些
什么是robots.txt文件在网站优化中有什么作用
robots.txt 也就 robots协议，是搜索引擎中访问网站的时候要查看的第一个文件。通过robots.txt文件告诉搜索引擎蜘蛛哪些页面可以抓取，哪些页面不能抓取。
网站robots.txt文件中这些内容是什么意思
robots 是站点与 spider 沟通的重要渠道，站点通过 robots 文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用 robots.txt 文件。如果您希望搜索引擎收录网站上所有内容，请勿建立 robots.txt 文件。
robots 文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以 CR,CR/NL, or NL 作为结束符），每一条记录的格式如下所示： 《field》:《optional space》《value》《optionalspace》
在该文件中可以使用#进行注解，具体使用方法和 UNIX 中的惯例一样。该文件中的记录通常以一行或多行 User-agent 开始，后面加上若干 Disallow 和 Allow 行 , 详细情况如下：
User-agent:该项的值用于描述搜索引擎 robot 的名字。在 “robots.txt“ 文件中，如果有多条- User-agent 记录说明有多个 robot 会受到 “robots.txt“ 的限制，对该文件来说，至少要有一条 User-agent 记录。如果该项的值设为 ，则对任何 robot 均有效，在 “robots.txt“ 文件中，“User-agent:“ 这样的记录只能有一条。如果在 “robots.txt“ 文件中，加入 “User-agent:SomeBot“ 和若干 Disallow、Allow 行，那么名为 “SomeBot“ 只受到 “User-agent:SomeBot“ 后面的 Disallow 和 Allow 行的限制。
Disallow:该项的值用于描述不希望被访问的一组 URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以 Disallow 项的值开头的 URL 不会被 robot 访问。例如 “Disallow:/help“ 禁止 robot 访问 /help.html、/helpabc.html、/help/index.html，而 “Disallow:/help/“ 则允许 robot 访问 /help.html、/helpabc.html，不能访问 /help/index.html。“Disallow:“ 说明允许 robot 访问该网站的所有 url，在 “/robots.txt“ 文件中，至少要有一条 Disallow 记录。如果 “/robots.txt“ 不存在或者为空文件，则对于所有的搜索引擎 robot，该网站都是开放的。
Allow:该项的值用于描述希望被访问的一组 URL，与 Disallow 项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以 Allow 项的值开头的 URL 是允许 robot 访问的。例如 “Allow:/hibaidu“ 允许 robot 访问 /hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有 URL 默认是 Allow 的，所以 Allow 通常与 Disallow 搭配使用，实现允许访问一部分网页同时禁止访问其它所有 URL 的功能。
使用 “*“and“$“：Baiduspider 支持使用通配符 ““ 和 “$“ 来模糊匹配 url。 ““ 匹配 0 或多个任意字符 “$“ 匹配行结束符。
最后需要说明的是：百度会严格遵守 robots 的相关协议，请注意区分您不想被抓取或收录的目录的大小写，百度会对 robots 中所写的文件和您不想被抓取和收录的目录做精确匹配，否则 robots 协议无法生效。
robots.txt怎么设置
robots.txt的使用方法和详细解释
robots.txt对于大多数有网站优化经验的朋友来说并不算太陌生，用过的朋友肯定会有感受，设置好robots.txt对网站优化来说利远远大于弊。今天彭宇诚就与大家分享一下robots.txt的使用方法，希望对大家有所帮助。
我们先来认识一下什么是robots.txt？
我理解的是robots.txt是通过代码控制搜索引擎蜘蛛索引的一个手段，以便减轻网站服务器的带宽使用率，从而让网站的空间更稳定，同时也可以提高网站其他页面的索引效率，提高网站收录。
下面我们再来熟悉一下怎样使用robots.txt？
首先，我们需要创建一个robots.txt文本文件，然后在文档内设置好代码，告诉搜索引擎我网站的哪些文件你不能访问。然后上传到网站根目录下面，因为当搜索引擎蜘蛛在索引一个网站时，会先爬行查看网站根目录下是否有robots.txt文件。
robots.txt文件内的代码书写规范我们也要注意，其中User-agent:*是必须存在的，表示对所有搜索引擎蜘蛛有效。Disallow:是说明不允许索引哪些文件夹。
robots.txt文件主要是干什么的
robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。
因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据。
关于robots.txt怎么写
robots 是站点与 spider 沟通的重要渠道，站点通过 robots 文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用 robots.txt 文件。如果您希望搜索引擎收录网站上所有内容，请勿建立 robots.txt 文件。
robots 文件往往放置于根目录下，包含一条或更多的记录，这些记录通过空行分开（以 CR,CR/NL, or NL 作为结束符），每一条记录的格式如下所示： 《field》:《optional space》《value》《optionalspace》
在该文件中可以使用#进行注解，具体使用方法和 UNIX 中的惯例一样。该文件中的记录通常以一行或多行 User-agent 开始，后面加上若干 Disallow 和 Allow 行 , 详细情况如下：
User-agent:该项的值用于描述搜索引擎 robot 的名字。在 “robots.txt“ 文件中，如果有多条- User-agent 记录说明有多个 robot 会受到 “robots.txt“ 的限制，对该文件来说，至少要有一条 User-agent 记录。如果该项的值设为 ，则对任何 robot 均有效，在 “robots.txt“ 文件中，“User-agent:“ 这样的记录只能有一条。如果在 “robots.txt“ 文件中，加入 “User-agent:SomeBot“ 和若干 Disallow、Allow 行，那么名为 “SomeBot“ 只受到 “User-agent:SomeBot“ 后面的 Disallow 和 Allow 行的限制。
Disallow:该项的值用于描述不希望被访问的一组 URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以 Disallow 项的值开头的 URL 不会被 robot 访问。例如 “Disallow:/help“ 禁止 robot 访问 /help.html、/helpabc.html、/help/index.html，而 “Disallow:/help/“ 则允许 robot 访问 /help.html、/helpabc.html，不能访问 /help/index.html。“Disallow:“ 说明允许 robot 访问该网站的所有 url，在 “/robots.txt“ 文件中，至少要有一条 Disallow 记录。如果 “/robots.txt“ 不存在或者为空文件，则对于所有的搜索引擎 robot，该网站都是开放的。
Allow:该项的值用于描述希望被访问的一组 URL，与 Disallow 项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以 Allow 项的值开头的 URL 是允许 robot 访问的。例如 “Allow:/hibaidu“ 允许 robot 访问 /hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有 URL 默认是 Allow 的，所以 Allow 通常与 Disallow 搭配使用，实现允许访问一部分网页同时禁止访问其它所有 URL 的功能。
使用 “*“and“$“：Baiduspider 支持使用通配符 ““ 和 “$“ 来模糊匹配 url。 ““ 匹配 0 或多个任意字符 “$“ 匹配行结束符。
最后需要说明的是：百度会严格遵守 robots 的相关协议，请注意区分您不想被抓取或收录的目录的大小写，百度会对 robots 中所写的文件和您不想被抓取和收录的目录做精确匹配，否则 robots 协议无法生效。
Robots.txt文件是什么文件
.什么是robots.txt文件? 搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访 问一个网站时，会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文 本文件。您可以在您的网站中创建一个纯文本文件robots.txt，在文件中声明该 网站中不想被robot访问的部分或者指定搜索引擎只收录特定的部分。 请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用 robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立 robots.txt文件或者创建一个内容为空的robots.txt文件。 2.robots.txt文件放在哪里? robots.txt文件应该放在网站根目录下。举例来说，当spider访问一个网站（比如 以上的信息来自百度大叔，呵呵，大家都清楚robots.txt的作用了吧？那么今天 我们讲的就是它！它里放的是不想让我们看到的文件，那么robots.txt它本身呢 ？它本身让不让我们看呢？换句话说，我们要是搜索robots.txt是不是一样可以 达到偷窥的效果呢？呵呵，我们来试下，打开google, 输入：inurl:robots.txt
robotstxt应该放在什么地方
robots.txt是要放到根目录下面的。
所谓的根目录就是你的网站程序所在的那个目录，一般的根目录貌似都是个叫WEB或者www文件夹robots.txt文件必须驻留在域的根目录，并且必须命名为“robots.txt”。位于子目录中的robots.txt文件无效，因为漫游器只在域的根目录这个文件。如果您没有访问域的根目录，可以使用限制访问robots元标记。
什么是robots.txt文件
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
如何创建 robots.txt 文件
您可以在任何文本编辑器中创建此文件。该文件应为
ASCII
编码的文本文件，而非
HTML
文件。文件名应使用小写字母。语法
最简单的
robots.txt
文件使用两条规则：User-Agent:
适用下列规则的漫游器Disallow:
要拦截的网页这两行被视为文件中的一个条目。您可根据需要包含任意多个条目。您可在一个条目中包含多个
Disallow
行和多个
User-Agent。应在User-Agent
行中列出什么内容？
user-agent
是特定的搜索引擎漫游器。网络漫游器数据库列出了许多常用漫游器。您可设置应用于特定漫游器的条目（通过列示名称）或设置为应用于所有漫游器（通过列示星号）。应用于所有漫游器的条目应与下列条目类似：User-Agent:*Google
使用多种不同漫游器（用户代理）。用于网络搜索的漫游器是
Googlebot。Googlebot-Mobile
和
Googlebot-Image
等其他漫游器遵循您为
Googlebot
设置的规则，您还可为这些特定漫游器设置附加规则。应在Disallow
行中列出什么内容？
Disallow
行列出了您要拦截的网页。您可列出具体网址或网址模式。条目应以正斜杠开头
(/)
开头。要拦截整个网站，请使用正斜扛。
Disallow:/要拦截目录及其中的所有内容，请在目录名后添加正斜扛。
Disallow:/private_directory/要拦截网页，请列出该网页。
Disallow:/private_file.html网址区分大小写。
.robots.txt注意事项有哪些
1.如果你希望搜索引擎收录网站上所有的内容，那么就不要建立robots.txt文件。
2.如果同时存在动态和静态链接，那么建议屏蔽动态链接。
3.robots.txt只能是屏蔽站内文件的，对站外文件没有屏蔽功能。
4.User-agent，Allow，Disallow，Sitemap的首字母都是大写的。
5.User-agent，Allow，Disallow，Sitemap的冒号后面都是有空格的，没有写空格直接写接下来的内容会出错。
6.网站通常会屏蔽搜索结果页面。因为搜索结果页和正常展示的内容页相比，标题和内容上相同的，而这两个页面链接是不同的。那搜索引擎该将这篇文章归属于哪个内链呢?这样就会造成内链之间相互竞争，造成内部资源损耗。
7.建议屏蔽js文件。Disallow: /*.js$，以 .js 结尾的路径统统被屏蔽，这样就屏蔽了js文件。
8.路径是区分大小写的。Disallow: /ab/ 和 Disallow: /Ab/ 是不一样的。
9.robots.txt会暴露网站相关目录，写robots.txt时要考虑到这一点。
10.有些seo会将文件直接备份在服务器中，文件是 .zip 格式，然后在robots.txt中屏蔽。个人不建议这样，这就是明显告诉人家你的备份文件位置。建议文件和数据都备份到本地。
27外部链接是什么意思？
外链就是指在别的网站导入自己网站的链接。导入链接对于网站优化来说是非常重要的一个过程，外链可以有效的增加网站的流量。
