robotsseo

1、有关seo中的robots文件的写法，谁可以帮我详细解答下呢

做SEO时，最好是把Robots.txt文件写好，下面说下写法：
搜索引擎Robots协议：是放置在网站根目录下robots.txt文本文件，在文件中可以设定搜索引擎蜘蛛爬行规则。设置搜索引擎蜘蛛Spider抓取内容规则。
下面是robots的写法规则与含义：
首先要创建一个robots.txt文本文件，放置到网站的根目录下，下面开始编辑设置Robots协议文件：

一、允许所有搜索引擎蜘蛛抓取所以目录文件，如果文件无内容，也表示允许所有的蜘蛛访问，设置代码如下：

User-agent: *
Disallow:

或者

User-agent: *
Allow: /

二、禁止某个搜索引擎蜘蛛抓取目录文件，设置代码如下：

User-agent: Msnbot
Disallow: /

例如想禁止MSN的蜘蛛抓取就设为，Msnbot代表MSN的蜘蛛，如果想禁止其他搜索引擎就更换蜘蛛名字即可，其他蜘蛛名字如下：
百度的蜘蛛：baiduspider
Google的蜘蛛： Googlebot
腾讯Soso:Sosospider
Yahoo的蜘蛛：Yahoo Slurp
Msn的蜘蛛：Msnbot
Altavista的蜘蛛：Scooter
Lycos的蜘蛛： Lycos_Spider_(T-Rex)

三、禁止某个目录被搜索引擎蜘蛛抓取，设置代码如下：
User-agent: *
Disallow: /目录名字1/
Disallow: /目录名字2/
Disallow: /目录名字3/

把目录名字改为你想要禁止的目录即可禁止搜索引擎蜘蛛抓取，目录名字未写表示可以被搜索引擎抓取。

四、禁止某个目录被某个搜索引擎蜘蛛抓取，设置代码如下：

User-agent: 搜索引擎蜘蛛名字 说明(上面有说明蜘蛛的名字)
Disallow: /目录名字/ 说明(这里设定禁止蜘蛛抓取的目录名称)

例如，想禁目Msn蜘蛛抓取admin文件夹，可以设代码如下：
User-agent: Msnbot
Disallow: /admin/

五、设定某种类型文件禁止被某个搜索引擎蜘蛛抓取，设置代码如下:

User-agent: *
Disallow: /*.htm 说明(其中“.htm”，表示禁止搜索引擎蜘蛛抓取所有“htm”为后缀的文件)

六、充许所有搜索引擎蜘蛛访问以某个扩展名为后缀的网页地址被抓取，设置代码如下:

User-agent: *
Allow: .htm$ 说明(其中“.htm”，表示充许搜索引擎蜘蛛抓取所有“htm”为后缀的文件)

七、只充许某个搜索引擎蜘蛛抓取目录文件，设置代码如下：

User-agent: 搜索引擎蜘蛛名字 说明(上面有说明蜘蛛的名字)
Disallow:

2、熊掌号必备seo知识1:robots文件

　最近很多站长咨询关于熊掌号的问题，包括熊掌号和传统seo之间的关系等，熊掌号在给网站提供更多的品牌特型、内容保护之外，是否会遵循seo的基础原理呢?曲曲小姐姐将在以后给大家逐一分享。

搜索引擎对网站抓取，内容判断等，仍根据搜索友好度进行判断。近来收到站点反馈，希望加入熊掌号，但是在网站检测中，我们发现，网站内写了robots文件屏蔽百度抓取，这种情况下，百度是无法提取网站内容的;即便网站通过熊掌号注册来提交数据，百度也无法抓取网站内容。

网站设定robots后，在搜索结果下的图示

有一些站点有意或无意中封禁了百度蜘蛛的抓取，导致网站内容无法在百度搜索结果中正常展现。无疑，这样的情况对网站和搜索引擎都非常不利。因此，我们希望网站能够解除对百度蜘蛛的封禁，保证数亿百度用户可以顺利搜索到所需内容，也保证站点可以得到应得的流量。

如果您的网站在无意中封禁了百度蜘蛛，或者您担心出现此类问题，可通过搜索资源平台的robots工具对robots文件进行检查，也可通过此内容了解百度UA/IP，《只需两步，正确识别百度蜘蛛》，解除对百度蜘蛛的封禁。

3、熊掌号和传统seo之间的关系：robots文件解除

搜索引擎对网站抓取，内容判断等，仍根据搜索友好度进行判断。近来收到站点反馈，希望加入熊掌号，但是在网站检测中，我们发现，网站内写了robots文件屏蔽百度抓取，这种情况下，百度是无法提取网站内容的;即便网站通过熊掌号注册来提交数据，百度也无法抓取网站

有一些站点有意或无意中封禁了百度蜘蛛的抓取，导致网站内容无法在百度搜索结果中正常展现。无疑，这样的情况对网站和搜索引擎都非常不利。因此，我们希望网站能够解除对百度蜘蛛的封禁，保证数亿百度用户可以顺利搜索到所需内容，也保证站点可以得到应得的流量。

如果您的网站在无意中封禁了百度蜘蛛，或者您担心出现此类问题，可通过搜索资源平台的robots工具对robots文件进行检查，也可通过此内容了解百度UA/IP，《只需两步，正确识别百度蜘蛛》，解除对百度蜘蛛的封禁。

4、seo中robots.txt是什么意思？

它是一种存放于网站根目录下的文本文件，通常告诉搜索引擎蜘蛛 网站中哪些内容是不能被搜索引擎蜘蛛获取的 哪些是可以获取的

5、网站优化中robots文件重要吗

不一定，要看做什么啊

6、关于robots写法.有经验的seo朋友来帮我看看.

User-agent:
*
Disallow:
/uk/
Disallow:
/us/
禁止除了htm页面意外的其它文件的收录这个不懂，seo不会这样禁止的吧，至少做了几年还没有这样做过，静态化的时候所有页面都改过了。除非是后台，后台直接禁止访问，或者是网站的个人设置一类的页面，直接就禁止就行了。

7、网站上线之后被收录了，再添加robots文件屏蔽蜘蛛，对于seo有意义吗？

很多新手站长都在因为这个问题而提问，我顺便来解答一下。
一个没有完善的网站是不应该直接上线的或者说这样对你网站的发展并没有任何好处，建议完全屏蔽roboots禁止被收录，因为搜索引擎是通过数据分析后才收录这样给你网站带来不了任何好处，网站上线一旦给搜索引擎一个不好的印象在想被收录或者说得到好的排名就不是那么容易了。
很多站群站长都很值这个理念，不过你不用担心收录问题，只要文字内容好，蜘蛛爬取内容不是很困难没有大量js和flv就是好的，如今是内容时代，所以你网站没有完善好之前肯定会有一些url不规范错误页面，内容重复，没必要的页面应该先nofollow避免权重分散。

网站分析@赵昌宇 为您解答！

8、织梦robots文件怎么写利于seo优化

robots文件，是网站和搜索引擎之间用来进行交流的一个协议
里面告诉搜索引擎什么内容不要去抓取，什么是可以抓取的，可以充分的利于蜘蛛抓取配额
不会浪费蜘蛛去抓取网站上面，没有意义的内容，让蜘蛛更多的去抓取想要被抓取的内容。
楼主可以到seo 十万个为什么里面去多了解下robots方面的知识哦。

9、蜘蛛访问不到ROBOTS 对SEO 有影响么？ 老是返回404页面。

在网站seo优化来的过程中常常需要通源过一个名为robots.txt的文件与搜索引擎蜘蛛对话。通常来讲，搜索引擎蜘蛛爬行到某一个网站就会首先读取该文件，并按照文件中的规则执行接下来的行为。当一个网站中有一些网站不需要被搜索引擎收录时，往往就会通过robots.txt来限制搜索引擎蜘蛛对这个网页的抓取。网站robots.txt中对某个网页屏蔽了蜘蛛的收录，但搜索引擎还是会对该网页进行抓取，只不过在相关搜索结果中不会展现这些网页内容。所以robots.txt对搜索引擎优化有一定的影响的，在搜索引擎的结果中不会显示你的网站页面的相关内容。