1、如何为wordpress创建有利于seo的robots.txt文件
如果您不想让 Google 或其他搜索引擎访问您网站中的某些内容,请用 robots.txt 文件指定搜索引擎抓取您的网站内容的方式。这是google管理员工具对robots.txt功能的一个描述。robots.txt文件说白了就是告诉爬虫哪些网址是可以被收录那些是禁止收录的。对于大多数wordpress博主来说很少注意robots.txt,认为他无关紧要,其实不然,robots.txt在wordpress优化,网站seo方面有着很重要的作用。robots.txt不光可以保护网站隐私链接不被搜索到,而且可以控制网站内容的重复和抓取错误。下面我就写几种wordpress常用的robots.txt规则。
最简单的robots.txt规则:
User-agent: *Disallow:
这是开放式的写法,Disallow:留空,是让搜索引擎收录所有链接。
安全性的robots.txt书写规则:
User-agent: *Disallow: /cgi-bin/Disallow: /wp-Allow: /wp-content/uploads/Disallow: /*.php$Disallow: /*.inc$Disallow: /*.js$Disallow: /*.css$Disallow: /*.cgi$Disallow: /?s=
有利于seo的robots.txt书写规则:(以本站为例)
User-agent: *Disallow: /cgi-bin/Disallow: /wp-Disallow: */rss.xmlDisallow: /author/Disallow: /page/Disallow: /tag/Disallow: */trackback/Disallow: */feed/Disallow: /*.php$Disallow: /*.inc$Disallow: /*.js$Disallow: /*.css$Disallow: /*.cgi$Disallow: /*?*Disallow: /?s=Sitemap: http://www.pakelab.com/sitemap.xml
先说所我为什么这么设置。google管理员工具在分析我网站抓取错误信息的时候,发现大量链接是http://www.pakelab.com/xxxx/rss.xml的形式,为了减少抓取错误,我就让搜索不爬这些链接,Disallow: */rss.xml ,如果你没遇到和我一样的问题这一条你可以不用加。同样,如果你的网站有大量抓取错误的无效链接,你可以在这里指定不抓取。
再有就是网站元重复太严重(标题重复,描述重复,关键词重复),这严重影响搜索引擎排名,我看中的是文章页排名,所以像标签页,作者文章归档,月份存档页,分页这些我选择Disallow。因为我的文章页面在google中的权重很高,流量几乎都是文章页面的,所以才这么设置。这个根据自己网站实际情况选择性的设置。
feed和trackback的条款是一定要的,可以说wordpress 80%以上的补充材料都是和它们有关。
wordpress官方robots.txt书写规则(国外)
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /author/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# digg mirror
User-agent: ggmirror
Disallow: /
2、关于robots.txt书写的问题！
在国内，网站管理者似乎对robots.txt并没有引起多大重视，应一些朋友之请求，今天想通过这篇文章来简单谈一下.txt的写作。
robots.txt基本介绍
robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。
当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。
另外，robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
robots.txt写作语法
首先，我们来看一个robots.txt范例：http://www.seovip.cn/robots.txt
访问以上具体地址，我们可以看到robots.txt的具体内容如下：
# Robots.txt file from http://www.seovip.cn
# All robots will spider the domain
User-agent: *
Disallow:
以上文本表达的意思是允许所有的搜索机器人访问www.seovip.cn站点下的所有文件。
具体语法分析：其中#后面文字为说明信息；User-agent:后面为搜索机器人的名称，后面如果是*，则泛指所有的搜索机器人；Disallow:后面为不允许访问的文件目录。
下面，我将列举一些robots.txt的具体用法：
允许所有的robot访问
User-agent: *
Disallow:
或者也可以建一个空文件 "/robots.txt" file
禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
禁止某个搜索引擎的访问（下例中的BadBot）
User-agent: BadBot
Disallow: /
只允许某个搜索引擎的访问（下例中的Crawler）
User-agent: Crawler
Disallow:
User-agent: *
Disallow: /
另外，我觉得有必要进行拓展说明，对robots meta进行一些介绍：
Robots META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots META标签也是放在页面的＜head＞＜/head＞中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。
Robots META标签的写法：
Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。
INDEX 指令告诉搜索机器人抓取该页面；
FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；
Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。
这样，一共有四种组合：
＜META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"＞
＜META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW"＞
＜META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW"＞
＜META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"＞
其中
＜META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"＞可以写成＜META NAME="ROBOTS" CONTENT="ALL"＞；
＜META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"＞可以写成＜META NAME="ROBOTS" CONTENT="NONE"＞
目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以限制GOOGLE是否保留网页快照。例如：
＜META NAME="googlebot" CONTENT="index,follow,noarchive"＞
表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。
3、【答得上才算SEO高手】织梦设置robot的时候，具体有哪些功能需要禁止抓取(Disallow)，哪些功能需要开放？
robots.txt文件
搜索引擎使用sphider程序自动访问互联网上的网页并获取网页信息。sphider在访问一个网站时，会首先检查该网站的根目录下是否有一
个叫做robots.txt的纯文本文件，这个文件用于指定sphider在您的网站上的抓取范围。您可以在您的网站上创建一个robots.txt，在
文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分
robots.txt文件格式
“robots.txt”文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL，or NL作为结束符），每一条记录的格式如下所示：
“<field>:<optional space><value><optional space>”
在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow和Allow行。
User-agent
该项的值用于描述搜索引擎robot的名字。在“robots.txt”文件中，如果有多条User-agent记录说明有多个robot会受到
“robots.txt”的限制，对该文件来说，至少要有一条User-agent记录。如果该值的值为*,则对任何robot均有效
Disallow
该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问
Allow
该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许被robot访问的
通配符
sphider支持使用“*”和“$”来模糊匹配URL
shell脚本禁止搜索引擎抓取
禁止搜索引擎抓取网站的网址可以在每个网站的根目录下放置如下的robots.txt文件：
User-agent: *
Disallow: /
一键部署的shell脚本：
#!/bin/bash
#网站根目录定义
root_dir=("/var/www/")
#构建爬虫规则
for dir in ${root_dir[*]}
do
#删除过期的robots.txt文件
if [ -f $dir/robots.txt ]; then
rm -r $dir/robots.txt
fi
#增加新的爬虫规则
echo "User-agent: *" >$dir/robots.txt
echo "Disallow: /" >>$dir/robots.txt
#修改权限
chown www-data.www-data $dir/robots.txt
done
4、Robot.txt对SEO有什么影响？
很多人认为只有防止搜索引擎技术抓取的时候才有用。但是实际上正确使用Robot.txt对 SEO很有好处，比如重复内容用不同形式表现是经常需要的，而这种情况很容易被搜索引擎判定为重复内容堆砌。正确利用Robot可以引导搜索引擎只收录首 选内容这样就不会有作弊嫌疑了。（参见：google网站管理员blog的文章
巧妙地处理内容重复）除了处理重复外，Yahoo允许你在Robot.txt文件里面用Crawl-delay:参数设定抓取频率（参看：
）。
5、谷歌说没法抓取我的网站说rotbots.TXT可能有问题,我查了一下,是这样的,不知道有没有问题.
你的rotbots.txt写的是没有问题的，但是谷歌已经撤出国内了，可以不考虑谷歌。应该重点考虑百度、360什么的
6、求SEO高手指点robots文件的相关语法！
robots基本概念
Robots.txt文件是网站的一个文件，它是给搜索引擎蜘蛛看的。搜索引擎蜘蛛爬行道我们的网站首先就是抓取这个文件，根据里面的内容来决定对网站文件访问的范围。它能够保护我们的一些文件不暴露在搜索引擎之下，从而有效的控制蜘蛛的爬取路径，为我们站长做好seo创造必要的条件。尤其是我们的网站刚刚创建，有些内容还不完善，暂时还不想被搜索引擎收录时。
robots.txt也可用在某一目录中。对这一目录下的文件进行搜索范围设定。
几点注意：
网站必须要有一个robot.txt文件。
文件名是小写字母。
当需要完全屏蔽文件时，需要配合meta的robots属性。
robots.txt的基本语法
内容项的基本格式：键: 值对。
1) User-Agent键
后面的内容对应的是各个具体的搜索引擎爬行器的名称。如百度是Baispider，谷歌是Googlebot。
一般我们这样写：
User-Agent: *
表示允许所有搜索引擎蜘蛛来爬行抓取。如果只想让某一个搜索引擎蜘蛛来爬行，在后面列出名字即可。如果是多个，则重复写。
注意：User-Agent:后面要有一个空格。
在robots.txt中，键后面加：号，后面必有一个空格，和值相区分开。
2)Disallow键
该键用来说明不允许搜索引擎蜘蛛抓取的URL路径。
例如：Disallow: /index.php 禁止网站index.php文件
Allow键
该键说明允许搜索引擎蜘蛛爬行的URL路径
例如：Allow: /index.php 允许网站的index.php
通配符*
代表任意多个字符
例如：Disallow: /*.jpg 网站所有的jpg文件被禁止了。
结束符$
表示以前面字符结束的url。
例如：Disallow: /?$ 网站所有以?结尾的文件被禁止。
四、robots.txt实例分析
例1. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
例2. 允许所有的搜索引擎访问网站的任何部分
User-agent: *
Disallow:
例3. 仅禁止Baispider访问您的网站
User-agent: Baispider
Disallow: /
例4. 仅允许Baispider访问您的网站
User-agent: Baispider
Disallow:
例5. 禁止spider访问特定目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /data/
注意事项：1)三个目录要分别写。2)请注意最后要带斜杠。3)带斜杠与不带斜杠的区别。
例6. 允许访问特定目录中的部分url
我希望a目录下只有b.htm允许访问，怎么写?
User-agent: *
Allow: /a/b.htm
Disallow: /a/
注：允许收录优先级要高于禁止收录。
从例7开始说明通配符的使用。通配符包括("$" 结束符;
"*"任意符)
例7. 禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*
例8. 禁止搜索引擎抓取网站上所有图片
User-agent: *
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
其他很多情况呢，需要具体情况具体分析。只要你了解了这些语法规则以及通配符的使用，相信很多情况是可以解决的。
meta robots标签
meta是网页html文件的head标签里面的标签内容。它规定了此html文件对与搜索引擎的抓取规则。与robot.txt 不同，它只针对写在此html的文件。
写法：
<meta name="robots" content="…" />。
…里面的内容列出如下
noindex - 阻止页面被列入索引。
nofollow - 阻止对于页面中任何超级链接进行索引。
noarchive - 不保存该页面的网页快照。
nosnippet - 不在搜索结果中显示该页面的摘要信息，同时不保存该页面的网页快照。
noodp - 在搜索结果中不使用Open Directory Project中的描述信息作为其摘要信息。
7、网站SEO中有哪些特别需要注意的地方？
网站seo中有几个很容易犯的错误
网页标题关键词推叠太严重，一般网站title中涉及主关键词不要太多，2-3个为佳
网站关键字，虽然这个的影响已经比较小了，但还是尽量不要去堆叠关键字，否则是适得其反
网站描述，尽量不要重复，关键词尽量概括
网站图片尽量不要太大，影响网站加载速度
网站css和js调用尽量要少
img带上必要的alt属性
nofollow属性，在不必要的网页中可以加入
rebots文件，属性一定要设置对，不然机器人很可能就被你屏蔽了，这是我的亲身经历
个别有不懂的可以参考我的网站 https://www.hshdlq.cn
8、discuz门户网站rebots.txt怎么写
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
01.02.03 就是 你用户、群组、分享、还有登陆后台的名字，你试试
9、SEO 的 robot.txt 文件是怎么写的，怎样屏蔽一些他们已经收录了的网页。 求指点，不说明白是不给分的。
如果是谷歌的话，反应很快的；如果是百度，就算你加上也有可能收录，而且去掉速度也很慢，我的情侣seo博客就是很好的例子。
•要拦截整个网站，请使用正斜线。
Disallow: /•要拦截某一目录以及其中的所有内容，请在目录名后添加正斜线。
Disallow: /无用目录/ •要拦截某个网页，请列出该网页。
Disallow: /私人文件.html•要从 Google 图片中删除特定图片，请添加以下内容：
User-agent: Googlebot-Image
Disallow: /images/狗.jpg •要从 Goo le 图片中 除您网站上的所有图片，请执行以下指令：
User-agent: Googlebot-Image
Disallow: / •要拦截某一特定文件类型的文件（例如 .gif），请使用以下内容：
User-agent: Googlebot
Disallow: /*.gif$•要阻止抓取您网站上的网页，而同时又能在这些网页上显示 Adsense 广告，请禁止除 Mediapartners-Google 以外的所有漫游器。这样可使网页不出现在搜索结果中，同时又能让 Mediapartners-Google 漫游器分析网页，从而确定要展示的广告。Mediapartners-Google 漫游器不与其他 Google User-agent 共享网页。例如：
User-agent: *
Disallow: /
User-agent: Mediapartners-Google
Allow: /
Googlebot（但并非所有搜索引擎）遵循某些模式匹配原则。
•要匹配连续字符，请使用星号 (*)。例如，要拦截对所有以 private 开头的子目录的访问，请使用以下内容：
User-agent: Googlebot
Disallow: /private*/•要拦截对所有包含问号 (?) 的网址的访问（具体地说，这种网址以您的域名开头、后接任意字符串，然后接问号，而后又接任意字符串），请使用以下内容：
User-agent: Googlebot
Disallow: /*?•要指定与某个网址的结尾字符相匹配，请使用 $。例如，要拦截以 .xls 结尾的所有网址，请使用以下内容：
User-agent: Googlebot
Disallow: /*.xls$您可将此模式匹配与 Allow 指令配合使用。例如，如果 ? 代表一个会话 ID，那么您可能希望排除包含 ? 的所有网址，以确保 Googlebot 不会抓取重复网页。但是以 ? 结尾的网址可能是您希望包含在内的网页的版本。在此情况下，您可以对您的 robots.txt 文件进行如下设置：
User-agent: *
Allow: /*?$
Disallow: /*?Disallow: /*? 指令会阻止包含 ? 的所有网址（具体地说，它将拦截所有以您的域名开头、后接任意字符串，然后接问号，而后又接任意字符串的网址）。
Allow: /*?$ 指令将允许以 ? 结尾的任何网址（具体地说，它将允许所有以您的域名开头、后接任意字符串，然后接 ?，? 之后不接任何字符的网址）。