googleseorobot

1、Robot.txt对SEO有什么影响？

很多人认为只有防止搜索引擎技术抓取的时候才有用。但是实际上正确使用Robot.txt对 SEO很有好处，比如重复内容用不同形式表现是经常需要的，而这种情况很容易被搜索引擎判定为重复内容堆砌。正确利用Robot可以引导搜索引擎只收录首 选内容这样就不会有作弊嫌疑了。（参见：google网站管理员blog的文章
巧妙地处理内容重复）除了处理重复外，Yahoo允许你在Robot.txt文件里面用Crawl-delay:参数设定抓取频率（参看：
）。

2、网络搜索引擎优化要做多久？

上海献峰网路指出一个完整的SEO优化方案主要由四个小组组成：
一、前端/页编人员
二、内容编辑人员
三、推广人员
四、数据分析人员

接下来，我们就对这四个小组分配工作。
首先，前端/页编人员主要负责站内优化，主要从四个方面入手：
第一个，站内结构优化
合理规划站点结构(1、扁平化结构 2、辅助导航、面包屑导航、次导航)
内容页结构设置(最新文章、推荐文章、热门文章、增加相关性、方便自助根据链接抓取更多内容)
较快的加载速度
简洁的页面结构
第二个，代码优化
Robot.txt
次导航
404页面设置、301重定向
网站地图
图片Alt、title标签
标题
关键词
描述
关键字密度
个别关键字密度
H1H2H3中的关键字
关键字强调
外链最好nofollow
为页面添加元标记meta
丰富网页摘要(微数据、微格式和RDFa)
第三个，网站地图设置
html网站地图(1、为搜索引擎建立一个良好的导航结构 2、横向和纵向地图：01横向为频道、栏目、专题/02纵向主要针对关键词 3、每页都有指向网站地图的链接)
XML网站地图(sitemap提交给百度、google)
第四个，关键词部署
挑选关键词的步骤(1、确定目标关键词 2、目标关键词定义上的扩展 3、模拟用户的思维设计关键词 4、研究竞争者的关键词)
页面关键词优化先后顺序(1、最终页>专题>栏目>频道>首页 2、最终页：长尾关键词 3、专题页：【a、热门关键词 b、为热点关键词制作专题 c、关键词相关信息的聚合 d、辅以文章内链导入链接】 4、栏目页：固定关键词 5、频道页：目标关键词 6、首页：做行业一到两个顶级关键词，或者网站名称)
关键词部署建议(1、不要把关键词堆积在首页 2、每个页面承载关键词合理数目为3-5个 3、系统规划)
然后，我们的内容编辑人员要对网站进行内容建设，怎样合理的做到网站内部优化的功效?这里主要有五个方面：
第一个，网站内容来源
原创内容或伪原创内容
编辑撰稿或UGC
扫描书籍、报刊、杂志
第二个，内容细节优化
标题写法、关键词、描述设置
文章摘要规范
URL标准化
次导航
内页增加锚文本以及第一次出现关键词进行加粗
长尾关键词记录单
图片Alt、titile标签
外链最好nofollow
百度站长工具、google管理员工具的使用
建立反向链接
第三个，关键词部署
挑选关键词的步骤(1、确定目标关键词 2、目标关键词定义上的扩展 3、模拟用户的思维设计关键词 4、研究竞争者的关键词)
页面关键词优化先后顺序(1、最终页>专题>栏目>频道>首页 2、最终页：长尾关键词 3、专题页：【a、热门关键词 b、为热点关键词制作专题 c、关键词相关信息的聚合 d、辅以文章内链导入链接】 4、栏目页：固定关键词 5、频道页：目标关键词 6、首页：做行业一到两个顶级关键词，或者网站名称)
关键词部署建议(1、不要把关键词堆积在首页 2、每个页面承载关键词合理数目为3-5个 3、系统规划)
第四个，内链策略
控制文章内部链接数量
链接对象的相关性要高
给重要网页更多的关注
使用绝对路径
需要改进的地方
第五个，注意事项
不要大量采集
有节奏的更新
编辑发布文章的时候要做好锚文本
做好长尾关键词记录单
接下来，我们的推广人员就要对网站进行站外优化了，这里主要包括两个大的方面：
第一个，外链建设基本途径
友情链接
软文
目录提交
独立博客
论坛签名
黄页网站
提交收藏
分类信息
微博推广
sns推广
第二个，链接诱饵建设思路
举办活动，带上相关链接，引导网友大规模转播
最后，我们的数据分析人员就要对网站进行每天的数据分析，总结流量来源，这里主要从五个方面分析：
第一个，数据分析
根据统计(百度统计工具，CNZZ统计工具等等)，分析用户进入的关键词，模拟用户思路，思考长尾关键词
第二个，竞争对手分析
百度权重、PR值
快照
反链
内链
收录
网站历史
品牌关键词
长尾关键词
网站结构
第三个，关键词定位
目标关键词
品牌关键词
热门关键词
长尾关键词
第四个，长尾关键词挖掘—长尾关键词类型
目标型长尾(目标型指的是网站的产品或者服务延伸的长尾关键词，往往优化长尾的时候都是先以目标型长尾为主，因为这些长尾可以真实给我们带来目标客户和目标量)
营销型长尾(营销型长尾是指与行业站服务相关的长尾，可以让我们进行二次转化成我们的目标用户)
第五个，挖掘长尾关键词用到的工具
百度指数工具
百度知道
百度及其他SE的相关搜索及下拉框
百度站长工具、google关键词分析工具
至此，一个完整的网站SEO优化方案已经完成，接下来就是慢慢的完善了，当然喽，这里讲的很流程化，具体怎么合理安排，合理运用，这需要长期的经验积累。

3、robots.txt在谷歌seo中是必须的吗？那么要写的话又写在哪里呢？

robots文件主要的作用就是阻止蜘蛛抓取你不想让他抓取的文件。最好还是要一个，比如网站后台等一些文件 想要不被他他抓取，robots文件就能起到作用了。具体写法如下图片：

4、SEO 的 robot.txt 文件是怎么写的，怎样屏蔽一些他们已经收录了的网页。 求指点，不说明白是不给分的。

如果是谷歌的话，反应很快的；如果是百度，就算你加上也有可能收录，而且去掉速度也很慢，我的情侣seo博客就是很好的例子。
•要拦截整个网站，请使用正斜线。
Disallow: /•要拦截某一目录以及其中的所有内容，请在目录名后添加正斜线。
Disallow: /无用目录/ •要拦截某个网页，请列出该网页。
Disallow: /私人文件.html•要从 Google 图片中删除特定图片，请添加以下内容：
User-agent: Googlebot-Image
Disallow: /images/狗.jpg •要从 Goo le 图片中 除您网站上的所有图片，请执行以下指令：
User-agent: Googlebot-Image
Disallow: / •要拦截某一特定文件类型的文件（例如 .gif），请使用以下内容：
User-agent: Googlebot
Disallow: /*.gif$•要阻止抓取您网站上的网页，而同时又能在这些网页上显示 Adsense 广告，请禁止除 Mediapartners-Google 以外的所有漫游器。这样可使网页不出现在搜索结果中，同时又能让 Mediapartners-Google 漫游器分析网页，从而确定要展示的广告。Mediapartners-Google 漫游器不与其他 Google User-agent 共享网页。例如：
User-agent: *
Disallow: /

User-agent: Mediapartners-Google
Allow: /
Googlebot（但并非所有搜索引擎）遵循某些模式匹配原则。

•要匹配连续字符，请使用星号 (*)。例如，要拦截对所有以 private 开头的子目录的访问，请使用以下内容：
User-agent: Googlebot
Disallow: /private*/•要拦截对所有包含问号 (?) 的网址的访问（具体地说，这种网址以您的域名开头、后接任意字符串，然后接问号，而后又接任意字符串），请使用以下内容：
User-agent: Googlebot
Disallow: /*?•要指定与某个网址的结尾字符相匹配，请使用 $。例如，要拦截以 .xls 结尾的所有网址，请使用以下内容：
User-agent: Googlebot
Disallow: /*.xls$您可将此模式匹配与 Allow 指令配合使用。例如，如果 ? 代表一个会话 ID，那么您可能希望排除包含 ? 的所有网址，以确保 Googlebot 不会抓取重复网页。但是以 ? 结尾的网址可能是您希望包含在内的网页的版本。在此情况下，您可以对您的 robots.txt 文件进行如下设置：

User-agent: *
Allow: /*?$
Disallow: /*?Disallow: /*? 指令会阻止包含 ? 的所有网址（具体地说，它将拦截所有以您的域名开头、后接任意字符串，然后接问号，而后又接任意字符串的网址）。

Allow: /*?$ 指令将允许以 ? 结尾的任何网址（具体地说，它将允许所有以您的域名开头、后接任意字符串，然后接 ?，? 之后不接任何字符的网址）。