1、robots文件里面禁止抓取二级域名，怎么写
1、Robots是控制当前目录下文件的抓取的，和域名无关。
2、想实现如题效果，可直接在该二级域名对应的网站目录下添加robots，禁止所有Disallow: *。
2、关于robots中，屏蔽二级域名的写法？
robots中，屏蔽二级域名的写法：
User-Agent:
*Disallow: /
robots.txt一般指robots协议，（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，就可以创建和编辑它。
3、禁止某二级域名的抓取,robots如何写
首先，你要明白robots文件怎么写！一般允许抓取的话是
allow：/www/xxx/
如果是不允许的话就是:disallow:/www/xxxx/
你如果想禁用你的二级网站的话，只需要禁用二级网站所在的文件夹就好了！例如，你的二级网站所在的文件夹是/erji/
那么，你就可以在robots加入：
disallow:/www/erji/ 就可以了！
4、robots.txt中如何对不同域名设置不同？
ni你这样很矛盾哦 例如robots.txt文件在根目录里面 那你访问A.COM/robots.txt 和B.COM/robots.txt
是不是都可以访问了 当你在里面设置里面robots.txt文件里面设置B域名里面猛个文件佳禁止抓取的时候 当蜘蛛同过A.COM域名访问A.COM/robots.tx 的时候读取文件里面的语法 他会理解为A.COM域名里面猛个文件夹为禁止抓取 为什么摸了 因为他是从A.COM/robots.txt这个地址找来的
当然了 从B.COM/robots.tx 还是一样 我觉得你说的那样没比要 既然A.COM里面猛个文件夹为禁止抓取的话 那B.COM里面的文件会通过抓取了 很矛盾的想法
关于 robots.txt如何设置 去我博客有详细的语法解答应用
http://blog.sina.com.cn/s/blog_4bed77bd0100rwud.html SEO66SEO的博客
5、怎么写robots.txt来禁止百度收录我的另一个域名
你可以在web.cne4com里写 禁止网络来查看网站所有文件的 你也可以不解析这个域名的
6、robots.txt 写法，Disallow: /zh-cn/ 是不允许 域名/zh-cn/下的所有网址吗？ 例如禁止 域名/zh-cn/1.html
如果你要禁止zh-cn下所有内容，就写成Disallow: /zh-cn/
如果只禁止所有html文件，那么就写成Disallow: /zh-cn/*.html
7、网站前端和后端域名不一样，robots如何设置禁止抓取后台？
限制蜘蛛抓取你后台域名绑定的文件目录就可以了，比如你二级域名在根目录里的/manage/
robots里：
User-agent: *
Disallow: /manage/
8、两个域名在同一空间用同样的文件,要求显示不同的robots.txt 怎么做?
不可以的。robots.txt只是禁止蜘蛛访问哪些内容而已。
按你所说的情况，2个域名都一样的，跟一个网站没什么区别。只是有地址访问而已。
就好似一个地方，有2个门口而已。