1、robots文件裡面禁止抓取二級域名，怎麼寫
1、Robots是控制當前目錄下文件的抓取的，和域名無關。
2、想實現如題效果，可直接在該二級域名對應的網站目錄下添加robots，禁止所有Disallow: *。
2、關於robots中，屏蔽二級域名的寫法？
robots中，屏蔽二級域名的寫法：
User-Agent:
*Disallow: /
robots.txt一般指robots協議，（也稱為爬蟲協議、機器人協議等）的全稱是「網路爬蟲排除標准」（Robots Exclusion Protocol），網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。robots.txt文件是一個文本文件，使用任何一個常見的文本編輯器，就可以創建和編輯它。
3、禁止某二級域名的抓取,robots如何寫
首先，你要明白robots文件怎麼寫！一般允許抓取的話是
allow：/www/xxx/
如果是不允許的話就是:disallow:/www/xxxx/
你如果想禁用你的二級網站的話，只需要禁用二級網站所在的文件夾就好了！例如，你的二級網站所在的文件夾是/erji/
那麼，你就可以在robots加入：
disallow:/www/erji/ 就可以了！
4、robots.txt中如何對不同域名設置不同？
ni你這樣很矛盾哦 例如robots.txt文件在根目錄裡面 那你訪問A.COM/robots.txt 和B.COM/robots.txt
是不是都可以訪問了 當你在裡面設置裡面robots.txt文件裡面設置B域名裡面猛個文件佳禁止抓取的時候 當蜘蛛同過A.COM域名訪問A.COM/robots.tx 的時候讀取文件裡面的語法 他會理解為A.COM域名裡面猛個文件夾為禁止抓取 為什麼摸了 因為他是從A.COM/robots.txt這個地址找來的
當然了 從B.COM/robots.tx 還是一樣 我覺得你說的那樣沒比要 既然A.COM裡面猛個文件夾為禁止抓取的話 那B.COM裡面的文件會通過抓取了 很矛盾的想法
關於 robots.txt如何設置 去我博客有詳細的語法解答應用
http://blog.sina.com.cn/s/blog_4bed77bd0100rwud.html SEO66SEO的博客
5、怎麼寫robots.txt來禁止百度收錄我的另一個域名
你可以在web.cne4com里寫 禁止網路來查看網站所有文件的 你也可以不解析這個域名的
6、robots.txt 寫法，Disallow: /zh-cn/ 是不允許 域名/zh-cn/下的所有網址嗎？ 例如禁止 域名/zh-cn/1.html
如果你要禁止zh-cn下所有內容，就寫成Disallow: /zh-cn/
如果只禁止所有html文件，那麼就寫成Disallow: /zh-cn/*.html
7、網站前端和後端域名不一樣，robots如何設置禁止抓取後台？
限制蜘蛛抓取你後台域名綁定的文件目錄就可以了，比如你二級域名在根目錄里的/manage/
robots里：
User-agent: *
Disallow: /manage/
8、兩個域名在同一空間用同樣的文件,要求顯示不同的robots.txt 怎麼做?
不可以的。robots.txt只是禁止蜘蛛訪問哪些內容而已。
按你所說的情況，2個域名都一樣的，跟一個網站沒什麼區別。只是有地址訪問而已。
就好似一個地方，有2個門口而已。