robotsseo

1、有關seo中的robots文件的寫法，誰可以幫我詳細解答下呢

做SEO時，最好是把Robots.txt文件寫好，下面說下寫法：
搜索引擎Robots協議：是放置在網站根目錄下robots.txt文本文件，在文件中可以設定搜索引擎蜘蛛爬行規則。設置搜索引擎蜘蛛Spider抓取內容規則。
下面是robots的寫法規則與含義：
首先要創建一個robots.txt文本文件，放置到網站的根目錄下，下面開始編輯設置Robots協議文件：

一、允許所有搜索引擎蜘蛛抓取所以目錄文件，如果文件無內容，也表示允許所有的蜘蛛訪問，設置代碼如下：

User-agent: *
Disallow:

或者

User-agent: *
Allow: /

二、禁止某個搜索引擎蜘蛛抓取目錄文件，設置代碼如下：

User-agent: Msnbot
Disallow: /

例如想禁止MSN的蜘蛛抓取就設為，Msnbot代表MSN的蜘蛛，如果想禁止其他搜索引擎就更換蜘蛛名字即可，其他蜘蛛名字如下：
百度的蜘蛛：baiduspider
Google的蜘蛛： Googlebot
騰訊Soso:Sosospider
Yahoo的蜘蛛：Yahoo Slurp
Msn的蜘蛛：Msnbot
Altavista的蜘蛛：Scooter
Lycos的蜘蛛： Lycos_Spider_(T-Rex)

三、禁止某個目錄被搜索引擎蜘蛛抓取，設置代碼如下：
User-agent: *
Disallow: /目錄名字1/
Disallow: /目錄名字2/
Disallow: /目錄名字3/

把目錄名字改為你想要禁止的目錄即可禁止搜索引擎蜘蛛抓取，目錄名字未寫表示可以被搜索引擎抓取。

四、禁止某個目錄被某個搜索引擎蜘蛛抓取，設置代碼如下：

User-agent: 搜索引擎蜘蛛名字 說明(上面有說明蜘蛛的名字)
Disallow: /目錄名字/ 說明(這里設定禁止蜘蛛抓取的目錄名稱)

例如，想禁目Msn蜘蛛抓取admin文件夾，可以設代碼如下：
User-agent: Msnbot
Disallow: /admin/

五、設定某種類型文件禁止被某個搜索引擎蜘蛛抓取，設置代碼如下:

User-agent: *
Disallow: /*.htm 說明(其中「.htm」，表示禁止搜索引擎蜘蛛抓取所有「htm」為後綴的文件)

六、充許所有搜索引擎蜘蛛訪問以某個擴展名為後綴的網頁地址被抓取，設置代碼如下:

User-agent: *
Allow: .htm$ 說明(其中「.htm」，表示充許搜索引擎蜘蛛抓取所有「htm」為後綴的文件)

七、只充許某個搜索引擎蜘蛛抓取目錄文件，設置代碼如下：

User-agent: 搜索引擎蜘蛛名字 說明(上面有說明蜘蛛的名字)
Disallow:

2、熊掌號必備seo知識1:robots文件

　最近很多站長咨詢關於熊掌號的問題，包括熊掌號和傳統seo之間的關系等，熊掌號在給網站提供更多的品牌特型、內容保護之外，是否會遵循seo的基礎原理呢?曲曲小姐姐將在以後給大家逐一分享。

搜索引擎對網站抓取，內容判斷等，仍根據搜索友好度進行判斷。近來收到站點反饋，希望加入熊掌號，但是在網站檢測中，我們發現，網站內寫了robots文件屏蔽百度抓取，這種情況下，百度是無法提取網站內容的;即便網站通過熊掌號注冊來提交數據，百度也無法抓取網站內容。

網站設定robots後，在搜索結果下的圖示

有一些站點有意或無意中封禁了百度蜘蛛的抓取，導致網站內容無法在百度搜索結果中正常展現。無疑，這樣的情況對網站和搜索引擎都非常不利。因此，我們希望網站能夠解除對百度蜘蛛的封禁，保證數億百度用戶可以順利搜索到所需內容，也保證站點可以得到應得的流量。

如果您的網站在無意中封禁了百度蜘蛛，或者您擔心出現此類問題，可通過搜索資源平台的robots工具對robots文件進行檢查，也可通過此內容了解百度UA/IP，《只需兩步，正確識別百度蜘蛛》，解除對百度蜘蛛的封禁。

3、熊掌號和傳統seo之間的關系：robots文件解除

搜索引擎對網站抓取，內容判斷等，仍根據搜索友好度進行判斷。近來收到站點反饋，希望加入熊掌號，但是在網站檢測中，我們發現，網站內寫了robots文件屏蔽百度抓取，這種情況下，百度是無法提取網站內容的;即便網站通過熊掌號注冊來提交數據，百度也無法抓取網站

有一些站點有意或無意中封禁了百度蜘蛛的抓取，導致網站內容無法在百度搜索結果中正常展現。無疑，這樣的情況對網站和搜索引擎都非常不利。因此，我們希望網站能夠解除對百度蜘蛛的封禁，保證數億百度用戶可以順利搜索到所需內容，也保證站點可以得到應得的流量。

如果您的網站在無意中封禁了百度蜘蛛，或者您擔心出現此類問題，可通過搜索資源平台的robots工具對robots文件進行檢查，也可通過此內容了解百度UA/IP，《只需兩步，正確識別百度蜘蛛》，解除對百度蜘蛛的封禁。

4、seo中robots.txt是什麼意思？

它是一種存放於網站根目錄下的文本文件，通常告訴搜索引擎蜘蛛 網站中哪些內容是不能被搜索引擎蜘蛛獲取的 哪些是可以獲取的

5、網站優化中robots文件重要嗎

不一定，要看做什麼啊

6、關於robots寫法.有經驗的seo朋友來幫我看看.

User-agent:
*
Disallow:
/uk/
Disallow:
/us/
禁止除了htm頁面意外的其它文件的收錄這個不懂，seo不會這樣禁止的吧，至少做了幾年還沒有這樣做過，靜態化的時候所有頁面都改過了。除非是後台，後台直接禁止訪問，或者是網站的個人設置一類的頁面，直接就禁止就行了。

7、網站上線之後被收錄了，再添加robots文件屏蔽蜘蛛，對於seo有意義嗎？

很多新手站長都在因為這個問題而提問，我順便來解答一下。
一個沒有完善的網站是不應該直接上線的或者說這樣對你網站的發展並沒有任何好處，建議完全屏蔽roboots禁止被收錄，因為搜索引擎是通過數據分析後才收錄這樣給你網站帶來不了任何好處，網站上線一旦給搜索引擎一個不好的印象在想被收錄或者說得到好的排名就不是那麼容易了。
很多站群站長都很值這個理念，不過你不用擔心收錄問題，只要文字內容好，蜘蛛爬取內容不是很困難沒有大量js和flv就是好的，如今是內容時代，所以你網站沒有完善好之前肯定會有一些url不規范錯誤頁面，內容重復，沒必要的頁面應該先nofollow避免權重分散。

網站分析@趙昌宇 為您解答！

8、織夢robots文件怎麼寫利於seo優化

robots文件，是網站和搜索引擎之間用來進行交流的一個協議
裡面告訴搜索引擎什麼內容不要去抓取，什麼是可以抓取的，可以充分的利於蜘蛛抓取配額
不會浪費蜘蛛去抓取網站上面，沒有意義的內容，讓蜘蛛更多的去抓取想要被抓取的內容。
樓主可以到seo 十萬個為什麼裡面去多了解下robots方面的知識哦。

9、蜘蛛訪問不到ROBOTS 對SEO 有影響么？ 老是返回404頁面。

在網站seo優化來的過程中常常需要通源過一個名為robots.txt的文件與搜索引擎蜘蛛對話。通常來講，搜索引擎蜘蛛爬行到某一個網站就會首先讀取該文件，並按照文件中的規則執行接下來的行為。當一個網站中有一些網站不需要被搜索引擎收錄時，往往就會通過robots.txt來限制搜索引擎蜘蛛對這個網頁的抓取。網站robots.txt中對某個網頁屏蔽了蜘蛛的收錄，但搜索引擎還是會對該網頁進行抓取，只不過在相關搜索結果中不會展現這些網頁內容。所以robots.txt對搜索引擎優化有一定的影響的，在搜索引擎的結果中不會顯示你的網站頁面的相關內容。