1、關於SEO的robots.txt,眾所周知robots可以禁止或允許百度蜘蛛訪問網站哪些文件夾;
蜘蛛在訪問網站時，最先訪問的是該網站robots.txt文件
如果網站有robots.txt文件並且裡面有禁止蜘蛛訪問的代碼的話蜘蛛就不會訪問了
例如：robots.txt文件中的代碼為：
User-agent：*
Disallow：/
上面這個robot.txt文件禁止所有搜索引擎爬取任何內容
2、SEO搜索引擎優化基礎教程的txt全集下載地址
SEO搜索引擎優化基礎教程 txt全集小說附件已上傳到百度網盤，點擊免費下載：
3、與搜索引擎優化（SEO）相關的教程或者教材，最好是TXT的或者其他類型電子書也可以 郵箱 [email protected]
給你發了幾本書，收到請及時採納。
4、Robot.txt對SEO有什麼影響？
很多人認為只有防止搜索引擎技術抓取的時候才有用。但是實際上正確使用Robot.txt對 SEO很有好處，比如重復內容用不同形式表現是經常需要的，而這種情況很容易被搜索引擎判定為重復內容堆砌。正確利用Robot可以引導搜索引擎只收錄首 選內容這樣就不會有作弊嫌疑了。（參見：google網站管理員blog的文章
巧妙地處理內容重復）除了處理重復外，Yahoo允許你在Robot.txt文件裡面用Crawl-delay:參數設定抓取頻率（參看：
）。
5、跪求《SEO藝術》,txt版本
《SEO藝術》(The Art of SEO)掃描版[PDF]
發布用戶 ed2k
添加日期 2013/6/26 8:34:17
大小 61.83 MB
最後更新 2013/6/26 8:34:17
6、如何為wordpress創建有利於seo的robots.txt文件
如果您不想讓 Google 或其他搜索引擎訪問您網站中的某些內容,請用 robots.txt 文件指定搜索引擎抓取您的網站內容的方式。這是google管理員工具對robots.txt功能的一個描述。robots.txt文件說白了就是告訴爬蟲哪些網址是可以被收錄那些是禁止收錄的。對於大多數wordpress博主來說很少注意robots.txt,認為他無關緊要,其實不然,robots.txt在wordpress優化,網站seo方面有著很重要的作用。robots.txt不光可以保護網站隱私鏈接不被搜索到,而且可以控制網站內容的重復和抓取錯誤。下面我就寫幾種wordpress常用的robots.txt規則。
最簡單的robots.txt規則:
User-agent: *Disallow:
這是開放式的寫法,Disallow:留空,是讓搜索引擎收錄所有鏈接。
安全性的robots.txt書寫規則:
User-agent: *Disallow: /cgi-bin/Disallow: /wp-Allow: /wp-content/uploads/Disallow: /*.php$Disallow: /*.inc$Disallow: /*.js$Disallow: /*.css$Disallow: /*.cgi$Disallow: /?s=
有利於seo的robots.txt書寫規則:(以本站為例)
User-agent: *Disallow: /cgi-bin/Disallow: /wp-Disallow: */rss.xmlDisallow: /author/Disallow: /page/Disallow: /tag/Disallow: */trackback/Disallow: */feed/Disallow: /*.php$Disallow: /*.inc$Disallow: /*.js$Disallow: /*.css$Disallow: /*.cgi$Disallow: /*?*Disallow: /?s=Sitemap: http://www.pakelab.com/sitemap.xml
先說所我為什麼這么設置。google管理員工具在分析我網站抓取錯誤信息的時候,發現大量鏈接是http://www.pakelab.com/xxxx/rss.xml的形式,為了減少抓取錯誤,我就讓搜索不爬這些鏈接,Disallow: */rss.xml ,如果你沒遇到和我一樣的問題這一條你可以不用加。同樣,如果你的網站有大量抓取錯誤的無效鏈接,你可以在這里指定不抓取。
再有就是網站元重復太嚴重(標題重復,描述重復,關鍵詞重復),這嚴重影響搜索引擎排名,我看中的是文章頁排名,所以像標簽頁,作者文章歸檔,月份存檔頁,分頁這些我選擇Disallow。因為我的文章頁面在google中的權重很高,流量幾乎都是文章頁面的,所以才這么設置。這個根據自己網站實際情況選擇性的設置。
feed和trackback的條款是一定要的,可以說wordpress 80%以上的補充材料都是和它們有關。
wordpress官方robots.txt書寫規則(國外)
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /author/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# digg mirror
User-agent: ggmirror
Disallow: /
7、SEO入門應該看什麼教材？
初級基礎
搜索引擎基礎
一 什麼是搜索引擎
1.1.1. 搜索引擎的作用
1.1.2. 搜索引擎的定義
二 搜索引擎的工作原理
1.2.1. 探尋蜘蛛和機器人
1.2.2. 如何辨別搜索引擎機器人身份
三 SiteMap 介紹
1.3.1. 什麼是SiteMap
1.3.2. Sitemaps 文件的位置
1.3.3. XML Sitemaps 格式
1.3.4. 創建SiteMap
1.3.4.1. 根據 Sitemap 協議創建 Sitemap
1.3.4.2. Sitemap 生成器
1.3.4.3. 使用第三方工具
1.3.5. 使用 Sitemaps 索引文件
1.3.6. 驗證您的 Sitemaps
1.3.7. 提交SiteMap
四 Robots.txt 介紹
1.4.1. 什麼是Robots.txt
1.4.2. robots.txt 的語法格式
1.4.3. robots.txt 使用技巧
1.4.4. robots.txt 用法舉例
1.4.5. robots.txt 舉例
1.4.6. 常見robots.txt 錯誤
主要搜索引擎介紹
一 Google
2.1.1. 關於Google
2.1.2. Google 的P ageRank 技術
2.1.3. Google 的SiteMap 技術
2.1.3.1. Google 的SiteMap 技術是什麼？
2.1.3.2. 怎樣設立Google 站點地圖
2.1.3.3. 向 Google 添加網站
2.1.4. 網站管理員工具
二 百度
2.2.1. 關於百度
2.2.2. 百度的SiteMap
2.2.3. 百度論壇的開發協議
三 YaHoo（雅虎）
2.3.1. 關於雅虎
2.3.2. YaHoo 中國
2.3.3. 中文搜索引擎列表
網站的基本查詢方式
一 域名查詢
3.1.1. 域名信息查詢
3.1.2. 域名歷史查詢
3.1.3. 主機連接速度和 IP 地址查詢
二 收錄查詢
3.2.1. 網站是否被收錄
3.2.2. 網頁收錄數量
三 反向鏈接查詢
四 網站 PR 查詢
五 關鍵詞排名查詢
六 ALEXA 查詢
3.6.1. 什麼是Alexa？
3.6.2. Alexa 的主要數據
3.6.3. Alexa 的作用
3.6.4. 提高Alexa 排名
搜索引擎優化基礎
一 搜索引擎優化的定義和價值
4.1.1. 搜索引擎優化的定義
4.1.2. 搜索引擎優化的價值
二 搜索引擎優化究竟為了什麼
4.2.1. SEO 體現網站效果
4.2.2. SEO 的終極目標和實現目標
三 白帽SEO 和黑帽SEO
四 關於搜索引擎優化的一些觀點
4.4.1. 搜索引擎優化合法嗎？
4.4.2. 會不會和搜索引擎對著干？
4.4.3. 我的網站有大量的優質原創內容，所以我不需要SEO了
4.4.4. SEO 沒有技術含量或SEO 需要很高深的技術
4.4.5. 大網站那樣做了，我也向他們學習
4.4.6. SEO 企業或SEO 工具的保證排名宣傳
4.4.7. 穩定的排名
4.4.8. 競爭對手無法破壞我的排名
網站設計的優化操作
一 域名對SEO 的影響
5.1.1. 域名的基本常識
5.1.2. 不同後綴的域名在搜索引擎中的權重
二 主機對SEO 的影響
5.2.1. 共享主機、獨立主機的區別？
5.2.2. 主機服務商選擇
5.2.3. 主機服務商轉移
三 對搜索引擎友好的設計
5.3.1. 目錄結構
5.3.2. URL
5.3.3. 導航結構
5.3.4. 框架結構
5.3.5. 圖片優化
5.3.6. FLASH 優化
5.3.7. 404 錯誤頁設置
四 網站設計思維
5.4.1. 重視網站結構一致性
5.4.2. W3C 瀏覽器兼容驗證
高級基礎
單個頁面的優化操作
一 重要的網頁重命名
二 重要的網頁標題
1.2.1. 關鍵詞的採用和突出
1.2.2. 控制標題長度和關鍵詞頻率
1.2.3. 吸引搜索者
三 網頁題頭標簽的作用
1.3.1. 網頁描述的標簽
1.3.2. 圖片替代文字
1.3.3. 題頭標簽的作用
網站外鏈的優化操作
一 鏈接的基本知識
2.1.1. 鏈接的重要性和普遍性
2.1.2. 怎樣看鏈接的普遍性
2.1.3. 鏈接影響PR值
二 讓搜索引擎知道新網站
2.2.1. 登錄搜索引擎
2.2.2. 登錄網站名錄導航站
2.2.3. 讓搜索引擎自己發現
三 鏈接的判斷和建立
2.3.1. 如何請求鏈接
2.3.2. 購買鏈接
2.3.3. 誘餌鏈接
四 導入鏈接和導出鏈接
2.4.1. 導入鏈接
2.4.2. 導出鏈接
五 確定鏈接策略
六 外鏈建設中的幾個誤區
2.6.1. 外部鏈接數目增長的自然化
2.6.2. 不要忘記你最能做好的事情
2.6.3. 不宜使用軟體群發
關鍵詞的研究
一 關鍵詞分析
3.1.1. 挑選正確的關鍵詞
3.1.2. 選擇關鍵詞的基本原則
3.1.3. 競價關鍵詞
二 關鍵詞密度
3.2.1. 什麼是關鍵詞密度
3.2.2. 適當的關鍵詞密度
3.2.3. 關鍵詞分布的位置
3.2.4. 關鍵詞密度的基本原則
3.2.5. 增加關鍵詞密度
三 搜索引擎尾巴現象
文本優化
一 網站內容的組織
二 網站內容的來源
4.2.1. 自己撰寫原創文章
4.2.2.「原創」轉載的內容
4.2.3. 鼓勵用戶貢獻內容
三 網站內容的延續性
4.3.1. 內容匱乏怎麼辦
4.3.2. 網站內容採集
網站流量檢測和分析
一 網站流量數據統計與分析
5.1.1. 什麼叫網站流量及網站流量統計分析
5.1.2. 網站流量指標
5.1.3. 用戶行為指標
二 常見流量統計系統介紹
5.2.1. CNZZ 服務統計
5.2.2. 51.la 統計服務
5.2.3. 51Yes 網站流量統計
5.2.4. Google Analytics
5.2.5. Measure Map
5.2.6. Statcounter.com
三 行業熱點跟蹤
5.3.1. 百度風雲榜
5.3.2. 百度指數
5.3.3. Google 關鍵詞分析工具
搜索引擎優化常見誤區
一 網站優化非法操作
6.1.1. 隱藏文本和透明文字
6.1.2. 誤導性或重復性關鍵詞
6.1.3. 障眼法（Cloaking）
6.1.4. 橋頁、跳頁
6.1.5. 細微文字
二 網站外部推廣的非法操作
6.2.1. 復制網頁和鏡像網頁
6.2.2. 域名偽裝
6.2.3. 域名轟炸
6.2.4. 隱蔽鏈接
6.2.5. 轉向
6.2.6. 鏈接養殖場
6.2.7. 博客污染
三 挽救搜索引擎除名的網站
基礎篇：入門知識
新手需知網站基礎常識
關於域名、開源程序和虛擬主機的選擇指南
通過FTP把網站上傳到主機空間（圖解）
沒有網站的同學，請到這里了解學習一下（3個方案）
如何在自己的電腦上搭建伺服器並第一次建站？
給新手建議的網路創業流程圖
對HTML標簽初步認識
SEO工作時會常用到的HTML知識
舉例說明關鍵詞在所有網頁所有標簽中的寫法
SEO中存在的一些常見規律和現象
一定要知道的SEO基本知識
8、SEO 的 robot.txt 文件是怎麼寫的，怎樣屏蔽一些他們已經收錄了的網頁。 求指點，不說明白是不給分的。
如果是谷歌的話，反應很快的；如果是百度，就算你加上也有可能收錄，而且去掉速度也很慢，我的情侶seo博客就是很好的例子。
•要攔截整個網站，請使用正斜線。
Disallow: /•要攔截某一目錄以及其中的所有內容，請在目錄名後添加正斜線。
Disallow: /無用目錄/ •要攔截某個網頁，請列出該網頁。
Disallow: /私人文件.html•要從 Google 圖片中刪除特定圖片，請添加以下內容：
User-agent: Googlebot-Image
Disallow: /images/狗.jpg •要從 Goo le 圖片中 除您網站上的所有圖片，請執行以下指令：
User-agent: Googlebot-Image
Disallow: / •要攔截某一特定文件類型的文件（例如 .gif），請使用以下內容：
User-agent: Googlebot
Disallow: /*.gif$•要阻止抓取您網站上的網頁，而同時又能在這些網頁上顯示 Adsense 廣告，請禁止除 Mediapartners-Google 以外的所有漫遊器。這樣可使網頁不出現在搜索結果中，同時又能讓 Mediapartners-Google 漫遊器分析網頁，從而確定要展示的廣告。Mediapartners-Google 漫遊器不與其他 Google User-agent 共享網頁。例如：
User-agent: *
Disallow: /
User-agent: Mediapartners-Google
Allow: /
Googlebot（但並非所有搜索引擎）遵循某些模式匹配原則。
•要匹配連續字元，請使用星號 (*)。例如，要攔截對所有以 private 開頭的子目錄的訪問，請使用以下內容：
User-agent: Googlebot
Disallow: /private*/•要攔截對所有包含問號 (?) 的網址的訪問（具體地說，這種網址以您的域名開頭、後接任意字元串，然後接問號，而後又接任意字元串），請使用以下內容：
User-agent: Googlebot
Disallow: /*?•要指定與某個網址的結尾字元相匹配，請使用 $。例如，要攔截以 .xls 結尾的所有網址，請使用以下內容：
User-agent: Googlebot
Disallow: /*.xls$您可將此模式匹配與 Allow 指令配合使用。例如，如果 ? 代表一個會話 ID，那麼您可能希望排除包含 ? 的所有網址，以確保 Googlebot 不會抓取重復網頁。但是以 ? 結尾的網址可能是您希望包含在內的網頁的版本。在此情況下，您可以對您的 robots.txt 文件進行如下設置：
User-agent: *
Allow: /*?$
Disallow: /*?Disallow: /*? 指令會阻止包含 ? 的所有網址（具體地說，它將攔截所有以您的域名開頭、後接任意字元串，然後接問號，而後又接任意字元串的網址）。
Allow: /*?$ 指令將允許以 ? 結尾的任何網址（具體地說，它將允許所有以您的域名開頭、後接任意字元串，然後接 ?，? 之後不接任何字元的網址）。
9、網站優化必讀：SEO教程電子書txt全集下載
網站優化必讀：SEO教程 txt全集小說附件已上傳到百度網盤，點擊免費下載：