1、Python爬蟲如何避免爬取網站訪問過於頻繁
幾個方法
1、代理ip
2、設置延遲，就是time.sleep(1000)
3、滲透
2、哪些網站優化的細節會影響百度爬蟲的抓取
如果是單純的做網站優化，為了迎合百度爬蟲的抓取，這個有一點不正確，網站優化更多的是為了用戶體驗。百度爬蟲的規則更新，也是為了帶給用戶更好的體驗而制定，但是規則往往都存在一些漏洞，無法完全滿足用戶的體驗。所以如果你要做網站優化，建議你圍繞用戶體驗來優化，當然有時候優化爬蟲抓取跟優化用戶體驗不會沖突。 優化百度爬蟲抓取無非兩大類：站內優化、站外優化。站內優化首先在代碼上，你需要提供爬蟲網站的清晰代碼，節省爬蟲抓取你網站頁面的時間，以及網站伺服器、域名、鏈接、標簽、圖片，網站301設置、網站404設置，網站地圖sitemap、robots等都會影響爬蟲。站外優化，外鏈發布、軟文發布、友情鏈接等，網站所有的優化都或多或少會影響百度爬蟲的抓取。如果你很重視這塊，建議你找專人來做。
3、如何應對網站反爬蟲策略？如何高效地爬大量數據
我的經驗是，大量的相關文章+合理的站內鏈接+穩定的更新頻率。
如何做好seo優化策略可參考如下方法：
在搜索引擎優化中，SEO策略影響到最終的優化效果。SEO策略不管對中小網站還是大型網站都是重要的，而對於大型網站，制定一個好的SEO策略尤為重要。
第一部分：關鍵詞分析
關鍵詞分析是所有SEO必須掌握的一門功課，大型網站雖然有海量的數據，但是每個頁面都需要進行關鍵詞分析，除了SEO之外，策劃、編輯也需要具備一定的關鍵詞分析能力。
關鍵詞分析的基本原則：
1、 調查用戶的搜索習慣：這是一個重要的方面，只有了解用戶的搜索習慣，才能把我用戶的搜索需求，用戶喜歡搜索什麼?用什麼搜索引擎?等等
2、 關鍵詞不能過於寬泛：關鍵詞過於寬泛會導致競爭激烈，耗費大量時間卻不一定得到想要的效果，並且可能降低了關鍵詞的相關性。
3、 關鍵詞不能過冷：想想，沒有用戶搜索的關鍵詞，還值得去優化嗎?
4、 關鍵詞要與頁面內容保持高度的相關性：這樣既有利於優化又有利於用戶。
關鍵詞挑選的步驟：
1、 確定核心關鍵詞：我們應該考慮的是哪一個詞或者兩個詞能夠最准確的描述網頁的內容?哪一個詞用戶搜索次數最多?
2、 核心關鍵詞定義上的擴展：例如核心關鍵詞的別名、僅次於核心關鍵詞的組合等、核心關鍵詞的輔助等。
3、 模擬用戶思維設計關鍵詞：把自己假想為用戶，那麼我會去搜索什麼關鍵詞呢?
4、 研究競爭者的關鍵詞：分析一下排名佔有優勢的競爭對手的網頁，他們都使用了什麼關鍵詞?
第二部分：頁面逆向優化
為什麼要做逆向優化?因為在大型網站中，頁面的優化價值一般不同於中小網站。考慮到各種綜合因素(例如品牌、頁面內容、用戶體驗等)，大型網站的頁面優化價值大多數呈現逆向順序，即：最終頁>專題頁>欄目頁>頻道頁>首頁。
如何針對各頁面進行關鍵詞分配呢?通常情況是這樣的：
1、 最終頁：針對長尾關鍵詞;
2、 專題頁：針對熱門關鍵詞，例如"周傑倫";
3、 欄目頁：針對固定關鍵詞，例如"音樂試聽";
4、 頻道頁：針對核心關鍵詞，例如 "音樂";
5、 首頁：不分配關鍵詞，而是以品牌為主。
在進行關鍵詞分配後，我們可以在最終頁中添加匹配的內鏈作為輔助，這是大型網站內鏈的優勢。
第三部分：前端搜索引擎友好，包括UI設計的搜索友好和前端代碼的搜索友好兩點
1、首先來看UI設計的搜索引擎友好：主要是做到導航清晰，以及flash和圖片等的使用，一般來說，導航以及帶有關鍵詞的部分不適合使用flash及圖片，因為大多數搜索引擎無法抓取flash及圖片中的文字。
2、然後是前端代碼的搜索引擎友好：
a、代碼的簡潔性：搜索引擎喜歡簡潔的html代碼，這樣更有利於分析。
b、重要信息靠前：指帶關鍵詞的及經常更新的信息盡量選擇出現在html的靠前位置。
c、過濾干擾信息：大型網站的頁面一般比較復雜，各種廣告、合作、交換內容以及其他沒有相關性的信息比較多，我們應該選擇使用js、iframe等搜索引擎無法識別的代碼過濾掉這一部分信息。
d、代碼的基礎SEO：這是基礎的SEO工作，避免html錯誤以及語義化標簽。
第四部分：內部鏈接策略
為什麼要強調內部鏈接策略?因為內鏈具有以下優勢：
1、 大型網站海量的數據使內鏈的優勢遠遠大於外鏈。外鏈的數量可能幾千幾萬幾十萬，但是大型網站擁有成百萬上千萬甚至上億的海量網頁內容，如果用這些海量的網頁做內鏈的建設，優勢是很明顯的。
2、 網站內的網頁間導出鏈接是一件很容易的事情。
3、 提高搜索引擎對網站的爬行索引效率，增強收錄，也有利於PR的傳遞。
4、 集中主題，使該主題的關鍵詞在搜索引擎中具有排名優勢。
在內鏈建設中，應該遵循以下原則：1、控制文章內鏈數量：穿插於文章內的鏈接可以根據內容的多少控制在3-8個左右。2、鏈接對象的相關性要高。3、給重要的網頁更多的關註：使重要的更有關鍵詞價值的網頁得到更好的排名。4、使用絕對路徑。
第五部分：外部鏈接策略
在強調大型網站的內鏈建設的同時也不能太忽視了外鏈的建設。外鏈的建設雖然沒有中小網站那麼重要，但是也具有很高的價值。通常可以通過交換鏈接、製造鏈接誘餌、投放帶鏈接的軟文等方法來建設外鏈。
1、 來看交換鏈接應該要遵循哪些原則：
a、鏈接文字中包含關鍵詞;b、盡量與相關性高的站點、頻道交換鏈接;c、對方網站導出鏈接數量不能過多，過多的話沒有太大的價值;d、避免與未被收錄以及被搜索引擎懲罰的網站交換鏈接
2、 製造鏈接誘餌：製造鏈接誘餌是一件省力的工作，這使得對方網站主動的為我們添加鏈接。製造鏈接誘餌的技巧很多，但是可以用兩個字來概括：創意。
3、 帶鏈接的軟文投放。指的是在商務推廣或者為專門為了得到外鏈而進行的帶鏈接的軟文投放。
第六部分:網站地圖策略
有很多大型網站不重視網站地圖的建設，不少大型網站的網站地圖只是敷衍了事，做一個擺設。其實網站對於大型網站是很重要的，大型網站海量的數據、復雜的網站導航結構、極快的更新頻率使得搜索引擎並不能完全抓取所有的網頁。這就是為什麼有的大型網站擁有百萬千萬甚至上億級的數據量，但是卻只被搜索引擎收錄了網站數據量的一半、三分之一甚至更少的一個重要原因。連收錄都保證不了，怎麼去做排名?
Html地圖：
1、 為搜索引擎建立一個良好的導航結構。
2、 Html地圖中可以分為橫向和縱向導航，橫向導航主要是頻道、欄目、專題等鏈接，縱向導航主要是針對關鍵詞。
3、 每個頁面都有指向網站地圖的鏈接。
Xml網站地圖：主要針對Google、yahoo、live等搜索引擎。因為大型網站數據量太大，單個的sitemap會導致sitemap.xml文件太大，超過搜索引擎的容忍度。所以我們要將sitemap.xml拆分為數個，每個拆分後的sitemap.xml則保持在搜索引擎建議的范圍內。
第七部分:搜索引擎友好寫作策略
搜索引擎友好寫作是創造海量數據對取得好的搜索引擎排名的很關鍵的一部分。而SEO人員不可能針對每個網頁都提出SEO建議或者方案，所以對寫作人員的培訓尤為重要。如果所有寫作人員都按照搜索引擎友好的原則去寫作，則產生的效果是很恐怖的。
1、 對寫作人員要進行反復培訓：寫作人員不是SEO，沒有經驗，不可能一遍就領悟SEO的寫作技巧。所以要對寫作人員進行反復的培訓才能達到效果。
2、 創造內容先思考用戶會去搜索什麼，針對用戶的搜索需求而寫作。
3、 重視title、meta寫作：例如Meta雖然在搜索引擎的權重已經很低，但是不好的meta寫作例如堆積關鍵詞、關鍵詞與內容不相關等行為反而會產生負作用。而Title的權重較高，盡量在Title中融入關鍵詞。
4、 內容與關鍵詞的融合：在內容中要適當的融入關鍵詞，使關鍵詞出現在適當的位置，並保持適當的關鍵詞密度。
5、 為關鍵詞加入鏈接很重要：為相關關鍵詞加入鏈接，或者為本網頁出現的其他網頁的關鍵詞加入鏈接，可以很好的利用內鏈優勢。
6、 為關鍵詞使用語義化標簽：
第八部分:日誌分析與數據挖掘
日誌分析與數據挖掘常常被我們所忽視，其實不管是大型網站還是中小網站，都是一件很有意義的工作。只是大型網站的日誌分析和數據挖掘工作難度要更高一些，因為數據量實在太大，所以我們要具備足夠的耐心來做該項工作，並且要有的放矢。
1、 網站日誌分析：網站日誌分析的的種類有很多，如訪問來源、瀏覽器、客戶端屏幕大小、入口、跳出率、PV等。跟SEO工作最相關的主要有以下三種：a、搜索引擎流量導入;b、搜索引擎關鍵詞分析;c、用戶搜索行為統計分析
2、 熱點數據挖掘：我們可以通過自身的網站日誌分析以及一些外在的工具和SEO自己對熱點的把握能力來進行熱點數據的挖掘。熱點數據的挖掘主要有以下手段：a、把握行業熱點，可以由編輯與SEO共同完成;b、預測潛在熱點，對信息的敏感度要求較高，能夠預測潛在的熱門信息。c、自己創造熱點，如炒作等;d、 為熱點製作專題
第九部分:為關鍵詞創作專題
除了最終頁面，各種針對熱門的關鍵詞所製作的專題應該作為網站的第二大搜索引擎流量來源。我們在對熱點數據進行挖掘後，就可以針對這些熱門關鍵詞製作專題了。製作的專題頁的內容從何而來?我們一般通過程序實現對應關鍵詞相關的信息進行篩選聚合，這樣就使得內容與關鍵詞高度匹配，為用戶、為搜索引擎都提供了所需要的內容。
當然，僅僅建立一個專題而沒有輔助手段是很難保證專題的搜索引擎排名的，我們可以通過文章內鏈、頻道頁推薦、或者最終頁的專題推薦來獲得鏈接達到效果。
1、為熱點關鍵詞製作專題
2、關鍵詞相關信息的聚合
3、輔以文章內鏈導入鏈接
4、通過爬蟲爬取互聯網公開新聞信息等，並做展現，打開會直接打開原網站，這種涉及侵權嗎？
可以的，首先要自己會寫代碼學習爬蟲可以從下面一些知識點入手學習。 1、http相關知識。 2、瀏覽器攔截、抓包。 3、python2 中編碼知識，python3 中bytes 和str類型轉換。 4、抓取javascript 動態生成的內容。 4、模擬post、get，header等 5、cookie處理，登錄。 6、代理訪問。 7、多線程訪問、python 3 asyncio 非同步。 8、正則表達式、xpath等等等。。。。還有scrapy requests等第三方庫的使用。
5、如何防止網站被爬蟲爬取的幾種辦法
用robots.txt
6、zhuan：有哪些網站用爬蟲爬取能得到很
一般有一下幾種 一些常用的方法 IP代理 對於IP代理,各個語言的Native Request API都提供的IP代理響應的API, 需要解決的主要就是IP源的問題了. 網路上有廉價的代理IP(1元4000個左右), 我做過簡單的測試, 100個IP中, 平均可用的在40-60左右, 訪問延遲均在200以上. 網路有高質量的代理IP出售, 前提是你有渠道. 因為使用IP代理後, 延遲加大, 失敗率提高, 所以可以將爬蟲框架中將請求設計為非同步, 將請求任務加入請求隊列(RabbitMQ,Kafka,Redis), 調用成功後再進行回調處理, 失敗則重新加入隊列. 每次請求都從IP池中取IP, 如果請求失敗則從IP池中刪除該失效的IP. Cookies 有一些網站是基於cookies做反爬蟲, 這個基本上就是如 @朱添一 所說的, 維護一套Cookies池 注意研究下目標網站的cookies過期事件, 可以模擬瀏覽器, 定時生成cookies 限速訪問 像開多線程,循環無休眠的的暴力爬取數據, 那真是分分鍾被封IP的事, 限速訪問實現起來也挺簡單(用任務隊列實現), 效率問題也不用擔心, 一般結合IP代理已經可以很快地實現爬去目標內容. 一些坑 大批量爬取目標網站的內容後, 難免碰到紅線觸發對方的反爬蟲機制. 所以適當的告警提示爬蟲失效是很有必有的. 一般被反爬蟲後, 請求返回的HttpCode為403的失敗頁面, 有些網站還會返回輸入驗證碼(如豆瓣), 所以檢測到403調用失敗, 就發送報警, 可以結合一些監控框架, 如Metrics等, 設置短時間內, 告警到達一定閥值後, 給你發郵件,簡訊等. 當然, 單純的檢測403錯誤並不能解決所有情況. 有一些網站比較奇葩, 反爬蟲後返回的頁面仍然是200的(如去哪兒), 這時候往往爬蟲任務會進入解析階段, 解析失敗是必然的. 應對這些辦法, 也只能在解析失敗的時候, 發送報警, 當告警短時間到達一定閥值, 再觸發通知事件. 當然這個解決部分並不完美, 因為有時候, 因為網站結構改變, 而導致解析失敗, 同樣回觸發告警. 而你並不能很簡單地區分, 告警是由於哪個原因引起的.
7、爬蟲爬取網頁的行為都很正常不會受到網站的任何限制 判斷？
爬蟲爬取網頁的行為是都是很正常，不會受到網站的任何限制。那怎麼會呢？肯定會
8、如何分析網站網頁爬蟲爬取規則
既然確定了用爬蟲來自動整理文章，你得先理解爬蟲是什麼。爬蟲說白了就是一個腳本程序。說到腳本，我們平時遇到一些費時費力又容易出錯的活兒，都可以把用到的命令寫到腳本里，讓計算機自動來執行。測試同學說的自動化腳本，運維同學說的環境配置腳本，都是這個意思。一個腳本包含了很多命令，一個接一個，告訴計算機第一步干什麼，之後干什麼，最後干什麼。
在這里，我們的目標很明確，就是寫一個爬蟲腳本，讓計算機一步一步的把「給產品經理講技術」的所有歷史文章，保存成pdf。
歷史文章哪裡去找？正好，微信公眾號的關注界面有一個查看歷史消息的鏈接。
點開歷史消息，這個頁面每次顯示10篇文章，如果用戶滑到底，就會再載入10篇出來，典型的非同步載入。我們要找的，就是每篇文章的URL地址。只要找到所有文章的URL，就能下載到每篇文章的內容和圖片，然後就可以進一步加工處理成pdf了。
為此，我們長按頁面選擇在瀏覽器中打開，然後把地址欄里的URL復制出來，發送到電腦上，用Chrome打開。用Chrome的最大好處，就是它有一個「開發人員工具」，可以直接查看網頁的源碼。按下command+option+L，打開開發人員工具，就能看到這個網頁的源碼了。我們要找的東西，就藏在這些亂七八糟的HTML代碼里。
如何從HTML源碼里找到我們想要的文章鏈接呢？
這要從HTML的結構說起。HTML全稱超文本標記語言，所謂標記，就是說是它通過很多標簽來描述一個網頁。你看到很多像以開始，以結束的標志，就是標簽。這些標簽一般成對出現，標簽裡面還可以套標簽，表示一種層級關系。最外面的html標簽是最大的，head、body次之，一層一層下來，最後才是一段文字，一個鏈接。你可以把它類比成一個人，這個人叫html，有head，有body，body上有hand，hand上面有finger。
扯遠了，一些常用的標簽：
1、<head>。一個網頁的很多重要信息，都是在這里聲明的。比如說標題，就是在<head>下的<title>里定義的。一個網頁用到的CSS樣式，可以在<head>下的<style>里定義。還有你寫的JavaScript代碼，也可以在<head>下的<script>里定義。
2、<body>。它包含的東西就多了，基本上我們能看到的東西，一段文字，一張圖片，一個鏈接，都在這裡面。比如說：
<p>表示一個段落
<h1>是一段文字的大標題
<a>表示一個鏈接
<img>表示一張圖
<form>是一個表單
<div>是一個區塊
計算機是如何理解HTML的標簽的呢？其實很簡單，它就是一棵樹。你可以把<html>當做樹根，從樹根上分出<head>和<body>，各個分支上又有新的分支，直到不能再分為止。這有點類似我們電腦上存放的文件。假設你有一本《21天學習C++》的電子書，存在D盤、study文件夾下的CS文件夾里。而study文件夾里除了CS文件夾，還有GRE、島國文化等目錄，代表著另一個分支體系。這也是一棵樹。樹上的每一片葉子，都有一條從根部可以到達的路徑，可以方便計算機去查找。
回到正題，有了這些基礎知識，我么再來看微信這個歷史消息頁面。從最外層的<html>標簽開始，一層一層展開，中間有<body>、有<div>、最後找到一個<a>標簽，標簽裡面的hrefs就是每篇文章的URL了。把這個URL復制下來，在新的TAB打開，確認確實是文章的地址。
現在我們通過分析一個網頁的結構、標簽，找到了我們想要的文章URL，我們就可以寫爬蟲去模擬這個過程了。爬蟲拿到網頁之後，我們可以用正則表達式去查找這個<a>標簽，當然，也可以用一些更高級的手段來找。
9、如何防止網站被爬蟲爬取的幾種辦法
可以在網站的根目錄加上robot.txt文件，這樣就可以阻止爬蟲爬取了。
10、有哪些網站用爬蟲爬取能得到很有價值的數據
一般有一下幾種
一些常用的方法
IP代理
對於IP代理,各個語言的Native Request API都提供的IP代理響應的API, 需要解決的主要就是IP源的問題了.
網路上有廉價的代理IP(1元4000個左右), 我做過簡單的測試, 100個IP中, 平均可用的在40-60左右, 訪問延遲均在200以上.
網路有高質量的代理IP出售, 前提是你有渠道.
因為使用IP代理後, 延遲加大, 失敗率提高, 所以可以將爬蟲框架中將請求設計為非同步, 將請求任務加入請求隊列(RabbitMQ,Kafka,Redis), 調用成功後再進行回調處理, 失敗則重新加入隊列. 每次請求都從IP池中取IP, 如果請求失敗則從IP池中刪除該失效的IP.
Cookies
有一些網站是基於cookies做反爬蟲, 這個基本上就是如 @朱添一 所說的, 維護一套Cookies池
注意研究下目標網站的cookies過期事件, 可以模擬瀏覽器, 定時生成cookies
限速訪問
像開多線程,循環無休眠的的暴力爬取數據, 那真是分分鍾被封IP的事, 限速訪問實現起來也挺簡單(用任務隊列實現), 效率問題也不用擔心, 一般結合IP代理已經可以很快地實現爬去目標內容.
一些坑
大批量爬取目標網站的內容後, 難免碰到紅線觸發對方的反爬蟲機制. 所以適當的告警提示爬蟲失效是很有必有的.
一般被反爬蟲後, 請求返回的HttpCode為403的失敗頁面, 有些網站還會返回輸入驗證碼(如豆瓣), 所以檢測到403調用失敗, 就發送報警, 可以結合一些監控框架, 如Metrics等, 設置短時間內, 告警到達一定閥值後, 給你發郵件,簡訊等.
當然, 單純的檢測403錯誤並不能解決所有情況. 有一些網站比較奇葩, 反爬蟲後返回的頁面仍然是200的(如去哪兒), 這時候往往爬蟲任務會進入解析階段, 解析失敗是必然的. 應對這些辦法, 也只能在解析失敗的時候, 發送報警, 當告警短時間到達一定閥值, 再觸發通知事件.
當然這個解決部分並不完美, 因為有時候, 因為網站結構改變, 而導致解析失敗, 同樣回觸發告警. 而你並不能很簡單地區分, 告警是由於哪個原因引起的.