1、如何分析網站網頁爬蟲爬取規則
既然確定了用爬蟲來自動整理文章，你得先理解爬蟲是什麼。爬蟲說白了就是一個腳本程序。說到腳本，我們平時遇到一些費時費力又容易出錯的活兒，都可以把用到的命令寫到腳本里，讓計算機自動來執行。測試同學說的自動化腳本，運維同學說的環境配置腳本，都是這個意思。一個腳本包含了很多命令，一個接一個，告訴計算機第一步干什麼，之後干什麼，最後干什麼。
在這里，我們的目標很明確，就是寫一個爬蟲腳本，讓計算機一步一步的把「給產品經理講技術」的所有歷史文章，保存成pdf。
歷史文章哪裡去找？正好，微信公眾號的關注界面有一個查看歷史消息的鏈接。
點開歷史消息，這個頁面每次顯示10篇文章，如果用戶滑到底，就會再載入10篇出來，典型的非同步載入。我們要找的，就是每篇文章的URL地址。只要找到所有文章的URL，就能下載到每篇文章的內容和圖片，然後就可以進一步加工處理成pdf了。
為此，我們長按頁面選擇在瀏覽器中打開，然後把地址欄里的URL復制出來，發送到電腦上，用Chrome打開。用Chrome的最大好處，就是它有一個「開發人員工具」，可以直接查看網頁的源碼。按下command+option+L，打開開發人員工具，就能看到這個網頁的源碼了。我們要找的東西，就藏在這些亂七八糟的HTML代碼里。
如何從HTML源碼里找到我們想要的文章鏈接呢？
這要從HTML的結構說起。HTML全稱超文本標記語言，所謂標記，就是說是它通過很多標簽來描述一個網頁。你看到很多像以開始，以結束的標志，就是標簽。這些標簽一般成對出現，標簽裡面還可以套標簽，表示一種層級關系。最外面的html標簽是最大的，head、body次之，一層一層下來，最後才是一段文字，一個鏈接。你可以把它類比成一個人，這個人叫html，有head，有body，body上有hand，hand上面有finger。
扯遠了，一些常用的標簽：
1、<head>。一個網頁的很多重要信息，都是在這里聲明的。比如說標題，就是在<head>下的<title>里定義的。一個網頁用到的CSS樣式，可以在<head>下的<style>里定義。還有你寫的JavaScript代碼，也可以在<head>下的<script>里定義。
2、<body>。它包含的東西就多了，基本上我們能看到的東西，一段文字，一張圖片，一個鏈接，都在這裡面。比如說：
<p>表示一個段落
<h1>是一段文字的大標題
<a>表示一個鏈接
<img>表示一張圖
<form>是一個表單
<div>是一個區塊
計算機是如何理解HTML的標簽的呢？其實很簡單，它就是一棵樹。你可以把<html>當做樹根，從樹根上分出<head>和<body>，各個分支上又有新的分支，直到不能再分為止。這有點類似我們電腦上存放的文件。假設你有一本《21天學習C++》的電子書，存在D盤、study文件夾下的CS文件夾里。而study文件夾里除了CS文件夾，還有GRE、島國文化等目錄，代表著另一個分支體系。這也是一棵樹。樹上的每一片葉子，都有一條從根部可以到達的路徑，可以方便計算機去查找。
回到正題，有了這些基礎知識，我么再來看微信這個歷史消息頁面。從最外層的<html>標簽開始，一層一層展開，中間有<body>、有<div>、最後找到一個<a>標簽，標簽裡面的hrefs就是每篇文章的URL了。把這個URL復制下來，在新的TAB打開，確認確實是文章的地址。
現在我們通過分析一個網頁的結構、標簽，找到了我們想要的文章URL，我們就可以寫爬蟲去模擬這個過程了。爬蟲拿到網頁之後，我們可以用正則表達式去查找這個<a>標簽，當然，也可以用一些更高級的手段來找。
2、有沒有一種爬蟲服務，只需要我指定網站和規則，就可以
可以，只要公開的東西都可以，一般都可以爬到沒問題，規則和網站得指定好，如果不滿足也可以另外找額開發，不會的話可以提供技術支持
3、網站剛建好，沒有信息，聽說有個什麼爬蟲，可以自動抓取，怎麼用？
網站爬蟲只是提取網站信息製作網站地圖，網站地圖是提交給百度的叫做版sitemap.xml
網站剛建好，權提幾點建議。
分析競爭對手
設立核心關鍵詞和長尾詞
制定優化策略
豐富內容，需要原創內容
外鏈發布，外鏈可以吸引百度蜘蛛抓取
友情鏈接交換
剛開始做好這幾步，網站很快上來的
4、如何設置讓網站禁止被爬蟲收錄？
1、網站建設好了，當然是希望網頁被搜索引擎收錄的越多越好，但有時候我們也會碰專到網站不需要被搜索引擎收屬錄的情況。要啟用一個新的域名做鏡像網站，主要用於PPC 的推廣，這個時候就要想辦法屏蔽搜索引擎蜘蛛抓取和索引我們鏡像網站的所有網頁。因為如果鏡像網站也被搜索引擎收錄的話，很有可能會影響官網在搜索引擎的權重。
2、屏蔽主流搜索引擎爬蟲（蜘蛛）抓取/索引/收錄網頁的幾種思路。是整站屏蔽，而且是盡可能的屏蔽掉所有主流搜索引擎的爬蟲。
3、通過 robots.txt 文件屏蔽，可以說 robots.txt 文件是最重要的一種渠道（能和搜索引擎建立直接對話）。通過 meta tag 屏蔽，在所有的網頁頭部文件添加，添加如下語句：<meta name="robots" content="noindex, nofollow">。通過伺服器（如：Linux/nginx ）配置文件設置，直接過濾 spider/robots 的IP 段。
5、該網站變成了https需要如何爬蟲
1、如果網站已經增加了HTTPS，那麼您需要確定HTTP跳轉HTTPS，使用的是301方式跳轉，請勿使用302跳轉，這樣可以專確保搜索引擎正常屬收錄。
2、正確使用HTTPS確保符合瀏覽器高標準的信任，這種情況下，國內百度搜索引擎，需要登陸百度站長去提交，提交支持HTTPS即可。
3、HTTPS爬蟲是與HTTP原理是一樣的，除非您的證書不備信任，那麼爬蟲也就無法訪問了，所以證書很重要！
6、如何引導蜘蛛爬蟲系統地抓取網站
多發些網路蜘蛛沒有收錄過的東西，便於抓取
7、網路爬蟲（蜘蛛）有什麼危害，若自己做網站是否要防止網路爬蟲？
一般情況我們都是喜歡讓蜘蛛過來爬網站的，這樣可以讓網站更利收錄，更新快照的，一般的網站是不會遇到被蜘蛛爬行次數過來而導致伺服器不穩定的，我們現在很多做優化的，都是在想盡辦法讓蜘蛛過來爬行的哦！ 嘉興七彩光電科技有限公司--SEO部 小李，希望可以幫到您哦！
8、python爬蟲爬一個網站要多久
很難判斷時間。整體上與如下幾個因素有關系
1、網站的頁面數。
2、爬蟲程序的演算法。
3、網路性能。
9、請問對於爬蟲程序，因為對於不同的網站，想要爬取的數據是不同的，難道每換一個網站就要重新寫程序嗎？
爬蟲程序是依據HTML語言來編寫的，而不管你什麼網站，除了純flash的網站，都是使用html語言編寫的，只是遵循的規范不同。