1、如何分析网站网页爬虫爬取规则
既然确定了用爬虫来自动整理文章，你得先理解爬虫是什么。爬虫说白了就是一个脚本程序。说到脚本，我们平时遇到一些费时费力又容易出错的活儿，都可以把用到的命令写到脚本里，让计算机自动来执行。测试同学说的自动化脚本，运维同学说的环境配置脚本，都是这个意思。一个脚本包含了很多命令，一个接一个，告诉计算机第一步干什么，之后干什么，最后干什么。
在这里，我们的目标很明确，就是写一个爬虫脚本，让计算机一步一步的把「给产品经理讲技术」的所有历史文章，保存成pdf。
历史文章哪里去找？正好，微信公众号的关注界面有一个查看历史消息的链接。
点开历史消息，这个页面每次显示10篇文章，如果用户滑到底，就会再加载10篇出来，典型的异步加载。我们要找的，就是每篇文章的URL地址。只要找到所有文章的URL，就能下载到每篇文章的内容和图片，然后就可以进一步加工处理成pdf了。
为此，我们长按页面选择在浏览器中打开，然后把地址栏里的URL复制出来，发送到电脑上，用Chrome打开。用Chrome的最大好处，就是它有一个「开发人员工具」，可以直接查看网页的源码。按下command+option+L，打开开发人员工具，就能看到这个网页的源码了。我们要找的东西，就藏在这些乱七八糟的HTML代码里。
如何从HTML源码里找到我们想要的文章链接呢？
这要从HTML的结构说起。HTML全称超文本标记语言，所谓标记，就是说是它通过很多标签来描述一个网页。你看到很多像以开始，以结束的标志，就是标签。这些标签一般成对出现，标签里面还可以套标签，表示一种层级关系。最外面的html标签是最大的，head、body次之，一层一层下来，最后才是一段文字，一个链接。你可以把它类比成一个人，这个人叫html，有head，有body，body上有hand，hand上面有finger。
扯远了，一些常用的标签：
1、<head>。一个网页的很多重要信息，都是在这里声明的。比如说标题，就是在<head>下的<title>里定义的。一个网页用到的CSS样式，可以在<head>下的<style>里定义。还有你写的JavaScript代码，也可以在<head>下的<script>里定义。
2、<body>。它包含的东西就多了，基本上我们能看到的东西，一段文字，一张图片，一个链接，都在这里面。比如说：
<p>表示一个段落
<h1>是一段文字的大标题
<a>表示一个链接
<img>表示一张图
<form>是一个表单
<div>是一个区块
计算机是如何理解HTML的标签的呢？其实很简单，它就是一棵树。你可以把<html>当做树根，从树根上分出<head>和<body>，各个分支上又有新的分支，直到不能再分为止。这有点类似我们电脑上存放的文件。假设你有一本《21天学习C++》的电子书，存在D盘、study文件夹下的CS文件夹里。而study文件夹里除了CS文件夹，还有GRE、岛国文化等目录，代表着另一个分支体系。这也是一棵树。树上的每一片叶子，都有一条从根部可以到达的路径，可以方便计算机去查找。
回到正题，有了这些基础知识，我么再来看微信这个历史消息页面。从最外层的<html>标签开始，一层一层展开，中间有<body>、有<div>、最后找到一个<a>标签，标签里面的hrefs就是每篇文章的URL了。把这个URL复制下来，在新的TAB打开，确认确实是文章的地址。
现在我们通过分析一个网页的结构、标签，找到了我们想要的文章URL，我们就可以写爬虫去模拟这个过程了。爬虫拿到网页之后，我们可以用正则表达式去查找这个<a>标签，当然，也可以用一些更高级的手段来找。
2、有没有一种爬虫服务，只需要我指定网站和规则，就可以
可以，只要公开的东西都可以，一般都可以爬到没问题，规则和网站得指定好，如果不满足也可以另外找额开发，不会的话可以提供技术支持
3、网站刚建好，没有信息，听说有个什么爬虫，可以自动抓取，怎么用？
网站爬虫只是提取网站信息制作网站地图，网站地图是提交给百度的叫做版sitemap.xml
网站刚建好，权提几点建议。
分析竞争对手
设立核心关键词和长尾词
制定优化策略
丰富内容，需要原创内容
外链发布，外链可以吸引百度蜘蛛抓取
友情链接交换
刚开始做好这几步，网站很快上来的
4、如何设置让网站禁止被爬虫收录？
1、网站建设好了，当然是希望网页被搜索引擎收录的越多越好，但有时候我们也会碰专到网站不需要被搜索引擎收属录的情况。要启用一个新的域名做镜像网站，主要用于PPC 的推广，这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页。因为如果镜像网站也被搜索引擎收录的话，很有可能会影响官网在搜索引擎的权重。
2、屏蔽主流搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路。是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫。
3、通过 robots.txt 文件屏蔽，可以说 robots.txt 文件是最重要的一种渠道（能和搜索引擎建立直接对话）。通过 meta tag 屏蔽，在所有的网页头部文件添加，添加如下语句：<meta name="robots" content="noindex, nofollow">。通过服务器（如：Linux/nginx ）配置文件设置，直接过滤 spider/robots 的IP 段。
5、该网站变成了https需要如何爬虫
1、如果网站已经增加了HTTPS，那么您需要确定HTTP跳转HTTPS，使用的是301方式跳转，请勿使用302跳转，这样可以专确保搜索引擎正常属收录。
2、正确使用HTTPS确保符合浏览器高标准的信任，这种情况下，国内百度搜索引擎，需要登陆百度站长去提交，提交支持HTTPS即可。
3、HTTPS爬虫是与HTTP原理是一样的，除非您的证书不备信任，那么爬虫也就无法访问了，所以证书很重要！
6、如何引导蜘蛛爬虫系统地抓取网站
多发些网络蜘蛛没有收录过的东西，便于抓取
7、网络爬虫（蜘蛛）有什么危害，若自己做网站是否要防止网络爬虫？
一般情况我们都是喜欢让蜘蛛过来爬网站的，这样可以让网站更利收录，更新快照的，一般的网站是不会遇到被蜘蛛爬行次数过来而导致服务器不稳定的，我们现在很多做优化的，都是在想尽办法让蜘蛛过来爬行的哦！ 嘉兴七彩光电科技有限公司--SEO部 小李，希望可以帮到您哦！
8、python爬虫爬一个网站要多久
很难判断时间。整体上与如下几个因素有关系
1、网站的页面数。
2、爬虫程序的算法。
3、网络性能。
9、请问对于爬虫程序，因为对于不同的网站，想要爬取的数据是不同的，难道每换一个网站就要重新写程序吗？
爬虫程序是依据HTML语言来编写的，而不管你什么网站，除了纯flash的网站，都是使用html语言编写的，只是遵循的规范不同。