scrapy抓取到cms

1、scrapy抓取网页之后怎么筛选想要的结果

爬虫跟踪下一页的方法是自己模拟点击下一页连接，然后发出新的请求。专请看： item1 = Item()yield item1item2 = Item()yield item2req = Request(url='下一页的链接', callback=self.parse)yield req 注意属使用yield时不要用return语句。

2、scrapy 重复抓取没抓取成功的链接

你所谓的没抓取成功是指什么？由于网络状况因素造成的超时、连接失败还是指单纯专的没抓到数据属？
后者没什么可说的，多半会是你自身代码的问题。
那么前者的话，也不必你操心，scrapy对于连接失败的Request不会加入到filter，并且会重复这个请求。而settings中有一项RETRY_TIMES可以指定失败后重复尝试的次数。超过这个设置的值，Request就会被丢弃。
还有，DOWNLOAD_TIME可以指定超时时间，网络不够通畅时可以把它设置大点。

3、做一个网站可以手动或者自动抓取别的指定域名的网站下单条内容。并且不同网站抓取到的相同信息可以在同一

好像有专门的信息采集工具。。。

4、scrapy 抓取下一页的数据能和上一页的数据放到一起吗

可以构造这个规律，在spider里继承CrawlSpider,并且使用urls：专
rules = (
Rule(LinkExtractor(allow=('fengzheng/default.html\?page\=([\d]+)', ),),callback='parse_item',
follow=True)
) #制定规则！属

5、使用apscheler 和 scrapy 做定时抓取爬虫为什么只抓取一次

代码：
from apscheler.schelers.background import BackgroundScheler
from apscheler.triggers.cron import CronTrigger
import time
from log.make_log import make_log_file
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
from spider.spiders.aqi import AqiSpider
def aqi(crawler, spider):
try:
crawler.crawl(spider)
crawler.start()
except Exception, e:
make_log_file(str(e),'scrapy')

if __name__ == '__main__':
settings = get_project_settings()
crawler = CrawlerProcess(settings)
spider = AqiSpider()
scheler = BackgroundScheler()
scheler.daemonic=False
cron = CronTrigger(second='*/30')
scheler.add_job(aqi, cron, args=[crawler, spider])
scheler.start()
while True:
time.sleep(1000)

6、scrapy怎么让爬虫一直循环抓取不停

通过重写爬虫的调度copy器,默认的调度器是：
scrapy.core.scheler.Scheler
所有的请求都会进入调度器的queue队列中，如果想让爬虫不间断爬取，就想办法让这个queue不要为空

7、scrapy实现增量爬虫，怎么判断网站增量的内容已经抓取完毕，设置爬虫关闭的条件？

通过设置对爬取URL做hash，将哈希值存入集合set中，每次新url加入爬去队列前可以先看看是否已经hash过。具体实现可以参考 网页链接 高校学术活动内容爬取爬虫

8、scrapy 抓取百度知道？

可能你代码写的有问题。发上来看下。

BeautifulSoup4也可以抓的

9、如何在scrapy框架下，用python实现爬虫自动跳转页面来抓去网页内容？？

爬虫跟踪下一页的方法是自己模拟点击下一页连接，然后发出新的请求。请看版：

item1 = Item()
yield item1
item2 = Item()
yield item2
req = Request(url='下一页的链接', callback=self.parse)
yield req

注意使用权yield时不要用return语句。