博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Scrapy同时启动多个爬虫
阅读量:4959 次
发布时间:2019-06-12

本文共 621 字,大约阅读时间需要 2 分钟。

1. 在项目文件夹中新建一个commands文件夹

2. 在command的文件夹中新建一个文件 crawlall.py

3.在crawlall.py 中写一个command类,该类继承 scrapy.commands

from scrapy.commands import ScrapyCommandclass Command(ScrapyCommand):    requires_project = True    def syntax(self):        return '[options]'    def short_desc(self):        return 'Runs all of the spiders'    def run(self, args, opts):        spider_list = self.crawler_process.spiders.list()        for name in spider_list:            self.crawler_process.crawl(name, **opts.__dict__)        self.crawler_process.start()
  • 命令行执行:启动所有爬虫         scrapy crawlall

转载于:https://www.cnblogs.com/knighterrant/p/10812430.html

你可能感兴趣的文章
WebLogic 12c 多节点Cluster静默安装
查看>>
win8中如何禁用屏幕旋转的快捷键
查看>>
Solution 23: 判断矩形和圆是否相交
查看>>
Qt And MFC Mouse Over Tips
查看>>
JSP/Servlet 中的汉字编码问题
查看>>
《构建之法》(十)
查看>>
django之信号
查看>>
[noip2013]货车运输(kruskal + 树上倍增)
查看>>
简单工厂模式
查看>>
#hashMap冲突原理#详细
查看>>
基于单片机定时器---年月日时分秒的算法
查看>>
linux中IDE和SATA硬盘的区别
查看>>
关于清理缓存的解决方案
查看>>
编译时获得系统的日期和时间
查看>>
Unity3D写雷电游戏(一)
查看>>
Mybatis之使用注解开发CRUD
查看>>
C语言错误:request for member ‘xxx’ in something not a structure or union
查看>>
[LintCode] Pow(x, n) 求x的n次方
查看>>
冒泡排序逐步详解相关笔记(一)
查看>>
sql server split 分割 两种方法
查看>>