- Scrapy教程
- Scrapy - 主页
- Scrapy 基本概念
- Scrapy - 概述
- Scrapy - 环境
- Scrapy - 命令行工具
- Scrapy - 蜘蛛
- Scrapy - 选择器
- Scrapy - 项目
- Scrapy - 物品加载器
- Scrapy - 外壳
- Scrapy - 项目管道
- Scrapy - 饲料出口
- Scrapy - 请求和响应
- Scrapy - 链接提取器
- Scrapy-设置
- Scrapy - 异常
- Scrapy 现场项目
- Scrapy - 创建一个项目
- Scrapy - 定义一个项目
- Scrapy - 第一个蜘蛛
- Scrapy - 爬行
- Scrapy - 提取项目
- Scrapy - 使用项目
- Scrapy - 以下链接
- Scrapy - 抓取数据
- Scrapy 有用的资源
- Scrapy - 快速指南
- Scrapy - 有用的资源
- Scrapy - 讨论
Scrapy - Telnet 控制台
描述
Telnet控制台是一个在Scrapy进程内运行的Python shell,用于检查和控制Scrapy运行进程。
访问 Telnet 控制台
可以使用以下命令访问 telnet 控制台 -
telnet localhost 6023
基本上,telnet 控制台在 TCP 端口中列出,这在TELNETCONSOLE_PORT设置中进行了描述。
变量
下表中给出的一些默认变量用作快捷方式 -
先生编号 | 快捷方式及说明 |
---|---|
1 | 爬行器 这是指Scrapy Crawler (scrapy.crawler.Crawler)对象。 |
2 | 引擎 这是指 Crawler.engine 属性。 |
3 | 蜘蛛 这是指处于活动状态的蜘蛛。 |
4 | 投币口 这是指发动机插槽。 |
5 | 扩展 这是指扩展管理器 (Crawler.extensions) 属性。 |
6 | 统计数据 这是指统计收集器 (Crawler.stats) 属性。 |
7 | 环境 这是指Scrapy设置对象(Crawler.settings)属性。 |
8 | 美东时间 这是指打印发动机状态报告。 |
9 | 首选项 这是指用于调试的内存。 |
10 | p 这是指pprint.pprint函数的快捷方式。 |
11 | 羟吡啶 这是指内存调试。 |
例子
以下是使用 Telnet Console 进行说明的一些示例。
暂停、恢复和停止 Scrapy 引擎
要暂停 Scrapy 引擎,请使用以下命令 -
telnet localhost 6023 >>> engine.pause() >>>
要恢复 Scrapy 引擎,请使用以下命令 -
telnet localhost 6023 >>> engine.unpause() >>>
要停止 Scrapy 引擎,请使用以下命令 -
telnet localhost 6023 >>> engine.stop() Connection closed by foreign host.
查看发动机状态
Telnet 控制台使用est()方法检查 Scrapy 引擎的状态,如以下代码所示 -
telnet localhost 6023 >>> est() Execution engine status time()-engine.start_time : 8.62972998619 engine.has_capacity() : False len(engine.downloader.active) : 16 engine.scraper.is_idle() : False engine.spider.name : followall engine.spider_is_idle(engine.spider) : False engine.slot.closing : False len(engine.slot.inprogress) : 16 len(engine.slot.scheduler.dqs or []) : 0 len(engine.slot.scheduler.mqs) : 92 len(engine.scraper.slot.queue) : 0 len(engine.scraper.slot.active) : 0 engine.scraper.slot.active_size : 0 engine.scraper.slot.itemproc_size : 0 engine.scraper.slot.needs_backout() : False
Telnet 控制台信号
您可以使用 telnet 控制台信号添加、更新或删除 telnet 本地命名空间中的变量。要执行此操作,您需要在处理程序中添加 telnet_vars 字典。
scrapy.extensions.telnet.update_telnet_vars(telnet_vars)
参数 -
telnet_vars (dict)
其中,dict是包含telnet变量的字典。
远程登录设置
下表显示了控制 Telnet 控制台Behave的设置 -
先生编号 | 设置及说明 | 默认值 |
---|---|---|
1 | TELNETCONSOLE_PORT 这是指 telnet 控制台的端口范围。如果设置为none,则端口将被动态分配。 |
[6023, 6073] |
2 | 远程登录控制台_主机 这是指 telnet 控制台应侦听的接口。 |
‘127.0.0.1’ |