Scrapy - Telnet 控制台


描述

Telnet控制台是一个在Scrapy进程内运行的Python shell,用于检查和控制Scrapy运行进程。

访问 Telnet 控制台

可以使用以下命令访问 telnet 控制台 -

telnet localhost 6023

基本上,telnet 控制台在 TCP 端口中列出,这在TELNETCONSOLE_PORT设置中进行了描述。

变量

下表中给出的一些默认变量用作快捷方式 -

先生编号 快捷方式及说明
1

爬行器

这是指Scrapy Crawler (scrapy.crawler.Crawler)对象。

2

引擎

这是指 Crawler.engine 属性。

3

蜘蛛

这是指处于活动状态的蜘蛛。

4

投币口

这是指发动机插槽。

5

扩展

这是指扩展管理器 (Crawler.extensions) 属性。

6

统计数据

这是指统计收集器 (Crawler.stats) 属性。

7

环境

这是指Scrapy设置对象(Crawler.settings)属性。

8

美东时间

这是指打印发动机状态报告。

9

首选项

这是指用于调试的内存。

10

p

这是指pprint.pprint函数的快捷方式。

11

羟吡啶

这是指内存调试。

例子

以下是使用 Telnet Console 进行说明的一些示例。

暂停、恢复和停止 Scrapy 引擎

要暂停 Scrapy 引擎,请使用以下命令 -

telnet localhost 6023
>>> engine.pause()
>>>

要恢复 Scrapy 引擎,请使用以下命令 -

telnet localhost 6023
>>> engine.unpause()
>>>

要停止 Scrapy 引擎,请使用以下命令 -

telnet localhost 6023
>>> engine.stop()
Connection closed by foreign host.

查看发动机状态

Telnet 控制台使用est()方法检查 Scrapy 引擎的状态,如以下代码所示 -

telnet localhost 6023
>>> est()
Execution engine status

time()-engine.start_time                        : 8.62972998619
engine.has_capacity()                           : False
len(engine.downloader.active)                   : 16
engine.scraper.is_idle()                        : False
engine.spider.name                              : followall
engine.spider_is_idle(engine.spider)            : False
engine.slot.closing                             : False
len(engine.slot.inprogress)                     : 16
len(engine.slot.scheduler.dqs or [])            : 0
len(engine.slot.scheduler.mqs)                  : 92
len(engine.scraper.slot.queue)                  : 0
len(engine.scraper.slot.active)                 : 0
engine.scraper.slot.active_size                 : 0
engine.scraper.slot.itemproc_size               : 0
engine.scraper.slot.needs_backout()             : False

Telnet 控制台信号

您可以使用 telnet 控制台信号添加、更新或删除 telnet 本地命名空间中的变量。要执行此操作,您需要在处理程序中添加 telnet_vars 字典。

scrapy.extensions.telnet.update_telnet_vars(telnet_vars)

参数 -

telnet_vars (dict)

其中,dict是包含telnet变量的字典。

远程登录设置

下表显示了控制 Telnet 控制台Behave的设置 -

先生编号 设置及说明 默认值
1

TELNETCONSOLE_PORT

这是指 telnet 控制台的端口范围。如果设置为none,则端口将被动态分配。

[6023, 6073]
2

远程登录控制台_主机

这是指 telnet 控制台应侦听的接口。

‘127.0.0.1’