Scrapy - 网络服务

描述

正在运行的 Scrapy 网络爬虫可以通过JSON-RPC进行控制。它是通过 JSONRPC_ENABLED 设置启用的。该服务通过JSON-RPC 2.0协议提供对主爬虫对象的访问。访问爬虫对象的端点是 -

http://localhost:6080/crawler

下表包含一些显示 Web 服务Behave的设置 -

先生编号 设置及说明 默认值
1

JSONRPC_ENABLED

这是指布尔值，它决定是否启用 Web 服务及其扩展。

 真的
2

JSONRPC_LOGFILE

这是指用于记录对 Web 服务发出的 HTTP 请求的文件。如果未设置，将使用标准 Scrapy 日志。

 没有任何
3

JSONRPC_PORT

这是指 Web 服务的端口范围。如果设置为none，则端口将被动态分配。

 [6080, 7030]
4

JSONRPC_HOST

这是指 Web 服务应侦听的接口。

 ‘127.0.0.1’