Scrapy - 环境


在本章中,我们将讨论如何安装和设置 Scrapy。Scrapy 必须与 Python 一起安装。

Scrapy 可以使用pip安装。要安装,请运行以下命令 -

pip install Scrapy

Windows

注意- Windows 操作系统不支持 Python 3。

步骤 1 - 从Python安装 Python 2.7

通过将以下路径添加到 PATH 来设置环境变量 -

C:\Python27\;C:\Python27\Scripts\; 

您可以使用以下命令检查 Python 版本 -

python --version

步骤 2 - 安装 OpenSSL

在环境变量中添加 C:\OpenSSL-Win32\bin。

- OpenSSL 预装在除 Windows 之外的所有操作系统中。

步骤 3 - 安装Visual C++ 2008可再发行组件。

步骤 4 - 安装pywin32

步骤 5 -为 2.7.9 之前的 Python 版本安装pip 。

您可以使用以下命令检查 pip 版本 -

pip --version

步骤 6 - 要安装 scrapy,请运行以下命令 -

pip install Scrapy

蟒蛇

如果您的计算机上安装了anacondaminiconda,请运行以下命令使用 conda 安装 Scrapy -

conda install -c scrapinghub scrapy 

Scrapinghub公司支持 Linux、Windows 和 OS X 的官方 conda 软件包。

注意- 如果您在通过 pip 安装时遇到问题,建议使用上述命令安装 Scrapy。

Ubuntu 9.10 或更高版本

Ubuntu 操作系统上预装了最新版本的 Python。使用 Scrapinghub 提供的 Ubuntu 软件包 aptgettable。使用包 -

步骤 1 - 您需要将用于签署 Scrapy 包的 GPG 密钥导入到 APT 密钥环中 -

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

步骤 2 - 接下来,使用以下命令创建 /etc/apt/sources.list.d/scrapy.list 文件 -

echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee 
/etc/apt/sources.list.d/scrapy.list

步骤 3 - 更新包列表并安装 scrapy -

sudo apt-get update && sudo apt-get install scrapy

ArchLinux

您可以使用以下命令从 AUR Scrapy 包安装 Scrapy -

yaourt -S scrapy

Mac OS X

使用以下命令安装 Xcode 命令行工具 -

xcode-select --install 

不要使用系统 Python,而是安装一个不会与系统其他部分冲突的新更新版本。

步骤 1 - 安装自制程序

步骤 2 - 设置环境 PATH 变量以指定应在系统包之前使用自制程序包 -

echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc

步骤 3 - 要确保更改完成,请使用以下命令重新加载.bashrc -

source ~/.bashrc 

步骤 4 - 接下来,使用以下命令安装 Python -

brew install python

步骤 5 - 使用以下命令安装 Scrapy -

pip install Scrapy