- Scrapy教程
- Scrapy - 主页
- Scrapy 基本概念
- Scrapy - 概述
- Scrapy - 环境
- Scrapy - 命令行工具
- Scrapy - 蜘蛛
- Scrapy - 选择器
- Scrapy - 项目
- Scrapy - 物品加载器
- Scrapy - 外壳
- Scrapy - 项目管道
- Scrapy - 饲料出口
- Scrapy - 请求和响应
- Scrapy - 链接提取器
- Scrapy-设置
- Scrapy - 异常
- Scrapy 现场项目
- Scrapy - 创建一个项目
- Scrapy - 定义一个项目
- Scrapy - 第一个蜘蛛
- Scrapy - 爬行
- Scrapy - 提取项目
- Scrapy - 使用项目
- Scrapy - 以下链接
- Scrapy - 抓取数据
- Scrapy 有用的资源
- Scrapy - 快速指南
- Scrapy - 有用的资源
- Scrapy - 讨论
Scrapy - 环境
在本章中,我们将讨论如何安装和设置 Scrapy。Scrapy 必须与 Python 一起安装。
Scrapy 可以使用pip安装。要安装,请运行以下命令 -
pip install Scrapy
Windows
注意- Windows 操作系统不支持 Python 3。
步骤 1 - 从Python安装 Python 2.7
通过将以下路径添加到 PATH 来设置环境变量 -
C:\Python27\;C:\Python27\Scripts\;
您可以使用以下命令检查 Python 版本 -
python --version
步骤 2 - 安装 OpenSSL。
在环境变量中添加 C:\OpenSSL-Win32\bin。
注- OpenSSL 预装在除 Windows 之外的所有操作系统中。
步骤 3 - 安装Visual C++ 2008可再发行组件。
步骤 4 - 安装pywin32。
步骤 5 -为 2.7.9 之前的 Python 版本安装pip 。
您可以使用以下命令检查 pip 版本 -
pip --version
步骤 6 - 要安装 scrapy,请运行以下命令 -
pip install Scrapy
蟒蛇
如果您的计算机上安装了anaconda或miniconda,请运行以下命令使用 conda 安装 Scrapy -
conda install -c scrapinghub scrapy
Scrapinghub公司支持 Linux、Windows 和 OS X 的官方 conda 软件包。
注意- 如果您在通过 pip 安装时遇到问题,建议使用上述命令安装 Scrapy。
Ubuntu 9.10 或更高版本
Ubuntu 操作系统上预装了最新版本的 Python。使用 Scrapinghub 提供的 Ubuntu 软件包 aptgettable。使用包 -
步骤 1 - 您需要将用于签署 Scrapy 包的 GPG 密钥导入到 APT 密钥环中 -
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7
步骤 2 - 接下来,使用以下命令创建 /etc/apt/sources.list.d/scrapy.list 文件 -
echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list
步骤 3 - 更新包列表并安装 scrapy -
sudo apt-get update && sudo apt-get install scrapy
ArchLinux
您可以使用以下命令从 AUR Scrapy 包安装 Scrapy -
yaourt -S scrapy
Mac OS X
使用以下命令安装 Xcode 命令行工具 -
xcode-select --install
不要使用系统 Python,而是安装一个不会与系统其他部分冲突的新更新版本。
步骤 1 - 安装自制程序。
步骤 2 - 设置环境 PATH 变量以指定应在系统包之前使用自制程序包 -
echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc
步骤 3 - 要确保更改完成,请使用以下命令重新加载.bashrc -
source ~/.bashrc
步骤 4 - 接下来,使用以下命令安装 Python -
brew install python
步骤 5 - 使用以下命令安装 Scrapy -
pip install Scrapy