DataLearner logoDataLearnerAI
Latest AI Insights
Model Evaluations
Model Directory
Model Comparison
Resource Center
Tool Directory

加载中...

DataLearner logoDataLearner AI

A knowledge platform focused on LLM benchmarking, datasets, and practical instruction with continuously updated capability maps.

产品

  • Leaderboards
  • 模型对比
  • Datasets

资源

  • Tutorials
  • Editorial
  • Tool directory

关于

  • 关于我们
  • 隐私政策
  • 数据收集方法
  • 联系我们

© 2026 DataLearner AI. DataLearner curates industry data and case studies so researchers, enterprises, and developers can rely on trustworthy intelligence.

隐私政策服务条款
  1. Home/
  2. Blog List/
  3. Blog Detail

python中Scrapy的安装详细过程

2016-09-18 08:34:00
3,067 views
python网络爬虫

原文地址:http://blog.csdn.net/qy20115549/article/details/52528896

目录

#安装python

python的下载地址:https://www.python.org/downloads/ 根据自己的电脑是32位还是64位进行,选择适合的python版本,我们常用的是2.7版。安装python很简单,直接点下一步,下一步就行了,这里我就不做过多介绍,但是要注意的是要配置环境变量。如图所示,将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。

这里写图片描述
这里写图片描述

如下图所示,测试python是否安装及环境变量配置成功。

这里写图片描述
这里写图片描述

#安装pywin32 安装pywin32相当简单,首先是下载,下载地址为: https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

这里写图片描述
这里写图片描述

根据自己的电脑进行选择,下载后,直接点下一步下一步就行了,很简单。

#安装setuptools 下载地址为:https://pypi.python.org/pypi/setuptools 在页面中找到

这里写图片描述
这里写图片描述

点击 ez_setup.py进入, 并将内容复制下来, 保存为本地的python脚本

接着切换到 ez_setup.py所在的目录下,在Windows的命令窗口CMD下运行命令 python ez_setup.py

我们使用如下命令来确定setuptools是否安装成功。

这里写图片描述
这里写图片描述

#安装twisted ##安装zope.interface 首先下载地址为:https://pypi.python.org/pypi/zope.interface/4.1.0#downloads

这里写图片描述
这里写图片描述

根据自己的电脑选择版本,下载。然后将下载的文件放到python中的Scripts目录下,利用easy_install安装 如下为我自己的执行命令:

这里写图片描述
这里写图片描述

##安装pyopenssl 下载地址:https://pypi.python.org/pypi/pyOpenSSL#downloads

这里写图片描述
这里写图片描述

将其下载下来,安装方式,如下面的代码:

这里写图片描述
这里写图片描述

##安装twisted 下载地址为:http://twistedmatrix.com/Releases/Twisted/13.2/

这里写图片描述
这里写图片描述

下载之后,直接点下一步下一步就行了。

#安装lxml 下载地址为:https://pypi.python.org/pypi/lxml/3.3.1

这里写图片描述
这里写图片描述

根据自己的电脑选择自己的版本,下载后,点击下一步下一步就行了。

#安装w3lib 下载地址为: http://pypi.python.org/packages/source/w/w3lib/w3lib-1.2.tar.gz 下载完毕后将其解压到某一个目录下,如下图

这里写图片描述
这里写图片描述

在cmd中,到此目录下执行:

这里写图片描述
这里写图片描述

#安装Scrapy 下载地址:http://pypi.python.org/packages/source/S/Scrapy/Scrapy-0.14.4.tar.gz 和前面安装w3lib类似安装Scrapy,下载解压。然后cmd运行。

#Scrapy测试

这里写图片描述
这里写图片描述

DataLearner WeChat

Follow DataLearner WeChat for the latest AI updates

DataLearner 官方微信二维码
Back to Blog List

Related Blogs

  • PyTorch 2.0发布——一个更快、更加Pythonic和灵活的PyTorch版本,让Tranformer运行更快!
  • 0基础安装搭建Visual Studio Code开发环境——Python开发环境
  • KerasCV——一个新的简单易用的计算机视觉(CV)算法库
  • Python for Data Analysis第三版免费在线学习网站来临!
  • Python3.11最新特性来了,多个好特性提升!
  • 为什么Python可以处理任意长度的整数运算——Python原理详解
  • Python编程环境搭建——小白起步教程!
  • Bloomberg发布的最新的memray——Python内存分析器是什么?

Hot Blogs

  • 1Dirichlet Distribution(狄利克雷分布)与Dirichlet Process(狄利克雷过程)
  • 2回归模型中的交互项简介(Interactions in Regression)
  • 3贝塔分布(Beta Distribution)简介及其应用
  • 4矩母函数简介(Moment-generating function)
  • 5普通最小二乘法(Ordinary Least Squares,OLS)的详细推导过程
  • 6使用R语言进行K-means聚类并分析结果
  • 7深度学习技巧之Early Stopping(早停法)
  • 8手把手教你本地部署清华大学的ChatGLM-6B模型——Windows+6GB显卡本地部署