Python爬虫之Scrapy库的下载和安装

标签: Python  python  爬虫

Python爬虫之Scrapy库的下载和安装


下载scrapy库

1、点击https://www.lfd.uci.edu/~gohlke/pythonlibs,进入该网页后Ctrl+F输入scrapy进行搜索,选择对应的版本点击下载即可。
(下面红框为所需要的内容)

在这里插入图片描述



安装srapy库

1、需要注意的是:在安装srapy库之前,还需要有wheellxmlpywin32twisted这些插件,所以接下来我们需要下载和安装这些插件。wheel插件可以直接打开cmd,输入下面的命令就可以安装。

pip install wheel

2、和下载scrapy库一样,点击https://www.lfd.uci.edu/~gohlke/pythonlibs,进入该网页后Ctrl+F依次输入其他三个插件进行搜索,选择对应的版本点击下载即可。
(注:cp36、cp37等等,表示的是python的版本,如果你的python是3.6版本,则对应的选择cp36,再根据你的电脑是32位还是64位选择下载。)

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
3、安装:打开cmd,将路径切换成你下载插件的路径,使用cd 加上所要切换的路径。切换完之后依次输入以下的命令行,即可完成安装。

pip install Twisted‑20.3.0‑cp38‑cp38‑win_amd64.whl
pip install lxml‑4.5.1‑cp38‑cp38‑win_amd64.whl
pip install pywin32‑227‑cp38‑cp38‑win_amd64.whl
pip install Scrapy-2.1.0-py2.py3-none-any.whl

4、如果在安装scrapy库的过程中出现以下错误:

ERROR: Could not install packages due to an EnvironmentError: [Errno 2] No such file or directory: 'C:\\Users\\29791\\AppData\\Local\\Temp\\pip-req-tracker-lpahl_qe\\7d96500e48573e7d28b5abcbae0e73f0b45e3d99eec03e13be8c946f'

则重新输入以下命令行:

pip install --user Scrapy-2.1.0-py2.py3-none-any.whl

5、打开cmd,将路径切换到你安装scrapy库的路径,输入以下命令新建一个project,其中文件名为你给该工程取的工程名,若出现"New Scrapy project"的字段则表示scrapy库安装成功。

scrapy startproject 文件名


版权声明:本文为qq_44880255原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_44880255/article/details/106305419

智能推荐

深入浅出Spring的IOC容器,对Spring的IOC容器源码进行深入理解

文章目录 DispatcherServlet整体继承图 入口:DispatcherServlet.init() HttpServletBean.init() FrameworkServlet.initServletBean() 首先大家,去看Spring的源码入口,第一个就是DispatcherServlet DispatcherServlet整体继承图 入口:DispatcherServlet....

laravel框架的课堂知识点概总

1. MVC 1.1 概念理解 MVC全名是Model View Controller,是模型(model)-视图(view)-控制器(controller)的缩写,一种软件设计典范,用一种业务逻辑、数据、界面显示分离的方法组织代码,将业务逻辑聚集到一个部件里面,在改进和个性化定制界面及用户交互的同时,不需要重新编写业务逻辑 MVC 是一种使用 MVC(Model View Controller ...

Unity人物角色动画系统学习总结

使用动画系统控制人物行走、转向、翻墙、滑行、拾取木头 混合树用来混合多个动画 MatchTarget用来匹配翻墙贴合墙上的某一点,人物以此为支点翻墙跳跃 IK动画类似于MatchTarget,控制两只手上的两个点来指定手的旋转和位置,使得拾取木头时更逼真 创建AnimatorController: 首先创建一个混合树,然后双击 可以看到该混合树有五种状态机,分别是Idle、WalkForward、...

Composer 安装 ThinkPHP6 问题

Composer 安装 ThinkPHP6 问题 先说说问题 一.运行环境要求 二.配置 参考: ThinkPHP6.0完全开发手册 先说说问题 执行ThinkPHP6的安装命令 遇到问题汇总如下: 看提示是要更新版本,执行命令更新。 更新之后,再次安装ThinkPHP,之后遇到如下问题。 尝试了很多方法,依然不能解决。其中包括使用https://packagist.phpcomposer.com...

Spring Boot 整合JDBC

今天主要讲解一下SpringBoot如何整合JDBC,没啥理论好说的,直接上代码,看项目整体结构 看一下对应的pom.xml 定义User.java 定义数据源配置,这里使用druid,所以需要写一个配置类 上面指定druid的属性配置,和用户登录的账号信息以及对应的过滤规则: 下面定义数据访问接口和对应的实现: 数据访问层很简单,直接注入JdbcTemplate模板即可,下面再看对应的servi...

猜你喜欢

html鼠标悬停显示样式

1.显示小手:     在style中添加cursor:pointer 实现鼠标悬停变成小手样式     实例:         其他参数: cursor语法: cursor : auto | crosshair | default | hand | move | help | wait | tex...

Yupoo(又拍网)的系统架构

Yupoo!(又拍网) 是目前国内最大的图片服务提供商,整个网站构建于大量的开源软件之上。以下为其使用到的开源软件信息: 操作系统:CentOS、MacOSX、Ubuntu 服务器:Apache、Nginx、Squid 数据库:MySQLmochiweb、MySQLdb 服务器监控:Cacti、Nagios、 开发语言:PHP、Python、Erlang、Java、Lua 分布式计算:Hadoop...

创建一个Servlet项目流程(入门)

版本 IDEA 2020.2 JDK1.8 apache-tomcat-9.0.36 项目流程 一、IDEA中新建JaveEE项目 项目起名,选择项目存放地址,点击finish创建成功 进入项目后,右键选择项目,选择add Framework Support 选择Web Application,点击OK 此时项目文件夹 在WEB-INF下创建两个目录classes和lib 按ctrl+alt+sh...

Docker部署SpringCloud ELK+RabbitMQ日志

Docker部署SpringCloud ELK+RabbitMQ日志  Im_Coder 原文:https://www.jianshu.com/p/f773f23096a9 一、效果图 image.png 二、ELK是什么? ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。 其中Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,索...

[译]高性能缓存库Caffeine介绍及实践

概览 本文我们将介绍Caffeine-一个Java高性能缓存库。缓存和Map之间的一个根本区别是缓存会将储存的元素逐出。逐出策略决定了在什么时间应该删除哪些对象,逐出策略直接影响缓存的命中率,这是缓存库的关键特征。Caffeine使用Window TinyLfu逐出策略,该策略提供了接近最佳的命中率。 添加依赖 首先在pom.xml文件中添加Caffeine相关依赖: 您可以在Maven Cent...