简单的Scrapy环境搭建

标签: python

     随着大数据的发展,Python也越来越吃香了,你眼馋了吗?那就赶快趁着业余时间学习一些简单的爬虫技能吧,它不仅可以提升你的工作逼格,还可以给你带来一些奇思妙想哟。好了,话不多说,下面便是小编的一次简单的Scrapy环境搭建。不喜勿喷哦~

1、安装Python并配置环境

据了解,Python现在有两个不同的版本,一个是Python2.x版本,一个是Python3.x版本,小编此次基于Python3.8.4版本编写的入门程序。

Python官方下载地址:https://www.python.org/downloads/,环境变量的配置请自行百度哈哈哈~(需要配置PYTHON_HOME和Path两个环境变量)

环境变量截图:

查看python版本:

python -V

Python默认安装是会勾选安装pip的,如果没有的话,请自行百度如何安装,毕竟自己查的才比较香,比较有记忆。

查看已安装的模块:pip list

 

 

2、安装Scrapy并配置环境

Scrapy 是一套基于基于Twisted的异步处理框架,纯python实现的爬虫框架,用户可以轻松入手实现一个爬虫程序,然后就可以用来抓取网页内容以及各种图片资源等等等等哈哈哈,可谓是非常方便了~

使用pip安装Scrapy:pip install  scrapy

pip install  scrapy

 

 

配置Scrapy环境变量(安装完Scrapy后在命令行输入scrapy,如果提示为找不到该命令的话,需要配置Path环境变量)

环境变量配置成功后,可以看到配置如下界面了

3、创建Scrapy项目

创建Scrapy项目非常简单,只需要几行命令

scrapy startproject MySpider

 

然后就可以使用PyCharm导入该项目进行下一步开发了,注意目前PyCharm暂不支持直接创建Scrapy项目,不知道后续会不会融入进来,期待吧~

4、使用模板创建scrapy程序

简单的scrapy程序只需要一行命令即可实现了

创建命令:

scrapy genspider myspider baidu.com

 

5、启动爬虫程序

启动也需要一行命令,也是蛮方便的

命令:scrapy crawl myspider(myspider为程序名称)

scrapy crawl myspider

 

 

PS:以上便是简单的Scrapy环境搭建以及简单的入门程序。

版权声明:本文为fengyubanlan原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/fengyubanlan/article/details/109765985

智能推荐

RIP/DHCP/ACL综合实验

组播: 加入组的组成员才会接受到消息,只需要将流量发送一次到组播地址 减少控制面流量,减少头部复制, RIP1  广播   有类  不支持认证 RIP2  组播   无类  (支持VLAN)、支持认证 所有距离矢量路由协议:具有距离矢量特征的协议,都会在边界自动汇总 控制平面  路由的产生是控制平面的流量 数据平面  ...

【Sublime】使用 Sublime 工具时运行python文件

使用 Sublime 工具时报Decode error - output not utf-8解决办法   在菜单中tools中第四项编译系统 内最后一项增添新的编译系统 自动新建 Python.sublime-build文件,并添加"encoding":"cp936"这一行,保存即可 使用python2 则注释encoding改为utf-8 ctr...

java乐观锁和悲观锁最底层的实现

1. CAS实现的乐观锁 CAS(Compare And Swap 比较并且替换)是乐观锁的一种实现方式,是一种轻量级锁,JUC 中很多工具类的实现就是基于 CAS 的,也可以理解为自旋锁 JUC是指import java.util.concurrent下面的包, 比如:import java.util.concurrent.atomic.AtomicInteger; 最终实现是汇编指令:lock...

Python 中各种imread函数的区别与联系

  原博客:https://blog.csdn.net/renelian1572/article/details/78761278 最近一直在用python做图像处理相关的东西,被各种imread函数搞得很头疼,因此今天决定将这些imread总结一下,以免以后因此犯些愚蠢的错误。如果你正好也对此感到困惑可以看下这篇总结。当然,要了解具体的细节,还是应该 read the fuc...

用栈判断一个字符串是否平衡

注: (1)本文定义:左符号:‘(’、‘[’、‘{’…… 右符号:‘)’、‘]’、‘}’……. (2)所谓的字符串的符号平衡,是指字符串中的左符号与右符号对应且相等,如字符串中的如‘(&r...

猜你喜欢

JAVA环境变量配置

位置 计算机->属性->高级系统设置->环境变量 方式一 用户变量新建path 系统变量新建classpath 方式二 系统变量 新建JAVA_HOME,值为JDK路径 编辑path,前加 方式三 用户变量新建JAVA_HOME 此路径含lib、bin、jre等文件夹。后运行tomcat,eclipse等需此变量,故最好设。 用户变量编辑Path,前加 系统可在任何路径识别jav...

常用的伪类选择器

CSS选择器众多 CSS选择器及权重计算 最常用的莫过于类选择器,其它的相对用的就不会那么多了,当然属性选择器和为类选择器用的也会比较多,这里我们就常用的伪类选择器来讲一讲。 什么是伪类选择器? CSS伪类是用来添加一些选择器的特殊效果。 常用的为类选择器 状态伪类 我们中最常见的为类选择器就是a标签(链接)上的为类选择器。 当我们使用它们的时候,需要遵循一定的顺序问题,否则将可能出现bug 注意...

ButterKnife的使用介绍及原理探究(六)

前面分析了ButterKnife的源码,了解其实现原理,那么就将原理运用于实践吧。 github地址:       点击打开链接 一、自定义注解 这里为了便于理解,只提供BindView注解。 二、添加注解处理器 添加ViewInjectProcessor注解处理器,看代码, 这里分别实现了init、getSupportedAnnotationTypes、g...

1.写一个程序,提示输入两个字符串,然后进行比较,输出较小的字符串。考试复习题库1|要求:只能使用单字符比较操作。

1.写一个程序,提示输入两个字符串,然后进行比较,输出较小的字符串。 要求只能使用单字符比较操作。 参考代码: 实验结果截图:...

小demo:slideDown()实现二级菜单栏下拉效果

效果如下,鼠标经过显示隐藏的二级菜单栏 但是这样的时候会存在一个问题,就是鼠标快速不停移入移出会导致二级菜单栏闪屏现象,一般需要使用stop()来清除事件  ...