用Python爬了下知乎的“沙雕”问题,我们得到了一个15强排行榜

640?wx_fmt=jpeg
大数据文摘投稿作品
作者:徐麟

这两天偶然上网的时候,被知乎上一个名为“玉皇大帝住在平流层还是对流层”的问题吸引,本以为只是小打小闹,殊不知这个问题却在知乎上引发了强烈共鸣,浏览次数500W+,7000+关注:

640?wx_fmt=png

于是乎就激发了去探索知乎上“沙雕”问题的想法,也参照了@shenzhongqiang强哥之前的知乎神回复文章爬了下知乎神回复,通过Python爬取这些问题的内容,浏览次数,关注人数,总结一份权威(搞笑)的“沙雕”问题排行榜。

知乎非常“贴心”地专门有一个问题可以满足我们的需求,出人意料的是这个问题居然有243个回答,并且陶飞同学获得了3W+的赞同

640?wx_fmt=png

我们从中爬取了所有回答中出现的问题链接,共用400多个问题,其中陶飞就提供了200+,在此向陶飞同学表示感谢,帮助我们构建了“沙雕数据库”,这部分代码如下:

import re	
import selenium	
from selenium import webdriver	
import requests	
from bs4 import BeautifulSoup	
import pandas as pd	
import time	

	
driver = webdriver.Chrome()	
driver.maximize_window()	

	
url = 'https://www.zhihu.com/question/37453271'	
js='window.open("'+url+'")'	
driver.execute_script(js)	
driver.close()	
driver.switch_to_window(driver.window_handles[0])	
for i in range(100):	
     js="var q=document.documentElement.scrollTop=10000000"  	
     driver.execute_script(js)	

	
all_html = [k.get_property('innerHTML') for k in driver.find_elements_by_class_name('AnswerItem')]	
all_text = ''.join(all_html)	

	
#all_text = all_text.replace('\u002F','/')	
all_text = all_text.replace('questions','question')	
pat = 'question/\d+'	
questions = list(set([k for k in re.findall(pat,all_text)]))	


获得到了问题的对应的编号后,就可以去各自的页面获取各个问题对应的的标题、浏览数等信息,如下图所示:

640?wx_fmt=png

这部分代码如下:

header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win32; x32; rv:54.0) Gecko/20100101 Firefox/54.0',	
'Connection': 'keep-alive'}	
cookies ='v=3; iuuid=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4FF222CF03; webp=true; ci=1%2C%E5%8C%97%E4%BA%AC; __guid=26581345.3954606544145667000.1530879049181.8303; _lxsdk_cuid=1646f808301c8-0a4e19f5421593-5d4e211f-100200-1646f808302c8; _lxsdk=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4FF222CF03; monitor_count=1; _lxsdk_s=16472ee89ec-de2-f91-ed0%7C%7C5; __mta=189118996.1530879050545.1530936763555.1530937843742.18'	
cookie = {}	
for line in cookies.split(';'):	
    name, value = cookies.strip().split('=', 1)	
    cookie[name] = value	

	
questions_df = pd.DataFrame(columns = ['title','visit','follower','answer','is_open'])	

	
for i in range(len(questions)):	
    try:	
        url = 'https://www.zhihu.com/'+questions[i]	
        html = requests.get(url,cookies=cookie, headers=header).content	
        bsObj = BeautifulSoup(html.decode('utf-8'),"html.parser")	
        text = str(bsObj)	
        title = bsObj.find('h1',attrs={'class':'QuestionHeader-title'}).text	
        visit = int(re.findall('"visitCount":\d+',text)[0].replace('"visitCount":',''))	
        follower = int(re.findall('"followerCount":\d+',text)[0].replace('"followerCount":',''))	
        answer = int(re.findall('"answerCount":\d+',text)[0].replace('"answerCount":',''))	
        is_open = int(len(re.findall('问题已关闭',text))==0)	
        questions_df = questions_df.append({'title':title,'visit':visit,	
                                            'follower':follower,'answer':answer,	
                                            'is_open':is_open},ignore_index=True)	
        time.sleep(2)	
        print(i)	
    except:	
        print('错误'+str(i))

在分享出最终的“沙雕排行榜”前,我们首先严肃认真(lixinggongshi)的进行一波分析,主要看一下问题中的关键词,首先是所有词云的词云:

640?wx_fmt=png
看来这些问题大多是源自于大家对于人生的探索,否则“为什么”“如果”“怎么办”也不会出现那么多,出人意料的是“体验”这个知乎专属tag居然并不多,可能是出于对知乎的尊重,和“体验”相关的问题都不会问得那么“沙雕”。

下面把这些助词去掉,再来看下结果:

640?wx_fmt=png

这个图看来,读者关注的问题还是很极端,一方面在关注男女朋友“你冷酷、你无情、你无理取闹”这种问题,另一方面却在关注宇宙、地球这种关乎全人类的问题,很符合知乎“人均985,各个过百万”的人设。

这两个图实际上都是基于一个表情,不知道有没有看出来:

640?wx_fmt=png

好吧,其实看不出来才是正常,能看出来的可能现在去知乎提个问题,下期就会上榜,最后把部分问题做出词云:

640?wx_fmt=png

不知道大家能不能看清,说实话我自己是看不清的,也没准备让大家看清,目的就是引出下面真正的排行榜。

640?wx_fmt=png

通过综合问题观看数,关注数,回答数,关注占比,回答占比,综合得到分数的流量指数和新奇指数,最终获得一个整体的分数,如下图所示:

640?wx_fmt=png

听起来是不是很复杂,实际上最终还是通过90%10%的数据+10%90%的主观来进行了排名,为大家精选了15个最为“沙雕”的问题,也选取部分网友的回答,问问题的操作诚然很风骚,面对这些“沙雕”问题,认真回答的绝对是风骚PLUS,特此声明,以下回答来自于知乎网友:


Q:李白写那么多诗,他自己都会背吗?    

原问题链接:

https://www.zhihu.com/question/276876453

640?wx_fmt=png

森麟小结:写自己的诗,让别人去背吧,真乃人生最高境。smiley_13.pngsmiley_79.pngsmiley_79.png


Q:猪八戒是黑猪还是白猪?

原问题链接:

https://www.zhihu.com/question/37160000

640?wx_fmt=png

森麟小结:后经多方考证,证明了猪八戒的黑猪身份,这下子身价进一步暴增,对此我们表示:黑猪白猪,不涨价的猪就是好猪

Q:邹市明能一拳把自己打晕吗?    

原问题链接:

https://www.zhihu.com/question/36805199

640?wx_fmt=png

森麟小结:知乎上各种关于邹市明能打多少人的问题层出不穷,没想到最终还是要向自己动手。

Q:生蚝煮熟了还可以叫生蚝么?    

原问题链接:
https://www.zhihu.com/question/25016659

640?wx_fmt=png

森麟小结:这个问题就好比有些叫帅帅的人,无论长成什么样,别人都要叫他帅。

Q:被袋鼠暴打是一种怎样的体验?

原问题链接:
https://www.zhihu.com/question/27387052

640?wx_fmt=png

森麟小结:珍爱生命,远离袋鼠,切莫为了一个高赞回答去和袋鼠亲身肉搏,否则可能还没来得及分享“刚编出来的故事”就……

Q:秃顶的人洗头,应该用洗发水还是洗面奶?    

原问题链接:
https://www.zhihu.com/question/48119206

640?wx_fmt=png

森麟小结:希望广大程序员朋友保护好头发,不要有朝一日被邀请回答这个问题。

Q:如果地球上所有人同时用激光笔指着月亮,月亮会不会变颜色?    

原问题链接:
https://www.zhihu.com/question/48119206

640?wx_fmt=png

森麟小结:会不会变色无从考究,但是在月亮变色前,我的眼睛一定会先被闪瞎。

Q:玉皇大帝住在平流层还是对流层?

原问题链接:
https://www.zhihu.com/question/304133742/

640?wx_fmt=png

森麟小结:这个问题应该就是“一本正经的胡说八道”集大成者,评论区好多相关领域人士进行了认真解答,不过究竟住哪也没搞明白,可能只能只有孙悟空知道答案了。

Q:把一个变色龙绑在不断变换颜色的灯上,它会不会心力交瘁而死?    

原问题链接:
https://www.zhihu.com/question/32052499

640?wx_fmt=png

森麟小结:变色龙属于国家级保护动物,很可能还没看到结果,先被带走接受教育。

Q:如果把皮卡丘的耳朵塞到插座里,皮卡丘会被电死么?    

原问题链接:

https://www.zhihu.com/question/52083864

640?wx_fmt=png

森麟小结:皮卡丘会不会被电死不好说,但是你会不会被电死还是很清楚的。 

Q:西瓜除了被吃还有什么生存意义?

原问题链接:

https://www.zhihu.com/question/24393996

    
640?wx_fmt=png

森麟小结:提问之前最好先想想自己除了吃,还有什么生存意义。

Q:为什么外国超级英雄趴着飞,而中国神仙竖着飞?

原问题链接:
https://www.zhihu.com/question/26992616

640?wx_fmt=png

森麟小结:这是怎样的神仙读者,居然问出了这种“惊天地,泣鬼神”的问题,想必各路神仙也在跃跃欲试,准备拉他过去现场讲解

Q:向日葵晚上在干嘛,跟着月亮吗?  

原问题链接:

https://www.zhihu.com/question/21370688/

640?wx_fmt=png

森麟小结:自产自销,果然够厉害,而且不要用人类“996”的思想去要求向日葵,人家太阳落山就下班了,不多说了,已泪崩。

Q:苍蝇被搭载到另一个城市怎么办?它的家人孩子怎么办?

原问题链接:

https://www.zhihu.com/question/20831390/

640?wx_fmt=png

森麟小结:这位朋友为了苍蝇的生活操碎了心,不如把让他们大家族都在自己的家里生活,实现大团圆的美好结局。

Q:女朋友生气心烦的时候爱爬树怎么办?    

原问题链接:
https://www.zhihu.com/question/30914451/
  
640?wx_fmt=png

- END -
如果看到这里,说明你喜欢这篇文章,请转发、点赞。微信搜索「perfect_iscas」,关注后回复「进群」或者扫描下方二维码即可进入无广告技术交流群。
扫描二维码进群↓

640?wx_fmt=jpeg

640

640?wx_fmt=gif

在看 640?wx_fmt=jpeg

版权声明:本文为zandaoguang原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/zandaoguang/article/details/103047225

智能推荐

spring与redis整合和序列化问题

spring与redis整合 首先用docker下载redis 下载:docker pull redis 运行:docker run -d -p 6379:6379 --name myredis docker.io/redis 连接redis Desktop Manager 然后开始在springboot上开始配置 application.yml: 自动配置好StringRedisTemplate...

CentOS 7配置南大docker镜像

文章目录 CentOS 7配置南大docker镜像 0.帮助页面 1.系统要求 2.卸载旧版本(没有旧版本可跳过) 3.安装方式 4.准备工作 5.可选操作 Stable Test Nightly 6.安装docker引擎 7. (可选)修改配置文件防止与xshell连接冲突 8.启动docker CentOS 7配置南大docker镜像 0.帮助页面 南大docker源:https://mirr...

Qcon演讲纪实:详解如何在实时视频通话中实现AR功能

2018年4月20日-22日,由 infoQ 主办的 Qcon 2018全球软件开发大会在北京如期举行。声网首席 iOS 研发工程师,iOS 端移动应用产品设计和技术架构负责人龚宇华,受邀分享了《基于 ARkit 和 ARcore,在实时视频通话中实现 AR 功能》,在演讲中剖析了 AR 与 VR 差异,ARKit 的工作原理,以及逐步讲解如何基于 ARKit 与声网Agora SDK 创建 AR...

POJ2348 UVa10368 HDU1525 Euclid's Game【博弈】

Euclid's GameTime Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others) Total Submission(s): 4106    Accepted Submission(s): 1947 Probl...

使用Breeze.js编写更好的查询

这篇文章是由同行评审Agbonghama柯林斯 。 感谢所有SitePoint的审稿作出SitePoint内容也可以是最好的! 数据量正在迅速发展,他们正在变得越来越复杂,维护。 许多开发人员希望避免由数据问题他们的工作过程中造成的问题和头痛。 一个使我们的工作更轻松的图书馆是Breeze.js 。 在这篇文章中,我们将讨论我们如何能够写出更好的查询与Breeze.js。 但是首先,我们应该知道什...

猜你喜欢

Netty框架构建Nio编程

~~~ 随手点赞,养成习惯 ~~~ 为什么选择Netty框架 Netty是业界最流行的NIO框架之一,它的健壮性、功能、性能、可定制性和可扩展性在同类框架中都是首屈一指的。 优点: ① API使用简单,开发门槛低 ②功能强大,预置了多种编解码功能,支持多种主流协议 ③ 定制能力强,可以通过ChannelHandler对通信框架进行灵活地扩展; ④性能高,通过与其他业界主流的NIO框架对比,Nett...

【JZOJ5262】【GDOI2018模拟8.12】树(DP,性质题)

Description Solution 首先我们可以知道两个性质:1、路径u-v和路径v-w可以合并为路径u-w;2、路径u1-v1加路径u2-v2和路径u1-v2加路径u2-v1是等价的(就是起始点和终点可以互换) 那么知道这些性质之后就很好做了。我们只用知道每个点多少次做起点和多少次做终点。 我们设f[i]表示满足i子树的需求i上的值要是多少。 那么枚举i的所有儿子,判断a[i]-f[i],...

【String-easy】541. Reverse String II 反转的元素,有反转个数和间隔

1. 题目原址 https://leetcode.com/problems/reverse-string-ii/ 2. 题目描述 3. 题目大意 给定一个字符串,和字符串的间隔k, 这个k表示每k个数反转一次,然后再间隔k个元素再反转k个元素。 4. 解题思路 只要按照间隔去反转就可以了。然后间隔k个元素不反转是通过让i每次递增 2*k完成的。 5. AC代码 6. 相似题型 【1】344. Re...

【C语言笔记结构体】

我们都知道C语言中变量的类型决定了变量存储占用的空间。当我们要使用一个变量保存年龄时可以将其声明为int类型,当我们要使用一个变量保存某一科目的考试成绩时可以将其声明为float。 那么,当我们要做一个学生信息管理系统时,需要保存学生的姓名、学号、年龄等信息,该怎么做呢? 如当要保存三个学生的信息时, 方法一是: 方法二是: 显然,方法二跟更清晰,因为它把name、num、age都集成在一个模板,...

39. Combination Sum 回溯算法简析

LeetCode传送门     这道题要求给你一组正数 C,然后给你一个目标数 T,让你从那组C中找到加在一起等于 T 的那些组合。     例如:给你 [2,3,6,7] 和 7,则返回 [[2,2,3],[7] ] 。      想解决这个问题前,我们首先引入一个新问题,图(树)的遍历问题。  ...