职贝云数AI新零售门户

标题: 大佬分享Python编程完成爬取知乎用户信息的例子 [打印本页]

作者: taojin168 时间: 2022-12-31 11:57
标题: 大佬分享Python编程完成爬取知乎用户信息的例子
有一天 , 我发现我心仪已久的妹子在冤家圈里分享了知乎专栏的文章 , 就知道她也刷知乎 . 假如在知乎上关注她 , 我就能知道 , 她最近关注什么 , 心里想些什么 , 了解了解她喜欢的方面 , 还能作为谈资 , 几乎太好了。有一次我们两个聊天的时分 , 刚好说到了她分享的那篇文章 ,我很自然的说: “知乎上你用的不是真名呀, 就我这么天真用了真名.”她笑着说:”那个可以改呀” ,“凭什么知乎团队不让我改啊!!! “,我答道,” 不如我们互粉吧 ”
哎 , 于是她打开知乎 , 看了看我的主页 , 并没有关注我…… 能够是赞太少了吧… 达不到她的要求 , 或者她不想让我知道她在看什么吧 , 也许她希望本人的知乎是交浅言深 , 不希望被身边人看见，
我回去想了想 , 她说名字可以改 , 那她能够以前也用的是真名 , 找到破绽了!
知乎的名字可以改 , 但是id是改不了的 !
每个人的主页地址 , people后面那个就是TA的id,例如张三同名很多 , 后面就会加上数字. 她的名字拼音相反的较多 , 我试了一下 , 这个数字是不超过100的. 它的组合方式有 zhang-san , zhang-san-1 zhang-san-12-43 依次类推.
好 , 如今我就可以末尾寻觅她的账号了! 既然她改名了 , 那她名字满足的条件一定是: 昵称的拼音不是真名. 这个用pypinyin模块可以处理 , 这样子 , 需求我人工查看的主页就少很多了.那怎样经过Python爬虫找到她呢？
下面说一下代码的思绪，怎样爬取知乎用户信息，这次爬虫用到了递归，本次用的scrapy抓取以及mogodb数据库存储的。

[img][/img]

首先本人是用了一个大V作为爬虫第一个网页，然后分三步，第一步是爬了该大V的详细信息然后存入数据库，第二步是爬取了该大V的粉丝，第三是爬取了该大V 的关注者(其实就是爬取粉丝或者关注者的token_url)，完成之后，应用爬取的粉丝以及关注者的数据构造他们每个人详细信息的url，然后挖取详细信息存入数据库。到这里递归第一步算是完成了，然后爬虫会从每一个粉丝和关注者动手，分别爬取他们的粉丝以及关注者的详细数据，不断递归
在代码外面还有加入了一些自动翻页的功能，有兴味可以看看。下面是我们item外面定义要抓取的数据：
import scrapyclass ZhihuUserItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
answer_count = scrapy.Field() #回答数量
articles_count = scrapy.Field() #写过的文章数
follower_count = scrapy.Field() #粉丝数量
following_count = scrapy.Field() #关注了多少人
educations=scrapy.Field() #教育背景
description = scrapy.Field() #个人描画
locations = scrapy.Field() #所在地
url_token =scrapy.Field() #知乎给予的每个人用户主页独一的ID
name=scrapy.Field() #用户昵称
employments = scrapy.Field() #工作信息
business=scrapy.Field() #一些工作或者商业信息的合集
user_type =scrapy.Field() #用户类型，可以是个人，也可以是集团等等
headline =scrapy.Field() #个人主页的标签
voteup_count = scrapy.Field() #获得的赞数
thanked_count=scrapy.Field() #获得的感激数
favorited_count = scrapy.Field() #被收藏次数
avatar_url = scrapy.Field() #头像URl
代码一共不足80行，运转了一分钟就抓了知乎一千多个用户的信息，这里上张结果图

[img][/img]

由上图可以看到，知乎用户中先生用户占据多数，其它的比如产品经理、程序员、运营、HR数量也不少。我们看一下详细的排名(前十名)：
去除先生后，知乎主流职业比重从大到小依次是(前十名)：产品经理、自在职业、程序员、工程师、设计师、腾讯、教师、人力资源(HR)、运营、律师。可以看到，除了一些互联网公司的常见职位外，教师和律师用户在知乎中也占据不小的比重。
我知道伸手党的确非常惹人厌，我明白知友辛劳耕耘、分享知识、阅历和见解都是对其他知友以及互联网，甚至社会的贡献。知乎的出现，其实是在为社会提高出力。但当我们谈起知乎的时分，我们谈的是什么？
对知乎来说，她存在的意义在用户身上。况且，我置信知乎团队这个有梦想、有担当的团队，知乎团队一定了解并清楚地看法到本人的处境和立足点。祝知乎越来越好！大家加油！

欢迎光临职贝云数AI新零售门户 (https://www.taojin168.com/cloud/)