请选择 进入手机版 | 继续访问电脑版
知乎小数据分析 & Need help
                0 介绍
  • 这篇文章图片有点多,流量党请谨慎点开
  • 如果只对数据分析,可以直接跳到 2.1 节
  • 如果你是太长不看党,但是你既然点进来了,能否请你帮我一个忙呢?如果愿意的话麻烦看一下第 3 小节,十分感谢
  • 虽然题图是 Big data,但是因为数据量太小了只能算小数据分析
    , p3 c* z( v% l! G
$ u2 `# M8 K) }9 p% V
1 数据获取上一篇文章里,我提了一下 zhihu-OAuth 这个库并不适合做爬虫,但还是有几个原因还是让我去试着写了一下:# X! [  E' ~' Q9 v/ N* J& J/ x
  • zhihu-OAuth 在开发过程中需要稳定性以及性能测试,需要大量的,密集的使用场景
  • @gaga salamer 在写知乎爬虫,并且向我介绍了 gevent 这个好玩的东西……我想学一哈
  • 感觉我写了俩库了,还没真正写过爬虫……试一下不过分吧
    / g( h3 S( E0 R8 j: O8 ]
随后我去读了 gevent 的文档,花了个几个小时写了个非常简单的爬虫……以下是运行时截图:
5 f- y5 T& s6 o& C+ X# [上面是运行时 log,左下是 error log,右下是用 socket 进行 IPC 控制后台运行的爬虫。
. k  Y0 ^/ g/ m3 Y: ]IPC 支持以下下命令:
* O( Y4 J) v6 t
  • crawled,获取已爬用户数和速度
  • left,获取任务队列里的剩余用户数
  • worker,获取工作者线程情况
  • pause,暂停爬虫
  • run,继续爬虫
  • stop,停止爬虫- e7 Z0 Z' y7 N
爬的方法是,从我开始,BFS 层级展开关注的人。这样爬的话有一个特点就是,只会爬到有粉丝的用户,没有粉丝的用户是不会被爬到的(对不住了,大家 QAQ)。也就是说爬到的用户相对来说属于知乎里产出比较活跃的人。
. ~% T7 O+ b/ W9 e9 ~  x9 D9 a$ D技术栈大概就是用 redis 做队列和记录,gevent 协程,sqlite3 做数据库,zhihu-oauth 做底层爬虫。一共 10 个 worker,再加 1 个 db writer 10 秒一次 commit,还有一个 socket server 管 IPC。! ?! ~% F8 t2 {, c- U; w- k# ?
我爬的东西很少,就是用户的基础信息,在后面会介绍的。+ a# e; @+ J- D2 m  u& I
恩,这个爬虫我不准备开源,因为写的没啥水平……
" X9 q5 C( r% `# _2 数据分析爬了多少天我忘了,因为写了暂停和继续功能,我基本是开一下关一下的,不过速度确实不快。我记得有个人 PHP 写的一天就能 100w 呢,最好的语言就是6!
& ?4 @% O* q4 m8 q3 j6 s好啦,正式开始吧,介绍一下数据先:
4 Y7 q$ W* H; u; v. U
  • 因为还没爬完,所以数据量比较小,2528099 个用户
  • 记录的属性有:用户 ID,用户名,签名,性别,答题数,问题数,收到赞数,收到感谢数,关注了多少人,被多少人关注,学校,专业,行业,公司,职位
    4 P/ j; }% F7 O/ `% f
, C0 b) N+ N2 g1 D. [( B0 q
  • 没有其他和答案,问题,话题,文章,评论,用户关注关系有关的数据+ B2 h3 z+ q% Y3 U) q8 W
放一张小截图:, y+ W/ s+ U7 [: {2 r; V6 O
注意,由于爬虫工作时间太长,某些用户的资料可能不是最新的。( r* j& A% T6 Z& C1 N: \
2.1 赞数排名前10这个最简单也最老套了吧,相信有一大堆人做过。+ p, |) F- Y5 M# X" I5 c
SQL 语句:
: x. W6 F) G0 ]5 C8 q; G! \6 Jselect name, voteup_countfrom userorder by voteup_count desclimit 10
) o- O. Y: \. R: M8 A结果:
' J4 `0 k, L1 ~; _Name        upvote_count张佳玮        2002014肥肥猫        954649朱炫        938887ze ran        766117恶喵的奶爸        735458yolfilm        699539寺主人        665168唐缺        645618vczh        590346一笑风云过        568329& y) r) A( g& N# D  E  x. y& ^
我就不艾特这些用户了,感觉艾特了对 Ta 们来说也只是一种打扰而已,没什么其他意义。
$ T% r$ S5 K3 N按感谢数量排名我就不贴了。- R' c9 w  v4 f! h% }1 `
2.2 答案平均赞数排名前 5SQL 语句:
( c# n  \( D' i% e; e4 x; D7 u4 wselect name, voteup_count, answer_count, (voteup_count/answer_count) as ratefrom userorder by rate desclimit 5+ `( i' _9 _6 }% {  F/ w+ ~; ~
结果:. O5 J8 g/ J8 h- v8 l
用户名        总赞数        答案数        答案单价Dr How        53917        1        53917大树下的小孩子        53151        1        53151宋冬野        34074        1        34074森子大大        26914        1        26914姚乐乐        46216        2        23108
9 L3 k, ?2 X$ D, F# O唔,这基本上就成了单一答案最高赞数排名了。& B, O" u4 M5 f! z
那我们加个限制,要求用户最少有 5 个答案吧,结果如下:% F3 J' g6 \( b: z& |- _
用户名        总赞数        答案数        答案单价北京小风子        65770        6        10961Jee Xin        80951        10        8095era Eth        47790        6        7965潜水的鱼        39600        5        7920大儿童        66997        9        7444* F5 p& q5 J" z; `" _7 k0 f7 L7 ~2 }
这几个用户答案的平均质量应该很精良~!佩服一下。5 x$ C4 |0 f! {8 Z  h
2.3 最喜欢关注人的用户SQL 语句:
; E! o6 U8 o; X: a& |2 b- T  @8 B/ Xselect name, following_count from user order by following_count desc limit 103 B1 U  S5 N) z! T1 P5 H
结果:
# d$ |2 G+ K& ~0 B"Neaton"        "41600""Hannibal Lecter"        "16689""许鹏"        "14629""唐晨"        "11555""柳亚"        "11216""谈无语"        "10156""黄继新"        "9256""徐是愚"        "8532""陈溪"        "7731"
- P' x* o; \7 L4 }6 d9 t( m第一名关注了 4w+ 用户,这动态刷的过来么QAQ
9 F; I6 C$ Q9 ?2.4 城市用户数排名SQL 语句:- J' S" `: w  O+ B6 b
select address, count(*) as cfrom usergroup by addressorder by c desclimit 38* [3 T2 U" `: t( M# I, f
由于弄了前 30 名,我就不贴文本结果了,只贴图表(下同):. `1 g7 F6 v4 @% B, ^, e

3 N, Y0 r, B. K5 }基本上就是省会城市名单?
! }2 S( n. P; O# e0 K话说北上广被叫做北上广是有道理的呀~
4 f0 }9 ?2 @& v4 ]9 D另外,美国在中间,这还没算填的是美国城市或州的同学们,如果算上应该还能上升个几名吧。另外新加坡也上榜了。4 t3 q( _, J7 U$ O
2.5 行业用户数排名SQL 语句:- Q6 m* |- R. h5 h2 [# I
select industry, count(*) as cfrom userwhere industry != ''group by industryorder by c desclimit 30
/ B, U& r7 r, E图表如下(请点开大图):* y# J; n, ], F: s- S. q
第一互联网,第二计算机软件……没啥意外的,不过竟然有 10000 以上的 「政府」行业的用户QAQ,麻麻我好怕!
5 s* J4 j4 N& @: ?* b唔,而且前 30 名医疗相关的竟然只有个制药?稍微有点担忧……
$ c; l7 c! b3 _3 l好啦,我只给图,详细的分析不是我强项,交给你们了。
) w- C7 ~0 Y& g8 c, m2 F" A  x3 e2.6 大学用户数排名SQL 语句:
# q1 a  T% u$ D# Z9 `$ E, Sselect school, count(*) as cfrom userwhere school != ''group by schoolorder by c desclimit 30
1 I$ r: U+ t& l4 a2 g' U同上,文本就不贴了,结果图如下:, D2 Z5 L$ f# a' E7 v
欸,不知道从哪开始吐槽……恩,大家快来找找自己的学校有木有在图里呗~~, y- ?( c! N& N: U
2.7 主修专业用户数排名嘛,就是大学里的专业辣~% k2 x% A9 }$ R( |' b- ]
SQL 语句:
1 d0 d  m; O9 h: Bselect major, count(*) as cfrom userwhere major != ''group by majororder by c desclimit 30
; K: n7 F* j$ I% u8 v- q结果图:
" J/ b; ^2 K7 m; f5 P. w果然不出所料,我大计算机威武。但是因为大家用词不同,被分成了第2、3、4 以及第 29,来看看如果合并之后会是啥样吧。对了金融也有个别名金融学,但那些财务管理,工商管理,经济学之类的……我也不知道算不算金融,就不合并了。
6 ^& {& V3 ?- D9 d! g) s$ g以下是合并了之后的图:' x, M& k. l  q/ U$ m5 q
我只能看出,比较热门的专业就是「程序员相关」,「钱相关」,「管理相关」这几个大方向来着~详细分析照例交给你们~* s2 E$ T5 d1 x$ D. |8 L
2.8 公司用户数排名SQL 语句:
" m, \5 n6 C% Y7 y' Y  Yselect company, count(*) as cfrom userwhere company != ''group by companyorder by c desclimit 30
' W: N/ v; ?9 c+ b/ J  x结果图:
1 f' D! \  b; M注意:7 Q8 o; y8 |  V' ]/ g# k
  • 我对数据进行了合并处理,比如把 「阿里巴巴集团」,「阿里巴巴」,「支付宝」,「淘宝网」等合并为「阿里巴巴」
  • 删除了「无」,「无业」,「自由职业」的数据行。
  • 删除了「学生」,「银行」,「教育」,「互联网」等笼统的,不是特定公司的数据行。
    + i& V; ~5 c  w
嘛,如果你想看处理之前的数据,点这里
6 k: a9 N$ Y) @4 D! W唔,看来 BAT 以后得叫 TAB 了。
9 n, n" s, b6 ?5 Q) e: D然后,普华永道是啥公司QAQ;国企好厉害上了三个;清华大学实力抢镜(company 里填清华大学的应该是老师们吧,有这么多么)。9 K) N" H5 e. D& W3 J" _
2.9 男女比例相关首先是知乎的整体性别比例:
+ u3 `  X4 L2 P. K然后我特别做了一个「程序员行业性别比例」,取的样本是「行业」或者「专业」属性含有「软件」或「计算机」或「互联网」或「程序」的用户:7 _2 K: Q) l* Q" g$ ?" F
select gender, count(*) as cfrom userwhere industry like '%软件%' or industry like '%计算机%' or industry like '%互联网%' or industry like '%程序%' or major like '%软件%' or major like '%计算机%' or major like '%互联网%' or major like '%程序%'group by genderorder by c desc
6 C! i% {3 k8 W3 U+ V其实也还好辣,没有想象中那么严峻好像~
/ L2 M/ R) R5 M3 o( U! l然后是「清华大学」,「北京大学」,「南开大学」(你够了)三所学校的男女比例:2 _6 Z$ x- f; O' m: u

: B# }% Z* @+ H" i; _1 |唔,我不说话。
$ d& ]0 ?9 [( [0 @2.10 烂大街昵称排行不知道怎么处理了,随便来个趣味性的东西吧~~
, V' V  Q& N' f1 j# s" }SQL 语句7 t% y  Z' t% m6 L' d: J# T
select name, count(id) as cfrom usergroup by nameorder by c desclimit 30
4 e' l" K& F: i+ u! q' d0 n8 m结果图:
% o( U2 N% e4 O8 R2 `$ r: _; u' ~" r哇,「已重置」大军一骑绝尘啊,据说这是豆瓣梗?嘛,但是你们这么多人都用这昵称显得很没个性诶,不考虑换一换咩?
  R. [" _- _! e2 o+ E- b" {额,丁丁这个昵称也这么普遍的么,第 9 诶……(扶额,不要问我为什么要专门提一下这个名字……
5 W7 a) q# w. O* ~) n- M) Z& ?对了,除了这些,我在爬取的过程中发现过很多个叫「送零食了」的用户,所以针对这个用户名我做了一次查询……结果让我大吃一斤 QAQ:
( @) E- s2 c. {$ Y- V1 A从图上可以看出,(截至目前)一共有 157 个叫「送零食了」的用户……他们的共同特征是:
( R. z' Q3 ~" D2 r5 x$ u
  • 都叫「送零食了」(废话!
  • 都没回答过问题
  • 都关注了差不多 5000 个用户
  • 至少被一个用户关注了(要不然我的爬虫爬不到的,所以可能还有很多没人关注的「送零食了」帐号
    " X$ g  `. K; L
综上,这肯定是某个人(或者某个团体),为了某一目的弄出来的一批帐号。但他们关注这么多人干啥呢?而且这些不回答问题的人竟然也被几十个人关注了,唔,一个迷之团体。话说他们应该没送过零食吧?
8 S& Y) F4 L0 o. t& H3 需要你的帮助看了上面这些图有没有觉得数据处理还挺好玩的呢?
) s/ @0 k6 F/ f9 U然而写完这篇文章我深刻的感觉到,作为一个头脑简单的程序宅,我能想到的数据处理方式实在太简单了。而且就算我处理出来了,我对分析它们也没什么想法……
6 o+ A; g3 D. q2 x鉴于以上几点,再加上经常听说学长学姐们想写知乎分析相关的论文还是啥的,我觉得这些数据在我手上简直是浪费。虽然目前只有 300M 左右,完全不能称得上是大数据……但是给同学们做一些实验,或者前期预备分析的话还是能有点作用吧。
7 Y  q+ u$ F8 y$ d+ h本着为科研献一份力的想法,我有在数据全部获取完成之后把这个数据库公开免费给大家使用的想法。& `2 a; ^! q2 ^4 x5 r% o
但是!
( c, `6 l" n( N/ T8 G0 Q' ?2 T5 `% A在公开之前我有几个问题需要搞清楚:9 B6 l* U1 K4 N2 T) B
  • 分享这种「用户公开的资料(详见上一节)」的数据集是否侵犯知乎公司的任何权利,是否侵犯知乎用户的任何权利?
  • 如果我删去数据库中可以定位到某一用户的属性(也即用户 ID,用户名,一句话介绍三项),问题一的答案是否会改变。
  • 如果发布不侵权,我该以何种方式,何种协议,在何处发布这种数据集。
  • 我对发布出去的数据的控制权有哪些?比如我是否可以限制数据不可被商业使用?
    - I0 ]) z, x" [) J
这几个问题都很重要。但是我的法律知识,讲真,没有细致的了解到这种地步,所以我需要大家的帮助。
8 n4 d8 P+ W2 V: y" [如果你对这份数据感兴趣,而且想帮助我,那么:
/ ?% ?& \& C2 s
  • 如果您处于法律行业:能否向您询问一下以上几个问题的答案,评论或私信回复均可,感谢。
  • 如果您有法律行业的朋友:让他看到这篇文章吧,点赞,评论 @Ta 或者直接分享均可。
  • 以上都不符合:愿意的话点个赞帮忙扩散就行,感谢。$ M0 y" n2 K( z) T, T

# u4 y( n& [$ g3 l3 e啊对了,之前已经说过,由于是 BFS 展开关注的人,所以占知乎用户大部分的「无人关注」的用户并不包含在数据库中。如果你想用这个数据库的资料做一些统计学方面的分析,请注意这个样本特征哟。
& X4 z( z) d2 j/ @7 N1 B- h; U: j3 u+ |
4 尾巴这篇文章好像挺长的,谢谢你看到这。' M: F7 F1 v4 I
作为你看完全部的奖励,你可以提一个分析请求,比如「我在我们学校的知乎用户中,被赞数量排第几」,「我校知乎用户的男女比例是多少」,「我所在城市有多少知乎用户」,「和我同名的知乎用户有几个」之类的。
9 C( {) H; J/ h6 D不过你得把需求描述的足够清晰,前面的「我校」「我所在城市」等占位符用真实参数替换。
$ ^; W% q* K4 B+ ~7 ^7 F) j用 SQLite 的 SQL 语句提出请求的同学优先处理。
& @8 O9 L+ n+ K0 V" X不过我最近想干的事有点多,可能没法每个人的要求都处理,见谅。& c  j/ C  @9 d+ `! \7 |
: i1 \  u5 K" T& e( y) `
以上,Enjoy it!
, G8 J+ }% k+ F7 `
; f$ u& {+ ~8 T3 S' {, Z# M. {
5 O8 c  R* G8 E% c+ S, V. W本文章所有图表使用 Online Chart Maker 创建。' \" j! a: ?9 [1 _% k: ~& e+ [. P
题图为CC0公有领域图片,来自 pixabay
7 E1 k9 X. C8 E. z1 _. z            
jilajial 于 2018-8-14 19:34:43 时发表在 Help Me
Image Link Smilies

厚广熹   发表于 2018-11-20 01:24:59
新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到新手报到
qq4033499126   发表于 2018-11-29 12:36:33
用户可扮演一个投资决策人的角色2018年11月29日2018/11/29 12:36:38% l9 `5 Q4 n! q1 k3 {
nulz.top
" t5 n' C6 X# f; x4 C! ?wtlbl.com
; c) L( e# O8 mixhi.top
7 E( t9 H5 C7 I# x7 [, _5 _( f! l+ l( Xdy380.com
5 j) g6 j* D+ A! f& r/ lmpab.icu  o2 q- ?- f) _- v! n. }% h; O) V
ojxl.top
; F! u0 _4 ?% u; w% m* r& Tpyqv.top
" e+ F+ T7 o1 x3 ^$ v& o+ gbxer.icu8 _+ s# j4 x# Z5 u0 n% _7 [
j39v.com$ A$ v5 B2 ]( }! z  R
ct3n.com
2 D3 j  J( E# ^krits.net
+ O2 ~2 O: v% u% Z4 D  uhvcoin.net+ o+ T; D9 p' O# N0 o6 J
mgsa.icu5 k2 T3 D& D. Z
tknas.net
- Y& [4 ?/ I, v7 I6 L! P2 ^  nmwzc.icu+ M( C3 M; |% U- V, E
qaeo.top) @7 H" ^6 G# G7 ?5 @2 j2 T
selr.icu
9 J+ o. f$ Q% C! T* E, E$ ]ecanary.net
4 b5 M" q/ S% |8 H. l$ @. Hbkhills.net0 P% @, r, m6 V4 P, k4 ^0 c
wqfg.net: y2 j6 k9 K2 G; a9 M* e* U
s7ts.com5 z- l/ f9 K. n% f; G) K/ @1 K: _8 K
lnxt.icu) v- @5 y1 o  M! r# K, M
ubzz.top
6 U# s1 }5 p. |; w3 N+ z& Tampu.icu
0 i% A) y9 v0 ~torel.net
0 n9 C6 E+ k# v. d" N) C+ ksefb.icu9 G; Y5 X( O7 m3 ?3 {
mtsite.net
0 z: }2 `0 a1 C/ G+ Qygjzmm.com! H; J) N5 a3 F$ F$ T3 U5 a5 U# E9 ?
gdag.icu
) ^- }, B7 }, S1 h8 o- U' Qcneh.icu
) j2 A. ]0 |# n$ V! [& Jpxhu.top' t$ |  O$ p' B" T
xrxv.top
2 F7 j& ~: t" l! atgwn.net
) t. h. e' g$ P) Crmvesc.com
9 ?. F$ B, Q4 o7 T: euboltit.net
) e+ C8 Y/ z  ?5 lfxlw.icu2 ?1 L4 {& N) V" Y
catplan.net2 A  @/ g/ c: ^5 T7 Y; b
tdtz.icu
2 d+ M0 l" X/ v& c# K" _2 mcmfr.icu
6 m  P0 E$ j1 K+ K/ y; _  h& `cikc.icu
2 Y% R2 A) X8 X/ [8 `2 h8 s2 O% kggwtx.net
. v7 W( e" b2 M' s, j9 [* F% cyilvshi.net& X$ L$ i0 P$ `: J) B
mardar.net
. o4 Y% |/ y2 D$ _$ |qzss.icu
% w1 X( ?; _; |9 _6 P  ]# Gkmc-kw.com& X% _& ]( ^3 ?6 ~3 V( o" q0 [
aioa.icu
& x6 P$ h% Z5 n4 Y$ @7 L! qpwfp.icu+ d$ n$ y  Q7 H' Q# Y
crdf.icu: Q; `% y8 [4 [; @9 h

8 f  t" A  `- N- b, M1 l% _! w. d0 c0 S0 X& O+ C+ q  {- q- E
) q3 r1 O8 v" p$ D. `4 V
4 |2 [6 V9 _9 k+ H  [

" }% n! u4 i) i! u& a! a
7 q# p) x+ u! r( T
& ^; n8 E$ y$ m% W4 i8 q- s/ d! g7 {) ?. ^# i( Y
6 ^/ H) ?4 Y# J3 o9 b
1 m4 u) K/ e( j4 z

& \) W9 l/ b2 G& V6 QTSPo.guanrao.com.cn/
9 r/ X/ V3 F2 R. }* P  |66J2.xuanr.club/
! K$ m9 w, q; J: i' fNQWi.feip.xyz/7 Y; ^" E( ?1 q
84L9.huaib.club/! [8 Q( y8 u) _' F2 l
DxdN.zhanl.club/$ K1 o5 s+ z  Z. i& @& D
95B1.luod.xyz/1 }. `4 A$ X9 n8 f7 T3 \
HFRY.ruig.xyz/! R2 z. C) u; }6 c# B! [& A3 \
31p3.dongxiang.club/

Help On  

GMT+8, 2019-2-16 13:45 , Processed in 0.081708 second(s), 29 queries .

返回顶部 返回版块