加载中…
个人资料
博为峰教育
博为峰教育 新浪机构认证
  • 博客等级:
  • 博客积分:0
  • 博客访问:1,629
  • 关注人气:18
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
相关博文
推荐博文
正文 字体大小:

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(2020-07-08 13:57:20)
标签:

数据分析师

大数据行业

数据处理

数据可视化

项目背景



在互联网技术不断升级的今天,数据获取变的越来越容易,大数据行业越来越火,基于海量数据进行分析的数据分析人才,逐渐成为各大企业追逐的宠儿。大数据推动起数据的深度分析与挖掘,使得研究结果更加客观,并且多维。

本文将以数据分析的方式对这个行业展开研究,尽可能让正在从事或有兴趣想加入这个行业的小伙伴们对于当前大数据行业的就业环境有更深入的了解和认识。


项目流程



1. 数据获取:访问前程无忧官网,找出需用作数据分析的数据并进行获取;
2. 数据预处理:对获取数据进行去重、缺失值处理等一系列数据清洗操作;
3. 数据可视化:文文字不如数据,数据不如图片,可视化是对于数据最好的展现方式,让人一目了然;
4. 深入分析:对于数据深入分析,寻找不同因素与薪资之间的关系。

项目实施



01数据获取

在搜索数据的时候,岗位关键词我选择的是数据分析师(图1-1),这是因为其他的岗位关键词匹配度过低,搜索结果包含大量无效数据,而数据分析师匹配度高。地点选择了全国,是因为我想分析全国不同城市对于数据分析师岗位的需求量以及薪资水平。


数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~
(1-1)

在爬取的时候,我选择从二级页面爬取,目的是为了获得更多的信息(图1-2),以便后续能从更多的维度进行分析。抓取维度为:公司名字、类型、规模、行业、地点、福利;职位信息(职责、学历、技能、经验、薪资)。

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(1-2)

最后一共获取8076条数据(图1-3)。

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

 (1-3)


02数据预处理


1)因部分数据内容与数据分析岗位无任何关系,故将不匹配数据剔除。我的判定方式是将工作名称中包含"数据"、"分析"、"Data"、"Analyst"中任何一个关键词的保留,四个关键词一次都没有出现的则剔除。共剔除1261条与数据分析无关的数据(图2-1、2-2)。

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(2-1)


数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~
(2-2)

2)由于有部分的数据内容存在重复(图2-3),故选出其中岗位描述相似度较高的数据,将这些数据直接剔除。共剔除567条重复数据。

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(2-3)


3)爬取的时候要求字段里包含:工作地点、工作经验、学历、招聘人数以及招聘日期等数据,将数据分列,并保留工作地点、工作经验、经历三个字段,删除招聘人数以及招聘日期字段。
分列完成后有1000余条数据并未明确学历要求,但在岗位描述中有提及相应学历要求,我找出了这些数据,并完善了约600条余条数据。另外有2000余条数据对于工作经验无要求,但部分数据在岗位描述中对于经验要求有所提及,操作方法与前者类似,完善了500余条数据。处理前数据(图2-4):

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(2-4)

处理后数据(图2-5):

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(2-5)

4)由于福利字段内包含较多数据,故将数据进行分列,并用数据透视表的方式将相关福利字段内相应福利出现的频数进行统计,方便后期可视化的时候绘制词云。处理前数据(图2-6):

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(2-6)

处理后数据(图2-7):

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(2-7)


5)行业类型的字段内包含多个行业,不利于后期对于行业的分析,故我只选择选取每条数据的第一级的行业类型,并将多余数据进行剔除。处理前数据(图2-8):

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(2-8)


处理后数据(图2-9):

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(2-9)


6)工资字段内的数据是一个收入的区间值,时间单位有小时、天、月、年,计价单位有千和万,我选择把收入下区间与收入上区间进行拆分,并将不同的时间单位与计价单位进行单位统一,数据统一为"XXXX"元/月的格式。另外,我把收入按照从高到低的方式进行划分、归类并增加平均工资的字段,方便后期可视化操作。处理前数据(图2-10):

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(2-10)


处理后数据(图2-11):

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(2-11)

7)对要求中需要用到的相关数据分析的技能进行统计,以方便后期观察各岗位对于技能树的要求。处理结果如下图所示(图2-12,其中1代表需要,0代表不需要)。

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~
(2-12)


至此,数据预处理工作基本完成,清洗后数据共计6060条。


03数据可视化


1)薪资分布情况

从分布情况(图3-1)可以看出,数据分析师岗位的月薪集中在5000-8000元/月以及8000-12000元/月这两个区间段,从12000元/月-25000元/月中间的这三个区间段也是数据比较集中的区域,说明这个行业具有一定的发展空间和潜力。

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(3-1)

2)各城市岗位数量分布情况

从如下两图(图3-2、图3-3)可以看出,数据分析师的工作机会最多的城市是上海、广州、北京、深圳这四个超一线城市,杭州、成都、武汉、南京等一线城市紧随其后。

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(3-2)

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~
  (3-3)


3)学历要求情况从下图(图3-4)看出,数据分析师岗位对于学历要求最多的是本科和大专,这两个学历的比重占到了全部数据的85.39%,可以看出数据分析师对于学历的要求比较宽松,当然如果是硕士甚至是博士学历会意味着你会有更多的选择,更好的机会和更高的收入。

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(3-4)

4)工作经验要求情况从下图(图3-5)看出,数据分析师岗位对于工作经验要求最多的是1年经验、2年经验以及3-4年经验,1-4年的工作经验要求占到了所有数据的91.11%。近些年科学技术的突飞猛进,得益于互联网和智能手机的发展,数据分析、大数据和人工智能行业逐渐兴起,因兴起时间较短,所以数据分析师岗位对于工作经验的要求比较友好。

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(3-5)

5)技能要求情况从下图(图3-6)看出,数据分析师对于从业者有一定的技能的要求,除去大家比较熟悉的excel之外,掌握数据库语言(sql)也是必备的技能。编程语言也是数据分析师需要点亮的技能树之一,其中以Python、R和Sas最为常见。当然如果你会挖掘、算法或者模型,无疑则是锦上添花。

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~


(3-6)


6)行业分布情况从下图(图3-7)看出,对于数据分析师需求量最多的三个行业分别是互联网、计算机以及金融,而服装、通信以及快消等传统行业紧随其后。

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(3-7)

7)行业分布情况从下图(图3-8)中看出,对于数据分析师需求最多是民营企业,占比到达了63.66%。另外国企、上市公司、合资公司以及外资企业对于数据分析师的需求度平分秋色,各占10%左右。

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(3-8)

8)公司规模分布情况从下图(图3-9)可以看出,需求数据分析师的公司规模集中在50人-500人左右,这些公司大多以民营公司或者创业公司为主。

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(3-9)

9)业福利情况企业福利情况也是各位求职的小伙伴非常关心的要素之一,这么多福利中有没有哪些是让你非常心动的呢?

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(3-10)


04深入分析


1)数据说明
我所关心的因变量Y是数据分析师收入水平(元/月)。数据分析师的收入水平是多种因素综合作用的结果,我共收集了前程无忧网站的6060条与数据分析相关的数据,想对于数据分析师收入水平的相关影响因素进行更加深入的研究。数据包括工作地点、学历、工作经验等5个变量,数据说明如下图(图4-1)所示。

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(4-1)

2)工资收入

从如下图可以看出,工资收入呈现右偏态分布,工资收入的均值为12008元/月,中位数为10000元/月。这一现象符合我们对于工资的基本认知,即存在少数高收入工作,从而拉高了工资的平均水平。

数据分析师月入过万是高薪?错,你只是过了同行平均薪水线~

(4-2)


综上所述,通过对数据的描述性分析,可以得出结论:对工资收入产生影响较大的因素包括学历、工作经验和工作地点。

项目总结



通过这次对于“数据分析师”岗位的分析,相信各位小伙伴对于这个行业有了一些不同的了解和认识。

虽然数据分析岗位的门槛比较友好,但是想要在这个行业有一个长远的发展,想要成为一名合格乃至优秀的数据分析师,除了需要不断积累、学习各种技能和知识以外,还要多思考,多总结,不断培养自己的数据思维以及分析能力,只有这样才能让自己在众人之中能够脱颖而出。

漫漫长路,砥砺前行!

文章来源:简书 版权归原作者所有
上文内容不用于商业目的,如涉及知识产权问题,请权利人联系博为峰小编(021-64471599-8103),我们将立即处理。

0

阅读 评论 收藏 转载 喜欢 打印举报/Report
  • 评论加载中,请稍候...
发评论

    发评论

    以上网友发言只代表其个人观点,不代表新浪网的观点或立场。

      

    新浪BLOG意见反馈留言板 电话:4000520066 提示音后按1键(按当地市话标准计费) 欢迎批评指正

    新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

    新浪公司 版权所有