探索“数据分析师”这个岗位所需要的技能。 首先抓取拉钩网上的数据,再对数据进行清洗,最后对清洗后的数据进行分析。
限定(广州)区域,搜索“数据分析”关键字,抓取各个岗位的信息,包括公司名字、职位、岗位要求和薪酬等信息
对抓取的数据进行清洗,将一列的工作年限转换成多列,将薪酬单位由千元转换成元
使用了jieba对岗位要求进行分词,根据分词结果判断该岗位对技能是如何要求的
探索不同工作年限对工作技能的不同要求,探索薪酬1W以上的工作对工作技能的要求
分别使用“statsmodels”、"sklearn"进行线性回归,探索"掌握技能"和"工作年限"与"薪酬"间的关系