大数据如何分析,非专业人士可以自学大数据分析吗,怎么学,哪里有资源?

数据分析接下来将会作为一门通识技能,进入越来越多的不同工作岗位中大数据如何分析。掌握数据分析,一方面可以提升自己相应的业务能力,另一方面也可以让自己建立一种data-driven的视角,去思考各种问题。

大数据如何分析,非专业人士可以自学大数据分析吗,怎么学,哪里有资源?

本文将主要从基本技能+动手实践两个角度谈谈如何入门数据分析。

基本技能

就数据分析学习而言,需要的技能模块有统计基础+数据库知识+编程能力。

1.统计基础

理工科的学生在本科阶段学习过概率论与数理统计,单从做数据分析的角度已经够用。其他方面,可以根据需要查看相关书籍,随时进行查漏补缺即可。个人推荐《深入浅出统计学》,可以让统计理论的学习有趣又自然。

2.数据库知识

关系型数据库很重要。在学习数据分析的初期甚至很长一段时间,你接触到的数据都存储在关系型数据库中,需要学习SQL语言进行数据查询。关于SQL语言,强力推荐《SQL必知必会》,整本书通俗易懂,是学习SQL语言的不二之选。

学习数据库的本质就是在学习一种与数据打交道的逻辑思维与能力。编程中的很多思想都和关系型数据库、SQL相通,比如:SQL中对data进行group by的操作,这个在Excel里类似于透视表,在Python/R中也有相应的group function去处理数据。甚至在以后的进阶过程,你会接触到分布式数据库和所对应的no-SQL语句。

3.编程能力

Excel。 透视表(Pivot Table)是做数据分析的必备技能。透视表可以帮你迅速汇总数据,看到各类型数据的直观特征就像是让你站在更高的视角看待数据。作为进阶,Excel自带的函数、各种插件,以及VBA也是很好的工具。

Python。当数据量大到用Excel打开都要很久或者我们想进步提升能力时,需要学些hardcore技能,即用编程语言做数据分析。这里主要有R和Python两大流派。个人推荐Python,一是代码简单易懂,容易上手;二是学习资料多,降低学习成本。推荐《利用Python进行数据分析》,涵盖了利用Python做数据清洗,数据可视化及分析的技能点,可以作为一本工具书随时查阅。

动手实践

基本技能的学习与掌握是贯穿整个学习过程,期间还需要借助小项目完成动手实践,以及跟领域内的前辈多交流,形成学习反馈闭环。

1.选好实践平台

一个好的平台社区将会起到事半功倍的效果。在上面你能找到很多开源数据集,启动你的数据分析之旅。

2.随时查漏补缺

实践过程中,你可能会遇到各种问题,知乎就是一个强大的搜索引擎,上面有很多大牛写的数据分析文章;当然,如果英文能力强的话,可以参考StackOverflow。直接搜索你在写代码做数据分析遇到的各种问题,总有一款答案适合你。

3.随时复盘整理

就像是游戏里打怪升级,你需要逐个击破知识盲区,完成滚雪球式累积。比如你发现自己对统计的知识点不是很清楚,可以回过头去看统计学书籍;你发现数据存储在分布式系统里面,便开始学习no-SQL的知识;你发现自己对某一行业比较感兴趣,可以通过数据分析进行解读;你发现自己已经不满足于利用现成数据作分析,就开始学习使用爬虫去抓取数据作分析。

小结

学习数据分析就是搭好框架体系,不断累积知识,不断hack技能,不断提升分析水平的过程。哪怕是业余时间学习,假以时日,亦可成大器。

今天的大数据来源是,除了专业研究机构产生的大量数据(CERN的离子碰撞器每秒产生高达40TB的数据),与业务运营相关的大数据可分为四个来源:

大数据如何分析,非专业人士可以自学大数据分析吗,怎么学,哪里有资源?

1.越来越多的机器配备了持续测量和报告操作条件的设备。几年前,跟踪遥测发动机的运行仅限于价值数百万美元的航天飞机。现在,汽车制造商已在其车辆中配备了监视器,以持续提供车辆机械系统的整体运行。一旦数据可用,公司将尽一切可能从中获利。这些机器传感数据属于大数据范围。

2.计算机生成的数据可能包含有关互联网和其他用户的行为和行为的有趣信息,提供对其愿望和需求的潜在有用的理解。

3.用户自己生成的数据/信息。人们通过电子邮件,短信,微博等生成的文本信息。

4.迄今为止最大的数据是音频,视频和符号数据。这些数据结构松散且数量庞大,因此难以提取有意义的结论和有用的信息。

大数据改变了公司在所有行业中的运作方式。 从了解市场到如何挖掘商业信息,大数据可以看到每一个变化。 致力于收集和分析大数据的行业已经形成,并对现有公司产生了深远的影响。 根据调查,10%的公司认为,在过去五年中,大数据彻底改变了他们的运营方式。 46%的公司认为大数据是决策过程中的重要支撑因素。

2022-06-09

2022-06-09