大数据如何分析,如何进行大数据分析及处理?

谢谢邀请回答大数据如何分析,作为大数据领域深耕多年的大数据从业者很乐意来回答这个问题。

大数据如何分析,如何进行大数据分析及处理?

首先要接收数据,汇集数据。采用flume,scribe等都可以。原始数据汇集到hadoop后需要进行etl,数据清洗处理,可供选择的有mr,spark等。最后处理完毕的数据结构化到数据仓库,如hive。

大数据如何分析,如何进行大数据分析及处理?

然后就可以真正进行数据分析,挖掘,和机器学习了。比如根据数据对各个维度进行统计,然后出来分析结果。挖掘是对数据进行统计,然后进行有规则的挖掘,比如说人物画像。有了这么多的数据以后就可以利用机器学习对数据进行特征提取得到更有价值的数据结果。

谢谢大家。

2022-06-09

2022-06-09