大数据如何分析，如何进行大数据分析及处理

谢谢邀请回答，作为大数据领域深耕多年的大数据从业者很乐意来回答这个问题大数据如何分析。

首先要接收数据，汇集数据。采用flume,scribe等都可以。原始数据汇集到hadoop后需要进行etl,数据清洗处理，可供选择的有mr,spark等。最后处理完毕的数据结构化到数据仓库，如hive。

然后就可以真正进行数据分析，挖掘，和机器学习了。比如根据数据对各个维度进行统计，然后出来分析结果。挖掘是对数据进行统计，然后进行有规则的挖掘，比如说人物画像。有了这么多的数据以后就可以利用机器学习对数据进行特征提取得到更有价值的数据结果。

谢谢大家。

目前本人正在从事大数据分析的工作，想要将大数据思维应用到经营分析，主要几个方面:

1.从决策者来说要形成数据支撑决策的文化和意识，多数决策应该有具体的数据支撑，避免经验主义。当然，这也要区分具体决策事项。

2.要有相关性的思维方式，转变因果性的思维。

3.要有利用大数据支持经营决策的人才和工具，要有培养引进大数据人才工具的机制。

思维这个词用得好，大数据的应用不在于具体的技术，而在于意识和文化，数据驱动还是经验驱动，这是个问题。

今天的大数据来源是，除了专业研究机构产生的大量数据（CERN的离子碰撞器每秒产生高达40TB的数据），与业务运营相关的大数据可分为四个来源：

1.越来越多的机器配备了持续测量和报告操作条件的设备。几年前，跟踪遥测发动机的运行仅限于价值数百万美元的航天飞机。现在，汽车制造商已在其车辆中配备了监视器，以持续提供车辆机械系统的整体运行。一旦数据可用，公司将尽一切可能从中获利。这些机器传感数据属于大数据范围。

2.计算机生成的数据可能包含有关互联网和其他用户的行为和行为的有趣信息，提供对其愿望和需求的潜在有用的理解。

3.用户自己生成的数据/信息。人们通过电子邮件，短信，微博等生成的文本信息。

4.迄今为止最大的数据是音频，视频和符号数据。这些数据结构松散且数量庞大，因此难以提取有意义的结论和有用的信息。

大数据改变了公司在所有行业中的运作方式。 从了解市场到如何挖掘商业信息，大数据可以看到每一个变化。 致力于收集和分析大数据的行业已经形成，并对现有公司产生了深远的影响。 根据调查，10％的公司认为，在过去五年中，大数据彻底改变了他们的运营方式。 46％的公司认为大数据是决策过程中的重要支撑因素。

作为一名IT领域的科研教育工作者，我来回答一下这个问题。

首先，在当前的大数据时代背景下，普通人要想避免自己“被大数据”是难度非常大的一件事，因为随着整个社会逐渐进入到网络化、智能化时代，每个人的大量社会活动都会被大数据系统记录下来。

与其探讨如何避免自己成为大数据分析的对象，倒不如探讨如何保护自己的数据隐私不被泄露，而要想保护自己的隐私则需要一个系统的策略，不仅需要有相应的法律法规，同时还需要每个人都有数据防护意识。

从当前的社会活动来分析，个人数据的采集通常可以分为三大类场景，其一是必须被采集的场景，比如当前正在进行的人口普查，再比如去医院就诊等等，在这些场景下，个人的数据都是必须被采集的，而这些场景下的数据防护措施也是非常严格的，通常并不会出现泄漏的问题。

其二是可以有选择地被采集，这一类数据采集活动涉及到大量的社会活动，包括工作场景、学习场景、娱乐场景等等，这一类活动要谨慎保护自己的数据，尽量不让非官方的平台来采集自己的数据。

其三是数据的关联采集，数据关联采集是当前互联网平台所采用的常规数据采集方式，比如通过个人的通讯录来完成数据关联采集，再比如通过家庭成员的数据采集而采集到自己等等，这一类采集方式具有一定的隐蔽性，而且比较难于防范。要想防范被关联采集，应该从切断自己与其他人的关联链接开始。

最后，数据隐私防护需要从法律层面作出大的规范，然后每个数据采集组织应该有自己的数据安全策略，同时个人也要重视自己的数据防护。

我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。

如果有互联网、大数据、人工智能等方面的问题，或者是考研方面的问题，都可以私信我！