数据分析与数据挖掘有什么区别，数据分析与挖掘工程师，有必要掌握网络爬虫技术吗
潜江龙资讯网
谢谢邀请数据分析与数据挖掘有什么区别！
目前在不少大数据团队中，数据分析和数据挖掘工程师通常都有明确的分工，数据采集往往并不是数据分析和挖掘工程师的任务，通常做爬虫的是大数据应用开发程序员或者是数据采集工程师（使用爬虫工具）的工作任务。但是对于数据分析工程师来说，掌握爬虫技术也是一个比较普遍的现象，原因有以下几点：
第一：数据分析师往往都会使用Python，而爬虫是Python比较擅长的开发内容。不少数据分析师在学习Python开发的时候都做过爬虫开发，其实不少Python程序员都会使用Python做爬虫，这是学习Python比较常见的实验。
第二：方便。不少数据分析工程师在学习的时候都会自己找数据，而编写爬虫是找数据比较方便的方式，所以很多数据分析工程师往往都会写爬虫。我在早期学数据分析的时候就是自己写爬虫，这是一个比较普遍的情况。
第三：任务需要。现在不少团队针对小型分析任务往往会交给一两个人来完成，这个时候往往既要收集数据、分析数据，还需要呈现数据，这种情况下就必须掌握爬虫技术了。这种情况在大数据分析领域是比较常见的，当然也取决于项目的大小。看一个使用Numpy和Matplotlib做数据分析呈现的小例子：
网络爬虫技术本身并不十分复杂（也可以做的十分复杂），在使用Python开发出一个爬虫程序之后，在很多场景下是可以复用的，只需要调整一些参数就可以了，所以爬虫技术并不难。对于数据分析人员来说，获得数据的方式有很多种，编写爬虫是一个比较方便和实用的手段，建议大数据从业人员都学习一下爬虫技术。
大数据是我的主要研究方向之一，目前我也在带相关方向的研究生，我会陆续在头条写一些关于大数据方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。
如果有大数据方面的问题，也可以咨询我，谢谢！
数据分析是干什么的？
在企业里收集数据、计算数据、提供数据给其他部门使用的。
数据分析有什么用?
从工作流程的角度看，至少有5类分析经常做：
工作开始前策划型分析：要分析一下哪些事情值得的做工作开始前预测型分析：预测一下目前走势，预计效果工作中的监控型分析：监控指标走势，发现问题工作中的原因型分析：分析问题原因，找到对策工作后的复盘型分析：积累经验，总结教训
那数据分析是什么的？
数据分析大体上分3步：
1：获取数据。通过埋点获取用户行为数据，通过数据同步，打通内部各系统数据。以及做数仓建设，存储数据。
2：计算数据。根据分析要求，提取所需要的数据，计算数据，做表。
3：解释数据。解读数据含义，推导出一些对业务有用的结论。
那么数据分析师主要做以上三点的工作吗？
并不全是，这个在不同企业，情况不一样。如果公司规模大的话，获取数据经常是数据开发组完成的，他们的职位一般是“数据开发工程师”或者“大数据工程师”。解释数据则是运营自己写ppt做解读，留给“数据分析师”的，其实就是中间的计算数据的一步。
有些公司（一般是做电商的），数据是直接从淘宝、天猫、亚马逊等平台导出的，然后基于这些数据做分析。有些公司（一般是传统企业），数据是直接用的大型的BI产品，然后所有人基于BI产品导出数据分析有些公司规模很小，就直接一个小组从数据埋点到数仓到提数全干了。
总之情况五花八门。
