数据挖掘/分析与大数据资料有什么关系?就业情况怎么样?及大数据路线资料?

数据挖掘和数据分析之间的联系,搞数据分析基础是啥?就业情况怎样?今天我们就来看看一位大数据前辈的具体分析。
首先引用:
在终极的分析中,一切知识都是历史;
在抽象的意义下,一切科学都是数学;
在理性的世界里,所有的判断都是统计学。
——《统计与真理》
所以,不管是数据分析,还是数据挖掘,首先得把统计学学好。
两者关系
简单来说
数据分析:一般要分析的目标比较明确,分析条件也比较清楚。
数据挖掘:目标不是很清晰,要依靠挖掘算法来找出隐藏在大量数据中的规则、模式、规律等。
可以从如下4点来理解:
1、“数据分析”的重点是观察数据,而“数据挖掘”的重点是从数据中发现“知识规则”KDD(Knowledge Discover in Database);
2、“数据分析”得出的结论是人的智能活动结果,而“数据挖掘”得出的结论是机器从学习集(或训练集、样本集)发现的知识规则;
3、“数据分析”得出结论的运用是人的智力活动,而“数据挖掘”发现的知识规则,可以直接应用到预测。
4、“数据分析”不能建立数学模型,需要人工建模,而“数据挖掘”直接完成了数学建模。如传统的控制论建模的本质就是描述输入变量与输出变量之间的函数关系,“数据挖掘”可以通过机器学习自动建立输入与输出的函数关系,根据KDD得出的“规则”,给定一组输入参数,就可以得出一组输出量。

数据挖掘属于大数据范畴。大数据挖掘相关工作涉及很多方面,比如你导师说的算法研究,还有可视化,数据库,以及分布式平台等等。但即使是算法研究也离不开编程作为基础,毕竟算法研究一个很重要的目标也是优化计算。
如果本科不是机器学习相关专业,两年研究生时间想成为大数据分析全能人才很困难,题主最好能找到兴趣点从那里切入,工作后再根据需要拓展。
两者与大数据之间关系
1、大数据与数据挖掘
大数据是包含数据挖掘的,两者是息息相关的。
数据挖掘需要人工智能、数据库、机器语言和统计分析知识等很多跨学科的知识。
数据挖掘的出现需要条件:
(1)海量的数据。
(2)计算机技术大数据量的处理能力。
(3)计算机的存储与运算能力。
(4) 交叉学科的发展。
2、大数据分析应该属于数据分析(但内涵与延伸发生了很大的变化)
大数据分析主要有:
(1)可视化分析
不管是对数据分析专家还是普通用户,数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据,让数据自己说话,让观众听到结果。
(2)数据挖掘算法
可视化是给人看的,数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部,挖掘价值。这些算法不仅要处理大数据的量,也要处理大数据的速度。(3)预测性分析能力
数据挖掘可以让分析员更好的理解数据,而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。
(4)语义引擎
我们知道由于非结构化数据的多样性带来了数据分析的新的挑战,我们需要一系列的工具去解析,提取,分析数据。语义引擎需要被设计成能够从"文档"中智能提取信息。
(5)数据质量和数据管理
数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。
(6)数据存储,数据仓库
如今大数据很时髦,但不要神话它
就业前景
不管数据分析还是数据挖掘都要会码代码,所以你搞软件开发的有得天独厚的优势。数据挖掘偏算法,想挣得多还是要搞数据挖掘,现在很缺少这方面的人。一个随便搞大数据的月薪没有超过一万都不好意思说出口。
二三线的互联网公司或者cd轮的公司,只有你有实力,基本都是年薪二三十万起的,不要说bat这个等级了。

如果要加入这个行业的话,理论肯定是不能少的,这是你进公司忽悠用的,实际过程中算法没有想象中那么重要,基本大部分工作都是在做特征工程。
有机会的话,做好是能够接触实际项目,理论实践两手抓。
大数据薪资就不行了,23668

大数据学习路线
1、Java编程技术
Java编程技术是大数据学习的基础,想学好大数据,掌握Java基础是必不可少的。
2、Linux命令3、Hadoop
Hadoop是大数据开发的重要框架
4、Hive
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表5、Avro与Protobuf
Avro与Protobuf均是数据序列化系统,可以提供丰富的数据结构类型,6、ZooKeeper
路线就不一一列出了,网上有好多路线!需要可以后台回复我。我发你一份路线!
下面是大数据学习路线图




后台 回复 01 面肥拿走,记得 转发或评论 一下 就好,谢谢支持95码农
| 留言与评论(共有 0 条评论) |