大数据时代,数据过剩,人才短缺,越来越多的IT专业人士希望能够进入充满机遇的大数据领域,但是,到底哪些具体的大数据专业岗位和人才最为吃香呢?
大数据Big Data定义
维基百科的定义
大数据(英语:Big data),或称巨量数据、海量数据、大资料,指的是所涉及的数据量规模巨大到无法通过人工,在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。网络上每一笔搜索,网站上每一笔交易、每一笔输入都是数据,通过计算机做筛选、整理、分析,所得出的结果可不仅仅止得到简单、客观的结论,更能用于帮助企业经营决策,搜集起来的数据还可以被规画,引导开发更大的消费力量。
大数据的常见特点是4V:Volume、Velocity、Variety、Veracity(数据量大、输入和处理速度快、数据多样性、价值密度低)。
“大数据”是由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的集成共享,交叉复用形成的智力资源和知识服务能力。
商业大数据工具
一体机:IBM Netezza, Oracle Exadata, SAP Hana等等。
数据仓库:Amazon Redshift, Teradata AsterData, EMC GreenPlum, HP Vertica等等。
数据集市:Fongrai, QlikView, Tableau, Yonghong Data Mart等等。
“大数据商业应用第一人”维克托•迈尔•舍恩伯格著作《大数据时代》中的定义
主要有三个方面,一是大量数据的获得使得我们在很多问题上能够做到“样本=总体”,也就是我们能够得到所有的相关数据;二是说大数据允许不精确;最后是说大数据使得人们探索世界的方式从因果关系转为相关关系。
人力资源公司Kforce近日发布了一份报告根据IT职业薪酬水平给出了2014年最热门的10大大数据工作职位及年薪:
一、ETL开发者(11-13万美元)
随着数据种类的不断增加,企业对数据整合专业人才的需求越来越旺盛。ETL开发者与不同的数据来源和组织打交道,从不同的源头抽取数据,转换并导入数据仓库以满足企业的需要。
ETL软件行业相对成熟,相关岗位的工作生命周期比较长,通常由内部员工和外包合同商之间通力完成。ETL人才在大数据时代炙手可热的原因之一是:在企业大数据应用的早期阶段,Hadoop只是穷人的ETL。
二、Hadoop开发者(15-17.5万美元)
Hadoop是基于Java的开源框架,随着数据集规模不断增大,而传统BI的数据处理成本过高,企业对Hadoop及相关的廉价数据处理技术如 Hive、HBase、MapReduce、Pig等的需求将持续增长。如今具备Hadoop框架经验的技术人员是最抢手的大数据人才。
三、大数据可视化工具开发者(15-17.5万美元)
海量数据的分析是个大挑战,而新型数据可视化工具如Spotifre,Qlikview和Tableau可以直观高效地展示数据。过去,数据可视化属于商业智能开发者类别,但是随着Hadoop的崛起,数据可视化已经成了一项独立的专业技能和岗位。
四、数据科学家(12-14万美元)
过去也称数据架构师,数据科学家是一个全新的工种,能够将企业的数据和技术转化为企业的商业价值。数据科学家首先应当具备优秀的沟通技能,能够同时将数据分析结果解释给IT部门和业务部门领导。
总的来说,数据科学家是分析师、艺术家的合体,需要具备多种交叉科学和商业技能。
五、OLAP开发者(9.8-11.6万美元)
OLAP在线联机分析开发者,负责将数据从关系型或非关系型数据源中抽取出来建立模型,然后创建数据访问的用户界面,提供高性能的预定义查询功能。
六、数据仓库一体机专家(9.8-12.4万美元)
此类专家熟悉Teradata、Neteeza和Exadata等公司的大数据一体机。能够在这些一体机上完成数据集成、管理和性能优化等工作。
七、预测分析开发者(10-13万美元)
营销部门经常使用预测分析预测用户行为或锁定目标用户。预测分析开发者有些场景看上有有些类似数据科学家,即在企业历史数据的基础上通过假设来测试阈值并预测未来的表现。
八、信息架构师(11.4-13.5万美元)
大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。信息架构师必须了解如何定义和存档关键元素,确保以最有效的方式进行数据管理和利用。信息架构师的关键技能包括主数据管理、业务知识和数据建模等。