工作职责:
1、负责大数据方向技术开发,包括:
1)参与大数据架构的规划设计,参与业务建模及数据化运营平台的搭建、运维,对业务流程与大数据的结合提出建议和解决方案;
2)完成基于大数据平台的业务项目的开发、实施和维护工作;
3)负责解决大数据平台建设过程中的技术难点和性能调优工作;
4)参与数据仓库设计,根据业务需求实现高效率高灵活性的查询,数据分析,数据挖掘;
5)负责高吞吐高可用数据实时和离线采集,高并发的大数据业务架构设计;
2、负责研发技术发展方向,新技术领域的探索,引入并验证数据平台领域新技术,提供系统效能;
3、对大数据技术及开源框架充满热情,具有钻研精神,能自我学习。
任职资格:
1. 算法基础扎实,熟悉常见的数据结构,了解分布式算法和分布式系统的技术原理;
2. 精通MapReduce设计方法或Spark计算框架、对NoSQL,Hadoop、Hbase、Spark、Hive等主流云计算,大数据相关软件有充分的了解,并且有实践经验,能解决应用中的复杂问题;
3. 熟悉大数据处理相关技术,包括但不限于Hadoop、Hive、Hbase、Impala、Spark,Kafaka、Flume、Sqoop、Storm、Redis等;
4. 研读过Hadoop、Hbase、Hive源代码者,能够在特定业务中进行定制改造者优先;
5. 具有海量数据处理、数据挖掘、数据分析相关项目的工作经验者优先;
6. 具备工业大数据开发经验,有平台搭建经验者优先;
7. 了解工业大数据平台各分层技术体系的运作机理和系统构成。