职责:
1、参与大数据架构的规划设计,参与业务建模及数据化运营平台的搭建、运维,对业务流程与大数据的结合提出建议和解决方案;
2、完成基于大数据平台的业务项目的开发、实施和维护工作;
3、负责解决大数据平台建设过程中的技术难点和性能调优工作;
4、参与数据仓库设计,根据业务需求实现高效率高灵活性的查询,数据分析,数据挖掘;
5、负责高吞吐高可用数据实时和离线采集,高并发的大数据业务架构设计
6、负责研发技术发展方向,新技术领域的探索,引入并验证数据平台领域新技术,提供系统效能
7、对大数据技术及开源框架充满热情,具有钻研精神,能自我学习。
任职资格:
1、具有5年Java开发经验,熟悉Spring生态,掌握Hibernate、Mybatis任意一种ORM框架,掌握Oracle、Mysql数据库。
2、具有2年以上的大数据开发经验,熟悉大数据、数据仓库,分布式架构技术理论,具有大数据整体系统架构设计和实战经验,熟悉CDH、HDP、TDH至少一款大数据产品,有从无到有建设大数据平台经验者优先;
3、熟悉大数据组件的开发、搭建、维护以及性能优化;
4、较强的开发能力,必须熟练使用相关开发语言(Java/Python/Scala/Shell等),熟悉大数据生态、关系数据库和NOSQL数据库、Linux等相关知识,能够独立完成并指导初级开发人员完成大数据相关的技术实现和调优;
5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等组件或技术,能阅读源码跟踪问题。
6、熟练掌握Spark、flink任意一种计算框架,掌握MapReduce计算框架原理,并有实际项目开发经验。
7、熟练掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技术和组件,熟练应用开发,必须熟悉复杂数据查询性能调优,包括实时查询和离线批处理查询,服务器和生态组件的参数优化。
8、精通高级算法并有与业务结合落地优先;
9、扎实的独立分析问题、解决问题的能力,具备良好的需求理解能力、沟通协调能力和团队合作精神;有很强的数据设计抽象能力,善于从复杂的数据问题中找到关键路径,并且擅于跟业务团队就业务问题进行良好的沟通,能推动业务的指标化、量化;
10、有较好的学习能力、团队协作精神,认真细心,有强烈的责任心,爱岗敬业,有较高抗压能力,有较好的工作稳定性。
因篇幅问题不能全部显示,请点此查看更多更全内容