您的当前位置:首页正文

运维开发工程师的职责

2024-02-24 来源:步旅网

  1、负责数据仓库和大数据处理模块的架构设计和开发;

  2、负责实现基于Spark框架的分布式计算框架的设计和开发工作;

  3、负责Spark技术研究和通用数据平台的性能调优;

  4、负责大数据项目中,基于kafka、flume、spark streaming、Spark SQL等相关技术的海量数据的处理、分析、统计、挖掘工作。

  5、熟悉Scala/Java语言,对Scala/Java原理、底层技术有深入研究者优先;

  6、有过海量数据系统开发经验者优先;

  7、熟悉Hadoop/Spark生态系统组件的使用,至少有2年以上的Spark开发经验;

  8、写过推荐系统的优先考虑

因篇幅问题不能全部显示,请点此查看更多更全内容