大数据运维工程师-点微科技-上海-10K~15K
来源: 原创
岗位职责:
1、负责公司大数据业务集群的运维工作(Hadoop/Hbase/Hive/Presto/Yarn/Spark等)确保高可用;
2、负责集群容量规划、扩容及性能优化;
3、开发和使用Hadoop大数据自动化运维与监控工具;
4、基于大数据应用需求,不断调整和优化Hadoop框架及组件的配置,提升性能;
5、为数据仓库、数据挖掘建模等数据应用项目提供运行环境支持。
任职要求:
1、三年以上大数据或数据仓库运维经验;
2、熟悉Hive,HBase,Yarn,Spark,Kafka等技术,明白各组件的适用场景;
3、熟悉Linux操作系统的配置、管理及优化,能够独立排查及解决操作系统层面的问题;
4、熟悉脚本语言Shell/Python/go等编程语言的一种并有相关开发经验;
5、熟悉Cloudera Hadoop的管理和维护、有实际集群扩容,数据恢复,调优经验尤佳;
6、熟悉并使用过数据迁移工具中一种(flume/sqoop/datax)中一种。
待遇:10K-15K