【岗位地点】
工作地:北京,阿里巴巴科技园
联系人:zongze.hzz@alibaba-inc.com
【部门介绍】
阿里云计算平台拥有大数据计算分析(MaxCompute/Hologres/EMR产品系列)、AI/ML服务(PAI、灵骏)、实时/流计算(Flink、DataHub)、体系化数据调度平台(DataWorks)等产品体系,服务整个阿里巴巴集团、淘宝天猫、蚂蚁金服、菜鸟物流等所有子公司的业务需求,拥有海量的业务数据、超大规模的计算资源、非常丰富的业务场景。
阿里云开源大数据OLAP团队是阿里巴巴大数据技术体系的核心团队。我们围绕包括StarRocks、Milvus、ClickHouse、Trino等开源大数据技术打造核心的Serverless产品。在存储计算分离、云原生、分布式计算框架等方向进行持续研发与创新;以极致的性价比、超大规模、丰富的场景支持,帮助客户释放海量数据的商业价值。当前产品服务着阿里云的大规模客户和海量数据,在实时数仓、日志分析、广告精准推荐等关键业务中有着广泛运用,拥有世界级技术与业务挑战。团队有数十位开源大数据组件PMC/Committer。
【岗位职责】
负责阿里云智能Serverless StarRocks OLAP产品平台和内核研发,主要集中在下面几个方向:
平台研发:
1)基于开源OLAP引擎StarRocks、Doris、Trino等技术,提供OLAP场景下的Serverless产品化服务;
2)基于阿里云云原生技术栈,结合云上存储、网络、计算等资源提供秒级弹性,稳定服务;
3)提供一站式大数据应用开发平台,包括大数据安全体系,数据治理,作业调度,交互式查询,专项领域监控,通过AI能力帮助用户智能诊断复杂问题;
4)提供开源大数据体系Spark、Kafka、CDH、Presto等技术的企业版本,如Cloudera CDP、Confluent流数据平台等;
5)打造业界一流的开源大数据平台,为阿里云客户提供云原生大数据全家桶服务;
引擎研发:
1)深度参与 StarRocks 湖仓一体架构研发,优化数据湖(Paimon/Iceberg)与 OLAP 引擎的高性能协同机制
2)深度参与构建面向AI场景的 Data for AI 增强层,实现向量化查询与ML模型的高效交互,构建大模型训练数据的实时## 供给管道
3)深度参与关键场景的技术攻关,提升存算分离架构的稳定性,支撑阿里集团业务以及海量公有云客户
4)深度参与开源社区,有希望获得 Committer/PMC 席位
【岗位要求】
1)计算机、通信、数学等相关专业,具备良好的计算机技术基础;
2)3年以上系统软件,如操作系统,大数据系统,OLAP 等大规模系统软件开发经验。
3)精通 Linux下C++语言,精通至少一门脚本语言,如 Shell,Python 等。
4)熟悉Java/C++/Scala/Go/Rust等至少一种编程语言,熟悉主流JAVA框架包括Spring/Netty/MyBatis等,具备扎实的数据结构和算法基础;
5)有极客精神,代码质量稳定可靠,超强的 Debug 能力,敏锐的洞察力和超强的分析能力。
6)良好的沟通能力和团队合作精神,能够胜任 Review 团队代码,Review 社区代码等,做事主动积极,有技术热情和激情面对挑战。
7)熟悉StarRocks/Clickhouse/Doris/Presto/Spark/Flink/Hive等任一项主流开源技术技术者优先