技能标签
专业技能
精通Hadoop生态体系(HDFS、YARN、MapReduce),擅长Spark/Flink实时计算框架,熟悉分布式数据库(MySQL集群、HBase),掌握数据仓库建模与ETL开发,精通Java/Python全栈开发,具备Linux系统部署与性能调优能力,熟悉Kafka消息队列及数据质量校验体系
工作履历(脱敏处理)
主导数据中台平台开发,完成日均千万级数据采集与处理,搭建Hadoop+Spark混合计算架构,优化MapReduce作业性能提升40%。设计实时数据同步方案,基于Flink实现分钟级数据更新,构建数据质量监控体系,降低数据异常率至0.5%以下。开发统一数据服务接口,支持多业务系统数据调用,提升数据复用率30%。主导Linux服务器集群部署,实现自动化监控告警系统,保障7×24小时稳定运行。
项目经验(脱敏处理)
数据中台平台建设:基于Hadoop生态搭建分布式数据处理平台,设计分层数据仓库模型(ODS/DWD/DWS),开发ETL数据清洗流程,采用Spark实现离线数据处理,Flink构建实时数据管道,日均处理数据量达1.2TB。解决数据倾斜问题,通过动态分区策略优化MapReduce作业性能,降低集群资源消耗25%。构建数据质量监控体系,实现数据血缘追踪与异常告警,确保数据准确率99.95%。开发统一数据服务接口,支持多业务系统数据调用,提升数据复用率30%,降低重复开发成本。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
2年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接