IT人力外包人才简历库

精通Hadoop生态体系（HDFS/YARN/MapReduce），擅长Hive数据仓库开发与调优（分区/分桶/动态分区/物化视图），掌握Kimball维度建模理论与数据分层设计，熟悉Flume实时日志采集与Sqoop数据迁移，具备Spark流批一体计算框架应用经验，精通Doris实时分析引擎与自研BI平台集成，熟练使用Linux系统运维及Shell脚本开发，熟悉DolphinScheduler任务调度体系

主导某大型零售企业O2O订单分析平台建设，设计基于Hadoop的数据仓库架构，完成从日志采集、ETL处理到实时分析的全链路开发。采用Flume实现多源日志采集，通过Sqoop完成数据迁移，利用Doris构建实时分析引擎，结合自研BI平台实现多维数据可视化。设计维度建模方案，优化Hive查询性能，通过分区策略和索引优化提升查询效率30%。搭建DolphinScheduler任务调度体系，实现数据管道自动化运维，保障日均千万级订单数据的实时处理与分析。

项目名称：某大型零售企业O2O订单分析平台

技术架构：Hdfs+DolphinScheduler+Doris+自研BI平台

项目描述：构建覆盖全国门店的O2O订单数据分析系统，实现订单量、拒签率、商品销量等核心指标的实时统计与多维分析。通过数据仓库分层设计（ODS/DWD/DWS）支撑业务需求，结合Doris实时分析引擎实现秒级查询响应，最终通过自研BI平台完成可视化展示，支撑运营策略优化。

技术挑战：日均处理千万级订单数据，需保障实时性与稳定性。解决方案：采用Flume+Kafka实现日志采集缓冲，通过Sqoop批量迁移数据至HDFS，利用Doris的物化视图加速复杂查询，结合DolphinScheduler实现任务自动调度与异常告警，最终构建稳定可靠的数据分析平台。