IT人力外包人才简历库

精通Hadoop生态体系（HDFS/Hive/HBase/Spark），擅长SparkSQL/Scala开发与调优，具备复杂ETL流程设计能力。熟练掌握数据迁移工具（Sqoop/DataX/Kettle）及调度系统（Azkaban/DolphinScheduler），精通Hadoop集群部署与资源调度，熟悉Kerberos安全认证及K8s/Docker容器化技术。精通Java/Scala开发，具备UDF/UDTF函数开发经验，熟悉Canal/Maxwell/FlinkCDC流式数据同步方案。掌握Presto/Impala/Kylin/ClickHouse等OLAP引擎，具备Shell/MySQL/FineReport等工具链整合能力。

长期从事大数据平台架构设计与开发工作，主导构建企业级数据仓库体系，实现PB级数据的高效处理与分析。设计并实施基于Hadoop的实时数据处理方案，通过Spark Streaming与FlinkCDC实现日均千万级数据同步。优化Hive/Spark查询性能，通过分区裁剪、列式存储等技术使查询效率提升300%。搭建数据调度体系，实现DataX/Sqoop与Azkaban的自动化数据采集流程。主导开发多个OLAP分析引擎，支持业务部门进行多维数据分析与可视化展示。

项目名称：数智营销数据平台（2022年3月-2023年1月）

项目描述：构建企业级实时数据处理平台，支持营销数据的采集、清洗、分析与可视化展示。采用Hadoop生态体系搭建数据仓库，通过SparkSQL实现多维度数据建模，利用FlinkCDC实现数据库增量同步，结合Kafka构建实时数据管道。项目涉及PB级数据处理，日均处理数据量达10TB，支持百万级并发查询。

技术挑战：数据延迟问题、计算资源调度优化、数据一致性保障。

解决方案：设计基于Kafka+Spark Streaming的实时计算架构，通过动态资源调度实现计算资源弹性扩展，采用Canal+Maxwell实现数据库双流同步，结合Hive ACID特性保障数据一致性。项目上线后数据处理时效提升80%，查询响应时间缩短至500ms以内。