技能标签
专业技能
精通Spark架构设计与核心原理，具备Spark Streaming流式数据处理经验；掌握Scala/Java混合开发能力，具备Spark程序调优经验；熟悉Kafka消息队列系统及流批一体处理架构；精通CDH集群部署与调优，熟悉HDFS分布式存储原理；掌握HBase/Redis非关系型数据库设计与运维；熟悉Hive数据仓库架构及SQL优化；精通Linux系统运维及Shell脚本开发；具备Oracle/MySQL数据库设计与调优能力；熟悉Spring Boot微服务架构及GitLab代码管理工具
工作履历（脱敏处理）
主导某证券公司实时资产数据处理平台开发，设计基于Spark Streaming的实时数据同步方案，实现日均千万级交易数据的实时处理。开发数据分组排序算法，优化Redis缓存命中率提升30%。搭建HBase数据仓库架构，实现历史账单数据的高效存储与查询。设计Kafka消息队列系统，保障数据同步的可靠性与实时性。完成CDH集群性能调优，提升Spark作业执行效率40%。开发基于Spring Boot的业务接口系统，采用gRPC协议实现高并发数据交互，支撑百万级用户请求。
项目经验（脱敏处理）
某证券公司实时资产数据处理平台：设计基于Spark Streaming的实时数据处理流水线，通过Kafka实现Oracle数据库到消息队列的异步同步。开发数据解析引擎，实现JSON数据的结构化处理与异常过滤，采用Redis缓存策略提升数据读取效率。设计分组排序算法优化数据一致性，通过时间戳排序确保数据时效性。构建HBase数据仓库存储历史账单数据，采用BulkLoad技术提升数据导入效率。开发基于gRPC的业务接口系统，实现多维度资产数据的实时查询与计算，支撑百万级并发访问需求。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
2年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接