技能标签
专业技能
精通Java、Python、Scala编程语言，熟悉Hadoop、Spark、Flink等大数据处理框架，掌握Spring Boot微服务架构，具备丰富的数据库管理经验，包括MySQL、PostgreSQL、Redis、MongoDB等。熟练运用ETL数据清洗、数据采集、报表开发及网页后台系统构建等技术。
工作履历（脱敏处理）
专注于大数据平台架构设计与开发，主导完成日均千万级数据量的实时处理系统。主导设计基于Spark的分布式ETL流水线，实现数据清洗效率提升40%；搭建Flink实时计算框架，支持分钟级数据更新响应。开发数据可视化报表系统，采用Superset实现多维度数据展示。主导爬虫系统建设，通过Scrapy框架构建分布式爬虫集群，日均采集数据量达500万条。持续优化数据存储方案，采用Redis缓存热点数据，MongoDB存储非结构化数据，系统整体性能提升35%。
项目经验（脱敏处理）
某大型通信企业不良信息过滤系统开发：基于用户上网日志，通过Python与Scala实现涉黄链接识别。采用Spark进行分布式ETL处理，Flink实现实时流数据分析，Scrapy框架构建爬虫验证机制。技术挑战包括PB级日志数据清洗、多源数据一致性保障及实时响应需求。解决方案采用Hive进行数据仓库建模，通过Kafka实现数据实时传输，利用Redis缓存高频访问数据，最终实现日均200亿条数据处理能力，系统可用性达99.99%，误判率降低至0.05%。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
2年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接