技能标签
网络爬虫
数据清洗
ETL
数据库建模
数据可视化
Python
SQL
分布式架构
数据仓库
实时查询
反爬策略
数据安全
合规分析
自动化处理
数据建模
接口开发
专业技能
网络爬虫技术、数据清洗与ETL流程、数据库建模与优化、数据可视化分析、Python编程语言、SQL数据库操作、分布式爬虫架构、数据仓库建模、实时数据查询接口开发、数据安全与合规性分析
工作履历(脱敏处理)
主要负责金融监管数据采集系统建设,主导交易所问询函数据自动化采集项目,设计分布式爬虫架构应对反爬策略,完成数据清洗与ETL流程开发,搭建MySQL与MongoDB混合存储方案,优化数据仓库模型提升查询效率30%,开发实时查询接口支持多维度数据分析,建立数据安全合规性评估体系确保数据使用符合监管要求。
项目经验(脱敏处理)
构建金融监管数据智能采集系统,通过Python+Scrapy框架开发分布式爬虫,采用代理IP池与验证码识别工具突破反爬机制,完成深交所创业板及上交所科创板问询函数据采集,设计数据清洗规则与ETL流程实现数据标准化,搭建MySQL主从架构与MongoDB时序数据库混合存储方案,开发基于Elasticsearch的实时查询接口,建立数据质量评估模型提升数据可用性,最终实现监管数据查询效率提升40%、数据处理时效缩短60%。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
1年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接