技能标签
专业技能
精通Python编程语言,熟练掌握Scrapy框架进行分布式爬虫开发;精通JavaScript逆向工程,包括动态分析与参数解密;熟练使用Docker进行容器化部署与分布式爬虫集群管理;精通网络数据采集原理与技术细节,擅长XPath、CSS选择器、正则表达式等数据解析技术,具备结构化/非结构化数据清洗、去重、匹配等全流程处理能力;熟悉MongoDB与MySQL数据库的存储优化与性能调优
工作履历(脱敏处理)
专注于网络数据采集系统研发与优化,主导构建分布式爬虫架构,实现日均百万级数据采集。精通动态网页解析技术,成功完成多平台逆向工程,包括复杂参数加密算法破解与Cookie池系统搭建。擅长处理AJAX动态加载场景,采用Scrapy-Splash/Selenium等工具实现完整数据抓取。具备数据库性能调优经验,优化数据存储效率提升30%。持续跟进爬虫反爬技术,设计分布式任务调度系统,提升采集效率40%。
项目经验(脱敏处理)
1. 电商平台全品类商品数据采集系统:基于Scrapy框架构建分布式爬虫架构,采用Docker容器化部署,解决京东分页加载难题,通过动态分析定位AJAX请求接口,实现全站商品信息采集,日均处理数据量超50万条。
2. 招聘平台人才数据采集项目:设计代理池与Cookie池系统,通过JavaScript逆向技术破解智联招聘登录机制,实现多地区招聘信息自动化采集,建立结构化人才数据库。
3. 企业信用系统登录逆向工程:完成企业信用平台动态参数解密,通过F12开发者工具分析加密算法,构建自动化登录模块,提升系统使用效率。
4. 美团H5指纹参数逆向项目:深入分析h5Fingerprint参数生成机制,使用动态分析工具破解加密算法,实现登录参数自动化获取,支撑Cookie池系统稳定运行。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
9年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接