IT人力外包人才简历库

返回列表

网络数据采集工程师

驻场外包人员
工作年限:9年 意向城市:北京 浏览:3次 发布时间:近期

技能标签

Python Scrapy JavaScript逆向 Docker MongoDB MySQL 数据采集 网络爬虫 分布式系统 数据清洗 参数逆向 Cookie池 AJAX处理 动态分析 数据结构化

专业技能

精通Python编程语言,熟练掌握Scrapy框架进行分布式爬虫开发;精通JavaScript逆向工程,包括动态分析与参数解密;熟练使用Docker进行容器化部署与分布式爬虫集群管理;精通网络数据采集原理与技术细节,擅长XPath、CSS选择器、正则表达式等数据解析技术,具备结构化/非结构化数据清洗、去重、匹配等全流程处理能力;熟悉MongoDB与MySQL数据库的存储优化与性能调优

工作履历(脱敏处理)

专注于网络数据采集系统研发与优化,主导构建分布式爬虫架构,实现日均百万级数据采集。精通动态网页解析技术,成功完成多平台逆向工程,包括复杂参数加密算法破解与Cookie池系统搭建。擅长处理AJAX动态加载场景,采用Scrapy-Splash/Selenium等工具实现完整数据抓取。具备数据库性能调优经验,优化数据存储效率提升30%。持续跟进爬虫反爬技术,设计分布式任务调度系统,提升采集效率40%。

项目经验(脱敏处理)

1. 电商平台全品类商品数据采集系统:基于Scrapy框架构建分布式爬虫架构,采用Docker容器化部署,解决京东分页加载难题,通过动态分析定位AJAX请求接口,实现全站商品信息采集,日均处理数据量超50万条。

2. 招聘平台人才数据采集项目:设计代理池与Cookie池系统,通过JavaScript逆向技术破解智联招聘登录机制,实现多地区招聘信息自动化采集,建立结构化人才数据库。

3. 企业信用系统登录逆向工程:完成企业信用平台动态参数解密,通过F12开发者工具分析加密算法,构建自动化登录模块,提升系统使用效率。

4. 美团H5指纹参数逆向项目:深入分析h5Fingerprint参数生成机制,使用动态分析工具破解加密算法,实现登录参数自动化获取,支撑Cookie池系统稳定运行。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

9年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接