技能标签
专业技能
精通HTTP协议及RESTful API设计，熟练掌握HTML5/CSS3/JavaScript全栈开发技术，具备网页抓包与逆向分析能力，擅长反爬机制破解（ob混淆/AES加密）。精通Scrapy、Feapder等分布式爬虫框架，具备多线程/异步编程（aiohttp）优化经验。熟练使用MySQL/MongoDB/Redis进行数据清洗、存储与实时处理，掌握Selenium自动化工具实现登录模拟与反爬绕过。熟悉Linux系统运维及Docker容器化部署，具备Flask框架开发能力及Git版本管理实践。
工作履历（脱敏处理）
主导完成多领域网站数据采集系统开发，涵盖新闻、短视频、电商、政务、金融、房地产、二手车、图片等8大类行业，累计爬取数据超500万条。设计分布式爬虫架构提升采集效率300%，通过逆向分析破解ob混淆/AES加密等反爬技术。开发自动化数据清洗模块，实现数据标准化存储至MongoDB/Redis，构建可视化数据看板支持业务分析决策。
项目经验（脱敏处理）
1. 考古加商品数据采集项目：基于Scrapy框架构建分布式爬虫系统，通过XPath定位商品信息，处理分页跳转及动态加载，实现名称/价格/销量等字段自动化提取。采用Selenium模拟登录绕过ob混淆反爬机制，使用scrapy-redis实现任务分发与结果存储。
2. 阳光问政数据采集项目：基于XPath提取政务咨询数据，设计翻页逻辑处理多页数据采集。通过正则表达式清洗非结构化数据，存储至MongoDB数据库。优化采集策略提升日均数据量200%，支持政务数据分析与舆情监控。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
1年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接