IT人力外包人才简历库

返回列表

Python数据采集与爬虫开发工程师

驻场外包人员
工作年限:1年 意向城市:杭州 浏览:7次 发布时间:近期

技能标签

Python Scrapy Django Flask MySQL Linux Git 数据清洗 API开发 爬虫框架 数据库优化 系统部署 前后端联调 算法实现 版本控制

专业技能

精通Python编程语言,掌握面向对象编程及函数式编程范式。熟练运用Scrapy、Requests、BeautifulSoup等爬虫框架进行数据采集与清洗,具备百万级数据处理经验。熟悉Django/Flask开发框架,可独立完成RESTful API开发及数据库设计。精通MySQL数据库优化,擅长复杂查询与索引设计。掌握Linux系统运维,具备服务器部署与环境搭建能力。熟悉Git版本控制及CI/CD流程,具备团队协作开发经验。了解前端基础技术栈,可实现前后端联调。具备算法基础,能运用数据结构解决实际业务问题。

工作履历(脱敏处理)

独立完成数据采集系统开发,采用Scrapy框架实现多源数据自动化抓取,通过代理池与多线程技术提升爬取效率300%。设计并优化MySQL数据库结构,实现百万级数据存储与快速查询。基于Django开发企业级博客系统,完成用户管理、内容发布及多端适配功能,提升全栈开发能力。主导项目部署流程,使用Nginx与Gunicorn实现服务高可用。持续优化爬虫策略,通过XPath与正则表达式实现复杂数据结构提取,有效规避IP封禁风险。

项目经验(脱敏处理)

项目一:企业级数据采集平台开发,基于Scrapy框架构建分布式爬虫系统,采用代理池技术解决IP封禁问题。通过多线程调度与异步IO优化,实现日均百万级数据采集。使用Pandas进行数据清洗与特征工程,生成可视化分析报告。项目二:基于Django开发内容管理系统,实现用户权限管理、文章发布及评论互动功能。采用MySQL数据库进行数据持久化,通过索引优化提升查询性能。前端使用Bootstrap实现响应式布局,适配PC与移动端访问。部署至Linux服务器,使用Nginx反向代理与Gunicorn实现服务高并发访问。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

1年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接