IT人力外包人才简历库

返回列表

Python Web开发工程师(分布式爬虫方向)

驻场外包人员
工作年限:3年 意向城市:杭州 浏览:22次 发布时间:近期

技能标签

Python开发 Django框架 Flask框架 分布式爬虫 Scrapy框架 Redis缓存 MongoDB数据库 MySQL数据库 Nginx部署 Linux运维 XPath解析 正则表达式 Shell脚本 RESTful API 分布式任务调度

专业技能

精通Python编程语言,掌握Scrapy、Scrapy-Redis等爬虫框架及requests、BeautifulSoup等第三方库;熟练使用Django/Flask开发Web应用,具备RESTful API设计能力;熟悉Redis分布式缓存、MongoDB非关系型数据库、MySQL关系型数据库及Nginx反向代理配置;精通Linux系统环境部署与运维,掌握Shell脚本开发;熟悉XPath解析技术、正则表达式数据提取、分布式任务调度等核心技术

工作履历(脱敏处理)

主导分布式爬虫系统开发,采用Scrapy-Redis框架实现多节点分布式爬取,解决反爬策略拦截问题,日均处理数据量达50万条。设计基因检测选购系统,基于Django框架搭建后端服务,实现用户认证、订单管理及结果展示功能,系统日均处理请求量超10万次。开发数据采集管道,通过Redis缓存中间件实现数据异步处理,提升数据采集效率30%。优化数据库查询性能,通过索引优化和分表策略使数据查询响应时间缩短至500ms以内。

项目经验(脱敏处理)

项目一:分布式企业信用信息采集系统

采用Scrapy-Redis框架构建分布式爬虫架构,实现对多源数据的并行采集。通过XPath解析技术提取目标页面结构化数据,设计分布式任务调度机制解决反爬策略拦截问题。使用Redis缓存中间件实现数据异步处理,最终通过Python脚本将数据持久化至MySQL数据库,日均处理数据量达50万条。

项目二:基因检测在线选购平台

基于Django框架开发前后端分离系统,实现用户注册登录、套餐选购、物流跟踪等功能模块。采用JWT令牌机制保障接口安全,通过AJAX实现异步数据交互,设计动态加载方案提升页面响应速度。开发测序结果展示模块,通过JSON数据格式实现检测结果的动态渲染,系统日均处理请求量超10万次。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

3年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接