技能标签
专业技能
精通Spark架构设计与核心组件（Driver/Executor/Partition）原理，具备Spark Streaming流式计算框架的开发与调优经验。掌握Kafka分布式消息系统架构及流式数据处理方案。熟悉HBase分布式数据库设计与优化，精通HDFS分布式文件系统原理与调优。具备Hive数据仓库构建及SQL优化能力。精通Redis内存数据库的使用与性能调优。熟悉Linux系统运维及Shell脚本开发。掌握Java/Scala编程语言及SpringBoot框架开发。具备CDH集群部署与调优经验。
工作履历（脱敏处理）
主导某大型金融机构实时资产数据处理系统开发，构建基于Spark Streaming的实时数据管道，实现日均千万级交易数据的实时处理与存储。设计Kafka消息队列与Spark Streaming的集成方案，通过流式计算框架实现数据分组排序与Redis缓存更新。优化HBase数据存储结构，提升数据读写性能30%。开发基于SpringBoot+gRPC的接口服务，实现资产数据的多维度统计与计算逻辑。完成HDFS数据批量加载方案设计，通过BulkLoad技术提升HBase数据导入效率。
项目经验（脱敏处理）
某大型金融机构实时资产数据处理系统：构建基于Spark Streaming的实时数据处理管道，实现日均千万级交易数据的实时处理。采用Kafka消息队列进行数据采集，通过流式计算框架实现数据分组排序与Redis缓存更新。设计HBase数据存储方案，优化数据读写性能。开发基于SpringBoot+gRPC的接口服务，实现资产数据的多维度统计与计算逻辑。设计HDFS数据批量加载方案，通过BulkLoad技术提升HBase数据导入效率。完成实时与离线数据处理流程的整合，确保数据一致性与完整性。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
2年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接