技能标签
专业技能
精通Spark架构设计与核心组件（Driver/Executor/Partition），掌握Spark Streaming流式处理框架，具备微批处理优化经验。熟练使用Scala/Java进行Spark程序开发与调优，深入理解Kafka分布式消息系统架构，实现流批一体数据处理。精通CDH集群搭建与调优，具备Hadoop生态组件（HDFS/MapReduce/Hive/HBase）集成能力。掌握Redis分布式缓存与HBase列式存储设计，熟悉gRPC通信协议与SpringBoot微服务开发框架。具备Linux系统运维能力，精通Shell脚本开发，熟悉Oracle/MySQL数据库优化。
工作履历（脱敏处理）
主导某证券公司实时资产计算系统开发，构建基于Spark Streaming的流式数据处理流水线，通过Kafka实现Oracle数据实时同步，采用Redis缓存优化资产计算性能，使数据处理延迟降低至500ms以内。设计HBase数据存储方案，通过BulkLoad实现亿级数据秒级加载，支撑历史账单系统日均10TB数据处理。开发gRPC接口实现多维度资产计算，采用分层缓存策略提升接口响应速度，系统吞吐量提升300%。
项目经验（脱敏处理）
实时资产计算系统：基于Spark Streaming构建流式数据处理框架，通过OGG实现Oracle数据实时同步至Kafka。采用窗口函数处理交易日数据，通过Redis缓存优化资产计算性能，设计分组排序算法确保数据一致性。开发gRPC接口实现多维度资产计算，采用分层缓存策略提升接口响应速度，系统吞吐量提升300%。历史账单处理系统：设计HBase数据存储方案，通过BulkLoad实现亿级数据秒级加载。构建Hive数据仓库进行数据清洗与聚合，采用MapReduce实现复杂账单计算逻辑，日均处理10TB数据，数据准确率100%。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
2年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接