IT人力外包人才简历库

精通Java/Scala/Python/Shell脚本开发，熟悉Linux系统及Shell脚本编写；掌握Hadoop/Spark分布式计算框架，熟悉HDFS存储机制及数据分片策略；熟悉Hive/HBase/Kafka/Solr/Elasticsearch等大数据组件；熟练使用MySQL/Oracle数据库及Eclipse/Maven/Git等开发工具；熟悉SpringBoot/SpringMVC/Hibernate/MyBatis等开源框架；具备良好的代码规范及文档编写能力

主导某航空公司大数据平台搭建，完成分布式集群部署及数据采集系统开发，实现日均千万级机票定价数据的实时采集与存储；设计HBase数据清洗方案，通过Hive进行多维度离线分析，输出可视化报表支持市场策略制定。参与网安舆情分析系统建设，基于Solr构建亿级文档索引，运用机器学习算法实现文本分类与内容识别；开发Web业务系统实现多维数据可视化展示。主导智能数据中台项目，采用SpringBoot微服务架构搭建数据服务层，实现业务系统与数据平台的高效对接。

【机票大数据采集与分析系统】

- 设计并实现分布式数据采集系统，日均处理千万级机票定价数据，采用Kafka构建实时数据管道

- 开发HBase数据清洗模块，通过MapReduce实现数据去重与格式标准化

- 基于Hive构建多维分析模型，输出MySQL数据库的可视化报表支持市场策略制定

- 优化HDFS存储架构，通过数据分区策略提升查询效率30%

【网安大数据舆情分析系统】

- 构建Solr全文检索引擎，实现亿级文档的高效索引与检索

- 开发基于机器学习的文本分类系统，实现敏感内容自动识别与分类

- 设计分布式ETL流程，完成历史数据清洗与实时数据同步

- 开发Web管理系统，支持多维度数据可视化展示及条件检索

【智能数据中台】

- 基于SpringBoot构建微服务架构，实现数据服务的模块化开发

- 设计统一数据接口规范，支持多业务系统数据对接

- 优化Hive计算性能，通过分区与索引策略提升查询效率

- 开发数据质量监控模块，实现数据血缘分析与异常检测