IT人力外包人才简历库

精通Hadoop生态体系（HDFS/Hive/Spark/Flume/Kafka），熟练掌握实时计算框架Flink与数据集成工具Kettle/Spooq，具备Redshift/PostgreSQL数据库架构设计能力，熟悉Rundeck任务调度系统，擅长数据清洗、数仓分层建模（ODS/DL/DW/DWS/ADS）、ETL开发及数据可视化方案设计

主导物联网设备数据平台建设，完成从数据采集、清洗、存储到可视化展示的全链路开发。设计基于Hadoop的离线数仓架构，实现ODS层数据标准化处理，DW层事实表聚合计算，完成设备活跃度、转化率等核心指标开发。搭建实时数据处理流水线，通过Kafka+Spark实现分钟级数据更新，支持大屏实时监控需求。优化ETL作业调度策略，使用Rundeck实现任务自动化运维，提升系统稳定性30%。设计数据可视化方案，基于Redshift构建分析型数据库，支撑多维数据钻取分析需求。

IoT设备数据平台建设项目

项目架构：采用Hadoop分布式存储架构，集成Hive元数据管理、SparkSQL计算引擎、Flume数据采集、Kafka消息队列、Kettle数据转换、Redshift分析型数据库及PostgreSQL关系型数据库

项目描述：为物联网设备管理平台构建大数据分析体系，实现设备运行状态实时监控与多维数据分析。通过Hive离线数仓分层架构（ODS/DL/DW/DWS/ADS）完成数据沉淀，利用Spark实时计算引擎处理流式数据，基于Kafka构建高吞吐量数据管道，采用Kettle实现多源数据ETL转换，最终通过Redshift构建分析型数据库支撑BI报表开发。

项目职责：主导数仓分层架构设计与优化，完成设备状态指标（新增/活跃/转化率）的计算逻辑开发；设计数据清洗规则，实现敏感字段脱敏处理；搭建实时数据处理流水线，优化数据延迟至秒级；开发数据可视化看板，展示设备地域分布、品类占比等核心指标；制定ETL作业调度策略，通过Rundeck实现任务自动化运维，系统可用性提升至99.9%。