streaming-data-engineer - 构建并运维生产级流式数据管道
提供 Kafka、Flink 和 Spark 流式管道的实践指导，涵盖窗口处理、精确一次语义、背压、死信队列和监控。
标签
更新于: 2026-10-03该技能可以做什么
- 调优 Kafka 生产者
- 配置 Kafka 消费者
- 实现 Flink 窗口
- 构建 Spark 流作业
- 管理精确一次处理
- 处理流式背压
- 发布死信消息
- 演进事件模式
- 监控流处理作业
输入
- Kafka 代理配置
- Kafka 主题名称
- 事件模式
- 流处理需求
- 检查点位置
- 输出目标
输出
- 处理后的流式事件
- 窗口聚合结果
- 死信队列消息
- 流处理作业状态
要求
- Kafka 环境
- Apache Flink 环境
- Apache Spark Structured Streaming
- 主题读写权限
- 检查点存储访问权限