CommunityOverCode Asia 2024 专题介绍之 DataOps

正文

请到「今天看啥」查看全文

7 月 26 日 14:00 - 16:45

演讲议题： 持续优化： 两年内 Cisco Webex 基于 Apache DolphinScheduler 的改进和创新

分享时间： 7 月 26 日 14:00 - 14:30

议题介绍：

在过去的两年里，Cisco Webex 团队基于 Apache DolphinScheduler 持续优化我们的大数据处理平台。本次分享将介绍这些自适应的改进和创新，同时也会分享一些业务挑战和解决方案。

演讲嘉宾：

Qingwang Li丨Cisco Webex, Software Engineer

思科 Webex，软件工程师，Apache DolphinScheduler Committer

---

演讲议题： Apache SeaTunnel 基于批处理和流集成实现了高效的数据同步

分享时间： 7 月 26 日 14:30 - 15:00

议题介绍：

Apache SeaTunnel 是如何基于 Flink 构建一个高效的数据集成工具的？

演讲嘉宾：

Chao Tian丨Apache SeaTunnel PMC Member

开源爱好者，曾为一些数据集成项目如 DataX、Flink CDC、Debezium、Chunjun 等做出贡献，是 Apache SeaTunnel 的项目管理委员会（PMC）成员。

---

演讲议题： 在小米数据集成中进行全链路数据监控实践

分享时间： 7 月 26 日 15:00 - 15:30

议题介绍：

这篇演讲介绍了小米在数据集成实践中构建的可视化全链路数据监测系统。

本次分享的重点是小米数据集成全链路数据监测技术的实现。从数据集成链路系统出发，针对数据集成实践中遇到的可靠性挑战，从可视化全链路数据监测建设方案的角度，分享并解释了提案和实施等方面。以数据集成可靠性和全链路监测两个主题为重点，演讲解释了构建可观察的数据集成全链路监测系统对提高数据集成可靠性和用户体验的益处。

第一部分：小米数据集成的发展

在小米的日常运营中，数据集成扮演着至关重要的角色。它是连接各个业务模块的桥梁，实现数据的共享和流通。通过数据集成，我们可以高效地整合来自不同来源和格式的数据，为后续的数据分析和业务决策提供强有力的支持。本章将介绍小米数据集成的发展历史、支持的数据链路、业务范围以及作业量级。

第二部分：数据集成面临的可靠性挑战

对于普通用户来说，数据集成往往是一个黑盒过程。他们不了解数据如何从一个系统转移到另一个系统，或者在转移过程中可能遇到的问题。这种不透明性增加了用户对数据可靠性的担忧。本章将介绍用户对数据集成可靠性的疑虑以及小米在数据集成过程中遇到的数据一致性挑战。

第三部分：全链路数据监控的构建与实践本章从同步链接的可靠性出发，介绍了全链路数据监控系统的构建，包括大规模数据统计、操作的实时流量监控、基于滚动窗口的全链路数据计数统计以及端到端数据比对。通过这些能力的建设努力，展示了小米在数据集成可靠性方面的工作成果。

第四部分：未来展望和改进方向在未来，将扩大实时监控链路的范围，提升流量控制能力以提高链路的稳定性，并支持离线场景下的数据验证。

在数据集成领域，构建可观测的监控链路系统、增强数据集成的稳定性、提高用户体验方面具有参考意义。

请到「今天看啥」查看全文