Skip to main content

· One min read

Apache InLong(应龙)最近发布了 1.10.0 版本,该版本关闭了约 200+ 个 issue ,包含 6+ 个大特性和 30+ 个优化,主要完成了 Manager 支持查看操作日志、支持 Group 在集群间迁移、Agent 支持周期采集和任务补录、Sort 实时同步支持 Transform、支持 MySQL 到 Iceberg 整库同步、支持自动建表等特性。1.10.0 发布后,Apache InLong 丰富并优化了 Agent 功能场景, 新增整库同步自动建表的能力,支持查看操作日志,解决在开发和运营过程中的快速排查问题的需求,同时优化 Apache InLong 运营运维的使用体验。

· One min read

Apache InLong(应龙) 最近发布了 1.9.0 版本,该版本关闭了约 200+ 个issue,包含 2+ 个大特性和 30+ 个优化,主要完成了可观测性能力建设、优化DataProxySDK-CPP等。1.9.0 发布后,Apache InLong 在全链路跟踪、指标采集、接入及可视化观测、告警方面补齐了可观测能力建设,解决在开发和运营过程中的快速排查问题、性能优化等需求,优化Apache InLong运营运维的使用体验。

· One min read

Apache InLong(应龙) 最近发布了 1.8.0 版本,该版本关闭了约 190+ 个issue,包含 6+ 个大特性和 30+ 个优化,主要完成了多租户管理、支持 Apache Flink 多版本、Dashboard 增加数据同步、支持数据预览、优化超长日志处理逻辑等。1.8.0 发布后,Apache InLong 围绕数据接入、数据同步和数据订阅的全场景数据集成布局基本完成,配合多租户管理、多集群管理、审批流管理、全链路审计/指标等。

· One min read

Apache InLong(应龙) 最近发布了 1.7.0 版本,该版本关闭了约 150+ 个issue,包含 3+ 个大特性和 40+ 个优化。主要完成了支持直发数据到 Kafka、MySQL 整库迁移支持 schema 变更、MySQL 整库迁移支持 GH-OST 感知、增加 CSV/SQL/JSON/Excel 4 种批量导入模式、简化命令行工具创建数据流配置、重构 Dashboard 整体布局等。

· One min read

Apache InLong(应龙) 最近发布了 1.6.0 版本,该版本关闭了约 202+ 个issue,包含 9+ 个大特性和 80+ 个优化。主要完成了新增 Kudu 数据流向、完善 Redis 数据流向、增加 MQ 缓存集群 Selector 策略、优化 Audit ID 分配规则、新增数据节点链接性测试、优化 Sort Audit 对账基准时间、Audit 支持使用 Kafka 缓存审计数据等。

· One min read

Apache InLong(应龙)最近发布了 1.5.0 版本,该版本关闭了约 296+ 个issue,包含 12+ 个大特性和 110+ 个优化。主要完成了新增 StarRocks、Hudi、Doris、Elasticsearch 等流向、优化 Dashboard 体验、重构 MQ 管理模型、新增脏数据处理、全链路 Apache Kafka 支持、TubeMQ C++/Python SDK 支持生产等。

· One min read

Apache InLong(应龙)是一个一站式海量数据集成框架,提供自动、安全、可靠和高性能的数据传输能力,方便业务构建基于流式的数据分析、建模和应用。 InLong 支持大数据领域的采集、汇聚、缓存和分拣功能,用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。

· One min read

Apache InLong(应龙)是一个一站式海量数据集成框架,提供自动、安全、可靠和高性能的数据传输能力,同时支持批和流,方便业务构建基于流式的数据分析、建模和应用。 InLong 支持大数据领域的采集、汇聚、缓存和分拣功能,用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。

· One min read

Apache InLong(应龙)是一个一站式海量数据集成框架,提供自动、安全、可靠和高性能的数据传输能力,同时支持批和流,方便业务构建基于流式的数据分析、建模和应用。 InLong 支持大数据领域的采集、汇聚、缓存和分拣功能,用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。

· One min read

1. 背景

随着 Apache InLong(incubating) 的用户和开发者逐渐增多,更丰富的使用场景和低成本运营诉求越来越强烈,其中,InLong 全链路增加 Transform(T)的需求反馈最多。经过@yunqingmoswu、@EMsnap、@gong、@thexiay 社区开发者的调研和设计,完成了基于 Flink SQL 的 InLong Sort ETL 方案,本文将详细介绍该方案的实现细节。