Apache InLong（应龙）是一个一站式海量数据集成框架，提供自动、安全、可靠和高性能的数据传输能力，方便业务构建基于流式的数据分析、建模和应用。 InLong 支持大数据领域的采集、汇聚、缓存和分拣功能，用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。
1.4.0 版本总览
Apache InLong 最近发布了 1.4.0 版本，该版本关闭了约 364+ 个issue，包含 16+ 个特性和 120+ 个优化。主要完成了整库实时同步至 Apache Doris、整库实时同步至 Apache Iceberg、标准架构支持 HTTP 上报、标准架构新增 MongoDB 等多种采集节点。该版本还完成了大量其它特性，主要包括：
Agent 模块
- 重构了 Sink 发送指标
- 审计上报增加数据大小
- 支持 Redis、MQTT、SQLServer、Oracle 、MongoDB 数据源
- 强化 Kubernetes 环境文件采集能力
DataProxy 模块
- 心跳上报增加服务状态、支持认证
- 增加 proxy-send 模式发送数据
- 优化数据链路埋点指标
TubeMQ 模块
- 增加客户端负载均衡消费组控制 API
- C++ SDK 修复多个 Bug
Manager 模块
- 数据流 Group 和 Stream 支持扩展参数
- Client 支持通过 Key 更新和删除数据流向
- 重构获取 Sort 集群配置信息方式
- 优化状态管理
- Client 支持集群增删改查
- 集群节点上报新增协议类型
- 缓存层使用支持使用 Kafka
Sort 模块
- 支持 debezium-json 格式
- Kafka 数据节点支持 Topic 动态感知
- Hive/Hbase/Iceberg 等 connector 支持指标状态恢复
- Elasticsearch 6/7、JDBC connector 增加指标状态
- Iceberg sink 支持 schema revolution，能够自动建表并感知字段的增加
Dashboard 模块
- 统一数据源、数据流向类型定义
- 集群管理新增 Agent 类型
- 增加数据节点管理
- 支持选择 Kafka 消息类型
其它
- docker-compose 部署内置 Flink 环境
- 修复多个 aarch64 镜像 Bug
- 修复多个依赖安全漏洞
1.4.0 版本特性介绍
Agent 新增多种数据源
在 1.4.0 版本中，Agent 支持了 Redis、MQTT、SQLServer、Oracle 、MongoDB 等数据源，使得标准架构和轻量化架构的采集能力基本对齐，用户在海量场景下也有了更多选择。这部分后端能力的支持主要由@iamsee123、@haibo-duan完成，前端部分由@bluewang完成。
完善组件指标
在 1.4.0 版本中，Agent、DataProxy、Sort 模块都有指标的优化和完善，包括 Agent 发送指标的重构，增加数据Group/Stream指标维度，修复 Prometheus Listener 指标不准确等多个问题。感谢@Keylchen、@pocozh等贡献。
优化 Docker-compose 部署
InLong 服务组件比较多，一直都有部署门槛高的问题。在 1.4.0 版本中，优化了 docker-compose 部署的兼容性，同时内置一个 Apache Flink 环境，帮助开发者快速开始创建任务。感谢@dockerzhang 针对这部分内容的优化。
优化心跳管理
在 1.4.0 版本中，针对服务组件的心跳继续做了大量优化，包括上报时新增数据数据协议、Agent/DataProxy 组件上报自动注册、Manager 增加心跳管理 API 、优化多个心跳状态 Bug 等。感谢@gosonzhang、@GanfengTan、@pocozh、@lucaspeng12138和@haifxu的贡献。
支持整库实时同步能力
在 1.4.0 版本中，InLong 开始支持整库实时同步，跟进社区用户的需求，目前率先实现了整库实时同步至Doris、整库实时同步至Iceberg，近期社区也会将整库同步实现的具体细节分享出来。感谢@thesumery、@EMsnap、@yunqingmoswu的贡献。
更多 1.4.0 版本的细节请参考 版本说明 ，其中详细列出了此版本的特性、提升和 Bug 修复。
后续规划
在下个版本中，社区会继续增加整库同步场景、完善任务指标以及增加系统稳定性，进行标准架构和轻量化架构的压测。