Skip to main content
版本:Next

Manager 自定义数据节点

总览

Inlong 设计初衷即是为了在不同数据源之间创建数据流,截止目前,Inlong 已经支持多种常用数据源的读取和写入,如 MySQL, Apache Kafka, ClickHouse 等, 详细内容可参考 数据节点。 InLong 的每种数据节点,支持通过 Manager 提供统一的管理,以简化用户的使用。 本文介绍通过 Manager 如何扩展一个新的数据节点,实现提供服务。

扩展 Extract Node

  • 首先需要在 Sort 组件内支持该数据源,详情参考 Sort 插件
  • 在枚举类org.apache.inlong.common.enums.TaskTypeEnum中增加对应的枚举
  • 在常量类org.apache.inlong.manager.common.consts.SourceType中同样增加对应常量
  • org.apache.inlong.manager.common.pojo.source路径下创建文件夹,创建对应实体类
  • org.apache.inlong.manager.service.source路径下,创建对应工具类
  • 支持数据源到ExtractNode的转换函数,在org.apache.inlong.manager.pojo.sort.node.provider路径下创建对应实现org.apache.inlong.manager.pojo.sort.node.provider.ExtractNodeProvider接口的实体类Provider,并注册到org.apache.inlong.manager.pojo.sort.node.ExtractNodeProviderFactory

扩展 Load Node

  • 首先需要在 Sort 组件内支持该数据源,详情参考 Sort 插件
  • 在常量类org.apache.inlong.manager.common.consts.SinkType中增加对应常量
  • org.apache.inlong.manager.common.pojo.sink路径下创建文件夹, 创建对应实体类
  • org.apache.inlong.manager.service.sink路径下创建对应工具类
  • 支持数据源到LoadNode的转换函数,在org.apache.inlong.manager.pojo.sort.node.provider路径下创建对应实现org.apache.inlong.manager.pojo.sort.node.provider.LoadNodeProvider接口的实体类Provider,并注册到org.apache.inlong.manager.pojo.sort.node.LoadNodeProviderFactory