跳到主要内容

创建 Kafka 数据源

NineData 支持将不同类型、不同环境的数据源添加到控制台中进行统一管理，您可以对已经添加后的数据源使用数据库 DevOps、备份与恢复、数据复制、数据库对比等功能。本文介绍如何将 Kafka 源添加到 NineData。

前提条件​

  • 已将 NineData 的服务器 IP 地址添加到数据源白名单。服务器 IP 地址的获取方式请参见下图。

    server_ip_address

  • 具备空闲的数据源额度，否则无法录入数据源。您可以在 NineData 控制台页面右上方快速查看剩余配额。check_quota

操作步骤​

  1. 登录 NineData 控制台。

  2. 在左侧导航栏，单击数据源管理>数据源。

  3. 单击**数据源**页签，并单击页面上的**创建数据源**，在弹出的数据源类型弹窗中，选择自建数据库 > （需要添加的数据源类型），在**创建数据源**页面根据下表配置参数。
    提示

    如果您操作失误，可以单击创建数据源页面上方的arrow_down图标重新选择。

  1. 配置数据源的各项参数：

    参数
    		说明
    数据源名称输入数据源的名称，为了方便后续查找和管理，请尽量使用有意义的名称。
    连接方式选择数据源的接入方式。支持通过公网地址、网关、SSH Tunnel 三种方式接入。
    • 公网地址：通过公网地址接入数据源。
    • 网关：NineData 提供的安全快捷的内网访问方式，需先将数据源所在主机接入，接入方式请参见添加网关。
    • SSH Tunnel：通过 SSH 隧道接入数据源。
    连接方式选择公网地址的配置项Broker List：由多个 Broker 连接地址组成的 Kafka 集群，每个 Broker 是一个独立的 Kafka 服务器实例。需要在下方输入 Kafka 数据源的公网连接地址和端口。如果有多个 Broker，单击添加按钮继续填写。
    连接方式选择网关的配置项
    • 网关：选择数据源所在主机中安装的 NineData 网关。
    • Broker List：输入 Kafka 数据源的内网连接地址和端口。Broker 可以写成 localhost（数据源在本机）或者数据源所在主机的内网 IP。
    连接方式选择 SSH Tunnel 的配置项
    • SSH 主机：输入目标数据源所在服务器的公网 IP 或者域名，以及对应的端口号（SSH 服务的默认端口号为 22）。
    • SSH 认证方式：选择 SSH 的认证方式。
      • 密码认证：通过 SSH 用户名（即服务器的登录名）和密码（即服务器的登录密码）进行连接。
        • SSH 用户名：输入目标数据源所在服务器的登录用户名。
        • 密码：输入目标数据源所在服务器的登录密码。
      • 密钥认证（推荐）：通过 SSH 用户名和密钥文件进行连接。
        • SSH 用户名：输入目标数据源所在服务器的登录用户名。
        • 密钥文件：单击上传文件上传私钥文件，即无后缀名的密钥文件。如果您还未创建，请参见生成 SSH Tunnel 密钥文件。
        • 口令：输入生成密钥文件时设置的密码。如果您在密钥生成过程中未设置密码，此处请留空。
      • 说明：SSH 配置完成后，您需要单击右侧的连接测试，可能出现如下两种结果：
      • 提示连接成功：表示 SSH Tunnel 已打通。
      • 提示错误信息：表示连接失败，您需要根据提错误示排查故障原因并重试。
    • Broker List：输入 Kafka 数据源的内网连接地址和端口。Broker 可以写成 localhost（数据源在本机）或者数据源所在主机的内网 IP。
    认证方式选择 Kafka 的认证方式。
    • PLAINTEXT：无需任何认证信息，数据以明文形式传输，该方式通常适用于开发和测试环境。
    • SASL/PLAIN（默认）：基于 SASL 的认证方式，需要用户名和密码，数据以明文形式传输，建议在传输加密的网络上使用该方式。
    • SASL/SCRAM-SHA-256：基于 SASL 的认证方式，需要用户名和密码，使用 SHA-256 算法对密码进行哈希运算，具有更高的安全性。
    • SASL/SCRAM-SHA-512：基于 SASL 的认证方式，需要用户名和密码，使用 SHA-512 算法对密码进行哈希运算，具有更高的安全性。
    用户名Kafka 的用户名。
    密码Kafka 的密码。
    接入地域选择离您数据源所在地最近的地域，可有效降低网络延迟。
    环境根据该数据源的实际业务用途进行选择，作为数据源的环境标识。默认提供生产和开发环境，同时支持您创建自定义环境。
    说明：在组织模式下，数据库环境还可应用于权限策略管理，例如，默认情况下的生产环境管理员角色仅支持访问生产环境下的数据源，无法访问其他环境的数据源。更多信息，请参见管理角色。
    SSL 加密是否使用 SSL 加密方式访问数据源（默认关）。数据源如果强制 SSL 加密连接，则必须开启本开关，否则连接失败。单击加密传输左侧的>展开详细配置：
    • Trust Store：CA 机构颁发的可信证书，即服务端证书。该证书用于验证服务端的身份，以确保您连接的 Kafka 服务端是可信的。
    • Trust Store Password：用于保护 Trust Store 证书的密码。
    • Key Store：用来验证用户身份的证书，即客户端证书。该证书确保连接到 Kafka 的用户是可信用户。
    • Key Store Password：用于保护 Key Store 证书的密码。
    SSL 的配置方法请参见官方文档：配置 Kafka 加密连接。

  2. 全部配置完成后，单击创建数据源右侧的连接测试可以测试该数据源是否可以正常访问，提示连接成功即可单击创建数据源，完成数据源的添加。否则请重新检查连接设置，直到连接测试成功为止。

附录：将 NineData 的 IP 地址加入 Kafka 数据库白名单​

添加位于公网/自建/他云的数据源时，需要将 NineData 服务的 IP 地址添加到数据库白名单，以允许 NineData 提供服务。

本章节以 Kafka 3.3.2 版本为例，介绍如何添加 IP 白名单。

  1. 打开 Kafka 的配置文件 server.properties，该文件通常在如下路径：<Kafka安装目录>/config/server.properties。

  2. 找到 listeners 参数，并将其值设置为允许访问 Kafka 的 IP 地址和端口号。例如，如果要允许 NineData 访问 Kafka，则可以将其设置为：

    listeners=PLAINTEXT://121.199.39.25:9092

  3. 保存更改并重启 Kafka 服务。