跳到主要内容

创建 Kafka 数据源

NineData 支持将不同类型、不同环境的数据源添加到控制台中进行统一管理，您可以对已经添加后的数据源使用数据库 DevOps、备份与恢复、数据复制、数据库对比等功能。本文介绍如何将 Kafka 源添加到 NineData。

前提条件​

  • 已将 NineData 的服务器 IP 地址添加到数据源白名单。服务器 IP 地址的获取方式请参见下图。

    server_ip_address

  • 具备空闲的数据源额度，否则无法录入数据源。您可以在 NineData 控制台页面右上方快速查看剩余配额。check_quota

操作步骤​

  1. 登录 NineData 控制台。

  2. 在左侧导航栏，单击>。

  3. 单击页签，并单击页面上的，在弹出的数据源类型弹窗中，选择 > （需要添加的数据源类型），在页面根据下表配置参数。
    提示

    如果您操作失误，可以单击页面上方的arrow_down图标重新选择。

  1. 配置数据源的各项参数：

    参数
    		说明
    输入数据源的名称，为了方便后续查找和管理，请尽量使用有意义的名称。
    选择数据源的接入方式。支持通过、、SSH Tunnel 三种方式接入。
    • ：通过公网地址接入数据源。
    • ：NineData 提供的安全快捷的内网访问方式，需先将数据源所在主机接入，接入方式请参见添加网关。
    • SSH Tunnel：通过 SSH 隧道接入数据源。
    选择的配置项Broker List：由多个 Broker 连接地址组成的 Kafka 集群，每个 Broker 是一个独立的 Kafka 服务器实例。需要在下方输入 Kafka 数据源的公网连接地址和端口。如果有多个 Broker，单击按钮继续填写。
    选择的配置项
    • ：选择数据源所在主机中安装的 NineData 网关。
    • Broker List：输入 Kafka 数据源的内网连接地址和端口。Broker 可以写成 localhost（数据源在本机）或者数据源所在主机的内网 IP。
    选择 SSH Tunnel 的配置项
    • ：输入目标数据源所在服务器的公网 IP 或者域名，以及对应的端口号（SSH 服务的默认端口号为 22）。
    • ：选择 SSH 的认证方式。
      • ：通过 （即服务器的登录名）和（即服务器的登录密码）进行连接。
        • ：输入目标数据源所在服务器的登录用户名。
        • ：输入目标数据源所在服务器的登录密码。
      • （推荐）：通过 和进行连接。
        • ：输入目标数据源所在服务器的登录用户名。
        • ：单击上传私钥文件，即无后缀名的密钥文件。如果您还未创建，请参见生成 SSH Tunnel 密钥文件。
        • ：输入生成密钥文件时设置的密码。如果您在密钥生成过程中未设置密码，此处请留空。
      • 说明：SSH 配置完成后，您需要单击右侧的，可能出现如下两种结果：
      • 提示：表示 SSH Tunnel 已打通。
      • 提示错误信息：表示连接失败，您需要根据提错误示排查故障原因并重试。
    • Broker List：输入 Kafka 数据源的内网连接地址和端口。Broker 可以写成 localhost（数据源在本机）或者数据源所在主机的内网 IP。
    选择 Kafka 的认证方式。
    • PLAINTEXT：无需任何认证信息，数据以明文形式传输，该方式通常适用于开发和测试环境。
    • SASL/PLAIN（默认）：基于 SASL 的认证方式，需要用户名和密码，数据以明文形式传输，建议在传输加密的网络上使用该方式。
    • SASL/SCRAM-SHA-256：基于 SASL 的认证方式，需要用户名和密码，使用 SHA-256 算法对密码进行哈希运算，具有更高的安全性。
    • SASL/SCRAM-SHA-512：基于 SASL 的认证方式，需要用户名和密码，使用 SHA-512 算法对密码进行哈希运算，具有更高的安全性。
    Kafka 的用户名。
    Kafka 的密码。
    选择离您数据源所在地最近的地域，可有效降低网络延迟。
    根据该数据源的实际业务用途进行选择，作为数据源的环境标识。默认提供和环境，同时支持您创建自定义环境。
    说明：在组织模式下，数据库环境还可应用于权限策略管理，例如，默认情况下的角色仅支持访问环境下的数据源，无法访问其他环境的数据源。更多信息，请参见管理角色。
    是否使用 SSL 加密方式访问数据源（默认关）。数据源如果强制 SSL 加密连接，则必须开启本开关，否则连接失败。单击左侧的>展开详细配置：
    • Trust Store：CA 机构颁发的可信证书，即服务端证书。该证书用于验证服务端的身份，以确保您连接的 Kafka 服务端是可信的。
    • Trust Store Password：用于保护 Trust Store 证书的密码。
    • Key Store：用来验证用户身份的证书，即客户端证书。该证书确保连接到 Kafka 的用户是可信用户。
    • Key Store Password：用于保护 Key Store 证书的密码。
    SSL 的配置方法请参见官方文档：配置 Kafka 加密连接。

  2. 全部配置完成后，单击右侧的可以测试该数据源是否可以正常访问，提示即可单击，完成数据源的添加。否则请重新检查连接设置，直到连接测试成功为止。

附录：将 NineData 的 IP 地址加入 Kafka 数据库白名单​

添加位于的数据源时，需要将 NineData 服务的 IP 地址添加到数据库白名单，以允许 NineData 提供服务。

本章节以 Kafka 3.3.2 版本为例，介绍如何添加 IP 白名单。

  1. 打开 Kafka 的配置文件 server.properties，该文件通常在如下路径：<Kafka安装目录>/config/server.properties。

  2. 找到 listeners 参数，并将其值设置为允许访问 Kafka 的 IP 地址和端口号。例如，如果要允许 NineData 访问 Kafka，则可以将其设置为：

    listeners=PLAINTEXT://121.199.39.25:9092

  3. 保存更改并重启 Kafka 服务。

最后于 更新