複数Kafka アカウントをレプリケーション

CData Sync for ApacheKafka は、データベースにサンドボックスや製品インスタンスをレプリケートするなどの、レプリケーションの多様なシナリオに対する解決策を提供するスタンドアロンアプリケーションです。Sync for Windows およびSync for Java はどちらもコマンドラインインターフェース（CLI）を含んでおり、複数のKafka 接続を簡単に管理できます。この記事では、CLI を使って複数のKafka アカウントをレプリケートする方法について説明します。

Kafka 接続の構成

接続およびE メール通知設定をXML 設定ファイルに保存できます。複数のKafka アカウントをレプリケートするには、複数の設定ファイルを使います。以下にKafka をSQLite にレプリケートする設定例を示します。

Windows

<?xml version="1.0" encoding="UTF-8" ?>
<CDataSync>
  <DatabaseType>SQLite</DatabaseType>
  <DatabaseProvider>System.Data.SQLite</DatabaseProvider>
  <ConnectionString>User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic;</ConnectionString>
  <ReplicateAll>False</ReplicateAll>
  <NotificationUserName></NotificationUserName>
  <DatabaseConnectionString>Data Source=C:\my.db</DatabaseConnectionString>
  <TaskSchedulerStartTime>09:51</TaskSchedulerStartTime>
  <TaskSchedulerInterval>Never</TaskSchedulerInterval>
</CDataSync>

Java

<?xml version="1.0" encoding="UTF-8" ?>
<CDataSync>
<DatabaseType>SQLite</DatabaseType>
  <DatabaseProvider>org.sqlite.JDBC</DatabaseProvider>
  <ConnectionString>User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic;</ConnectionString>
  <ReplicateAll>False</ReplicateAll>
  <NotificationUserName></NotificationUserName>
  <DatabaseConnectionString>Data Source=C:\my.db</DatabaseConnectionString>
</CDataSync>

Apache Kafka 接続プロパティの取得・設定方法

それでは、Apache Kafka に接続していきましょう。.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされており、CData 製品と一緒に自動的にインストールされます。 別のインストール方法をご利用の場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0をインストールしてください。

Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。

デフォルトでは、CData 製品はデータソースとPLAINTEXT で通信しており、これはすべてのデータが暗号化なしで送信されることを意味します。 通信を暗号化したい場合は、以下の設定を行ってください：

1. UseSSL をtrue に設定し、CData 製品がSSL 暗号化を使用するように構成します
2. SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします

Apache Kafka への認証

続いて、認証方法を設定しましょう。Apache Kafka データソースでは、以下の認証方法をサポートしています：

• Anonymous
• Plain
• SCRAM ログインモジュール
• SSL クライアント証明書
• Kerberos

Anonymous 認証

Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 このような接続はanonymous（匿名）と呼ばれます。

匿名認証を行うには、以下のプロパティを設定してください。

• AuthScheme：None

その他の認証方法については、ヘルプドキュメントをご確認ください。

各Kafka インスタンスにクエリを設定

Sync を使うと標準SQL でレプリケーションを制御できます。REPLICATE ステートメントはハイレベルなコマンドで、データベースにテーブルをキャッシュして維持します。Kafka API がサポートするあらゆるSELECT クエリを定義できます。下記のステートメントは、Kafka のデータ のテーブルをキャッシュしてインクリメンタルに更新します。

REPLICATE SampleTable_1;

特定のデータベースを更新するために使用するレプリケーションクエリを含むファイルを指定することができます。レプリケーションステートメントはセミコロンで区切ります。次のオプションは、複数のKafka アカウントを同じデータベースにレプリケートする場合に便利です。

REPLICATE SELECT ステートメントでは、異なるテーブルのプレフィックスを使用できます。

REPLICATE PROD_SampleTable_1 SELECT * FROM SampleTable_1

異なるスキーマを使用することもできます。

REPLICATE PROD.SampleTable_1 SELECT * FROM SampleTable_1

Sync の実行

接続文字列およびレプリケーションクエリの設定が完了したら、次のコマンドラインオプションを使ってSync を実行できます。

Windows

ApacheKafkaSync.exe -g MyProductionApacheKafkaConfig.xml -f MyProductionApacheKafkaSync.sql

Java

java -Xbootclasspath/p:c:\sqlitejdbc.jar -jar ApacheKafkaSync.jar -g MyProductionApacheKafkaConfig.xml -f MyProductionApacheKafkaSync.sql