SnapLogic を使用して Kafka を外部サービスと連携

SnapLogic は、ノーコードでデータ連携フローを作成できる iPaaS（Integration Platform as a Service）です。CData JDBC Driver と組み合わせることで、Kafka を含む250を超える SaaS、ビッグデータ、NoSQL ソースのリアルタイムデータに SnapLogic ワークフローからアクセスできます。

CData JDBC Driver は、最適化されたデータ処理機能を内蔵しており、リアルタイム Kafka のデータ とのやり取りにおいて比類ないパフォーマンスを発揮します。外部ツールから複雑な SQL クエリが発行されると、ドライバーはフィルタや集計などのサポートされている SQL 操作を Kafka に直接プッシュし、サポートされていない操作（多くの場合、SQL 関数や JOIN 操作）は内蔵の SQL エンジンを使用してクライアント側で処理します。動的なメタデータクエリ機能により、ネイティブデータ型を使用して Kafka のデータ を操作できます。

SnapLogic から Kafka に接続

SnapLogic から Kafka のデータ に接続するには、CData Kafka JDBC Driver をダウンロードしてインストールします。インストールウィザードに従って進めてください。インストールが完了すると、JAR ファイルはインストールディレクトリ（デフォルトでは C:/Program Files/CData/CData JDBC Driver for Apache Kafka/lib）に配置されます。

Kafka JDBC Driver のアップロード

インストール後、Manager タブから SnapLogic 内の場所（例：projects/Jerod Johnson）に JDBC JAR ファイルをアップロードします。

接続の設定

JDBC Driver をアップロードしたら、Kafka への接続を作成します。

1. Designer タブに移動します
2. Snaps から「JDBC」を展開し、「Generic JDBC - Select」snap をデザイナーにドラッグします
3. Add Account をクリック（または既存のアカウントを選択）し、「Continue」をクリックします
4. 次のフォームで、JDBC 接続プロパティを設定します：
   • JDBC JARs に、先ほどアップロードした JAR ファイルを追加します
   • JDBC Driver Class を cdata.jdbc.apachekafka.ApacheKafkaDriver に設定します

   • JDBC URL を Kafka JDBC Driver の JDBC 接続文字列に設定します。例：

     jdbc:apachekafka:User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic;RTK=XXXXXX;

     注意：RTK はトライアルキーまたは製品キーです。詳細についてはサポートチームまでお問い合わせください。

     組み込みの接続文字列デザイナー

     JDBC URL の構築には、Kafka JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。

     java -jar cdata.jdbc.apachekafka.jar

     接続プロパティを入力し、接続文字列をクリップボードにコピーします。

     Apache Kafka 接続プロパティの取得・設定方法

     それでは、Apache Kafka に接続していきましょう。.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされており、CData 製品と一緒に自動的にインストールされます。 別のインストール方法をご利用の場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0をインストールしてください。

     Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。

     デフォルトでは、CData 製品はデータソースとPLAINTEXT で通信しており、これはすべてのデータが暗号化なしで送信されることを意味します。 通信を暗号化したい場合は、以下の設定を行ってください：

     1. UseSSL をtrue に設定し、CData 製品がSSL 暗号化を使用するように構成します
     2. SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします

     Apache Kafka への認証

     続いて、認証方法を設定しましょう。Apache Kafka データソースでは、以下の認証方法をサポートしています：

     • Anonymous
     • Plain
     • SCRAM ログインモジュール
     • SSL クライアント証明書
     • Kerberos

     Anonymous 認証

     Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 このような接続はanonymous（匿名）と呼ばれます。

     匿名認証を行うには、以下のプロパティを設定してください。

     • AuthScheme：None

     その他の認証方法については、ヘルプドキュメントをご確認ください。

     
5. 接続プロパティを入力したら、「Validate」をクリックし、「Apply」をクリックします

Kafka のデータ の読み取り

接続の検証と適用後に開くフォームで、クエリを設定します。

• Schema name を「ApacheKafka」に設定します
• Table name を Kafka のテーブルに設定します。スキーマ名を使用して、例：「ApacheKafka」.「SampleTable_1」（ドロップダウンで利用可能なテーブルの一覧を確認できます）
• テーブルから使用する各項目の Output fields を追加します

Generic JDBC - Select snap を保存します。

接続とクエリを設定したら、snap の末尾をクリックしてデータをプレビューします（下図でハイライト表示）。

結果が期待通りであることを確認したら、追加の snap を使用して Kafka のデータ を別のエンドポイントに送信できます。

Kafka のデータ を外部サービスにパイプ

この記事では、データを Google スプレッドシートに読み込みます。サポートされている任意の snap を使用するか、別の CData JDBC Driver と Generic JDBC snap を使用して、外部サービスにデータを移動できます。

1. 「Worksheet Writer」snap を「Generic JDBC - Select」snap の末尾にドロップします。
2. Google Sheets に接続するためのアカウントを追加します
3. Worksheet Writer snap を設定して、Kafka のデータ を Google スプレッドシートに書き込みます

これで、完全に設定されたパイプラインを実行して、Kafka からデータを抽出し、Google スプレッドシートにプッシュできます。

外部データを Kafka にパイプ

上記の通り、SnapLogic で Kafka 用の JDBC Driver を使用して Kafka にデータを書き込むこともできます。まず、Generic JDBC - Insert または Generic JDBC - Update snap をダッシュボードに追加します。

1. 既存の「Account」（接続）を選択するか、新しいものを作成します
2. クエリを設定します：
   • Schema name を「ApacheKafka」に設定します
   • Table name を Kafka のテーブルに設定します。スキーマ名を使用して、例：「ApacheKafka」.「SampleTable_1」（ドロップダウンで利用可能なテーブルの一覧を確認できます）
   
3. Generic JDBC - Insert/Update snap を保存します

これで、Kafka にデータを書き込み、新しいレコードを挿入したり既存のレコードを更新したりする snap が設定されました。

詳細情報と無料トライアル

CData JDBC Driver for Apache Kafka を使用することで、SnapLogic で Kafka のデータ を外部サービスと連携するパイプラインを作成できます。Kafka への接続の詳細については、CData JDBC Driver for Apache Kafka ページをご覧ください。CData JDBC Driver for Apache Kafka の30日間無料トライアルをダウンロードして、今すぐお試しください。