QuerySurge で Kafka のデータ を検証

QuerySurge は、データの検証とテストを自動化するスマートなデータテストソリューションです。CData JDBC Driver for Apache Kafka と組み合わせることで、QuerySurge からライブのKafka のデータを操作できます。この記事では、QuerySurge からKafka のデータに接続する方法を説明します。

CData JDBC Driver は最適化されたデータ処理機能を備えており、ライブのKafka のデータとのやり取りにおいて比類のないパフォーマンスを提供します。Kafka に複雑な SQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされている SQL 操作を直接 Kafka にプッシュし、サポートされていない操作（主に SQL 関数や JOIN 操作）はクライアント側の組み込み SQL エンジンで処理します。また、ビルトインの動的メタデータクエリ機能により、ネイティブなデータ型を使用してKafka のデータを操作・分析できます。

QuerySurge から Kafka のデータ に接続

QuerySurge からライブのKafka のデータに接続するには、JDBC Driver の JAR ファイルを QuerySurge Agent にデプロイし、QuerySurge の Admin ビューから新しい接続を追加する必要があります。

JDBC Driver をデプロイ

1. CData JDBC Driver for Apache Kafka のインストーラをダウンロードし、パッケージを解凍して JAR ファイルを実行し、ドライバーをインストールします。
2. ドライバーのインストールが完了したら、Agent Service を停止します。
3. インストール先（通常は C:\Program Files\CData\CData JDBC Driver for Apache Kafka\lib\）から JAR ファイル（ライセンスファイルがある場合はそれも）を Agent（QuerySurge_install_dir\agent\jdbc）にコピーします。
4. Agent Service を再起動します。

QuerySurge への JDBC ドライバーのデプロイについての詳細は、QuerySurge ナレッジベースをご参照ください。

Kafka への新しい接続を設定

1. QuerySurge にログインし、Admin ビューに移動します。
2. Administration Tree で Configuration -> Connections をクリックします。
3. Add をクリックして新しい接続を作成します。
4. QuerySurge Connection Wizard で Next をクリックします。
5. 接続の名前を入力します（例：CData JDBC Connection to Kafka）。
6. Data Source を「All Other JDBC Connections (Connection Extensibility)」に設定し、Next をクリックします。
7. Driver Class を cdata.jdbc.apachekafka.ApacheKafkaDriver に設定し、Next をクリックします。

8. Kafka への認証に必要な接続プロパティを使用して Connection URL を設定します。Connection URL は以下のような形式になります：

   jdbc:apachekafka:User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic;

   ビルトイン接続文字列デザイナ

   JDBC URL の構成については、Kafka JDBC Driver に組み込まれている接続文字列デザイナを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。

   java -jar cdata.jdbc.apachekafka.jar
   	

   接続プロパティを入力し、接続文字列をクリップボードにコピーします。

   Apache Kafka 接続プロパティの取得・設定方法

   それでは、Apache Kafka に接続していきましょう。.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされており、CData 製品と一緒に自動的にインストールされます。 別のインストール方法をご利用の場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0をインストールしてください。

   Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。

   デフォルトでは、CData 製品はデータソースとPLAINTEXT で通信しており、これはすべてのデータが暗号化なしで送信されることを意味します。 通信を暗号化したい場合は、以下の設定を行ってください：

   1. UseSSL をtrue に設定し、CData 製品がSSL 暗号化を使用するように構成します
   2. SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします

   Apache Kafka への認証

   続いて、認証方法を設定しましょう。Apache Kafka データソースでは、以下の認証方法をサポートしています：

   • Anonymous
   • Plain
   • SCRAM ログインモジュール
   • SSL クライアント証明書
   • Kerberos

   Anonymous 認証

   Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 このような接続はanonymous（匿名）と呼ばれます。

   匿名認証を行うには、以下のプロパティを設定してください。

   • AuthScheme：None

   その他の認証方法については、ヘルプドキュメントをご確認ください。

   
9. 接続の Test Connection ボタンを有効にするため、Test Query を設定し（例：SELECT * FROM SampleTable_1 LIMIT 1）、Next をクリックします。
10. Test Connection をクリックして接続が正しく設定されていることを確認し、Save をクリックして接続を追加します。

接続を追加したら、QuerySurge でKafka のデータに対して SQL クエリを実行できます。

QueryPair で Kafka のデータ クエリを比較

接続を設定したら、以下の手順に従って QueryPair でKafka のデータのクエリを比較できます。

1. Design メニューから「Design Library」を選択します
2. QuerySurge Design の下の QueryPairs をクリックします
3. 「Create New QueryPair」をクリックします
4. QueryPair に名前を付けて Save をクリックします
5. Source または Target ペインで、上記で作成した接続を選択します（Kafka を2回クエリする場合は同じ接続を選択するか、比較を実行する場合は別の接続を選択します）
6. 各ペインの Editor にクエリを入力します（例：SELECT * FROM SampleTable_1）
7. 「Design-Time Run」タブをクリックしてクエリを実行します
8. クエリの実行が完了したら、「View Query Results」をクリックしてクエリから返されたKafka のデータを確認します

30 日間の無償トライアルをダウンロードして、QuerySurge でライブのKafka のデータを活用してみてください。ご不明な点がございましたら、サポートチームまでお問い合わせください。