DataGrip で Kafka のデータ をクエリ

DataGrip は、SQL 開発者がデータベースへのクエリ、作成、管理を行えるデータベース IDE です。CData JDBC Driver for Apache Kafka と組み合わせることで、DataGrip からリアルタイムKafka のデータを操作できます。この記事では、DataGrip で Kafka のデータ への接続を確立し、テーブルエディタを使用して Kafka のデータ を読み込む方法を説明します。

Kafka 用の新しいドライバー定義を作成

以下のステップでは、DataGrip で Kafka 用の新しいデータソースを作成する方法を説明します。

1. DataGrip で、File -> New -> Project をクリックしてプロジェクト名を入力します。
2. Database Explorer で、プラスアイコン（）をクリックして Driver を選択します。
3. Driver タブで以下を設定します。
   • Name をわかりやすい名前に設定します（例："CData Kafka Driver"）。
   • Driver Files を適切な JAR ファイルに設定します。ファイルを追加するには、プラス（）をクリックし、「Add Files」を選択して、ドライバーのインストールディレクトリ内の「lib」フォルダに移動し、JAR ファイル（例：cdata.jdbc.apachekafka.jar）を選択します。
   • Class を cdata.jdbc.apachekafka.ApacheKafka.jar に設定します。
   また、詳細タブでは、ドライバーのプロパティや、VM Options、VM environment、VM home path、DBMS などの設定を変更できます。
   • ほとんどの場合、Expert options で DBMS type を「Unknown」に変更して、ネイティブの SQL Server クエリ（Transact-SQL）を回避してください。これを行わないと、無効な関数エラーが発生する可能性があります。
4. 「Apply」をクリックし、「OK」をクリックして接続を保存します。

Kafka への接続を設定

1. 接続を保存したら、プラス（）をクリックし、「Data Source」→「CData Kafka Driver」を選択して、新しい Kafka データソースを作成します。
2. 新しいウィンドウで、JDBC URL を使用して Kafka への接続を設定します。

   組み込みの接続文字列デザイナー

   JDBC URL の構築には、Kafka JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行します。

         java -jar cdata.jdbc.apachekafka.jar
       

   接続プロパティを入力し、接続文字列をクリップボードにコピーします。

   Apache Kafka 接続プロパティの取得・設定方法

   それでは、Apache Kafka に接続していきましょう。.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされており、CData 製品と一緒に自動的にインストールされます。 別のインストール方法をご利用の場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0をインストールしてください。

   Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。

   デフォルトでは、CData 製品はデータソースとPLAINTEXT で通信しており、これはすべてのデータが暗号化なしで送信されることを意味します。 通信を暗号化したい場合は、以下の設定を行ってください：

   1. UseSSL をtrue に設定し、CData 製品がSSL 暗号化を使用するように構成します
   2. SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします

   Apache Kafka への認証

   続いて、認証方法を設定しましょう。Apache Kafka データソースでは、以下の認証方法をサポートしています：

   • Anonymous
   • Plain
   • SCRAM ログインモジュール
   • SSL クライアント証明書
   • Kerberos

   Anonymous 認証

   Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 このような接続はanonymous（匿名）と呼ばれます。

   匿名認証を行うには、以下のプロパティを設定してください。

   • AuthScheme：None

   その他の認証方法については、ヘルプドキュメントをご確認ください。

   
3. URL を接続文字列に設定します。例：

   jdbc:apachekafka:User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic;

4. 「Apply」と「OK」をクリックして接続文字列を保存します。

これで、Data Explorer にデータソースが表示されます。

Kafka に対して SQL クエリを実行

JDBC Driver を介してアクセス可能な Kafka のエンティティ（テーブルとして利用可能）を参照するには、データソースを展開します。

クエリを実行するには、任意のテーブルを右クリックして「New」→「Query Console」を選択します。

Console で、実行したい SQL クエリを記述します。例：

SELECT Id, Column1 FROM SampleTable_1 WHERE Column2 = '100'

CData JDBC Driver for Apache Kafka の30日間の無料トライアルをダウンロードして、DataGrip でリアルタイムKafka のデータを操作してみてください。ご不明な点があれば、サポートチームにお問い合わせください。