Denodo Platform で Kafka のデータに接続

Jerod Johnson
Senior Technology Evangelist

CData ドライバーを使用して、Denodo Virtual DataPort Administrator で Kafka のデータ用の仮想データソースを作成する方法を説明します。

Denodo Platform は、エンタープライズデータベースのデータを統合的に扱うことができるデータ仮想化製品です。CData JDBC Driver for Apache Kafka と組み合わせることで、Denodo ユーザーは他のエンタープライズデータソースと並んでライブ Kafka のデータを扱うことができます。本記事では、Denodo Virtual DataPort Administrator で Kafka 用の仮想データソースを作成する方法を解説します。

CData JDBC Driver は、最適化されたデータ処理機能を内蔵しており、ライブ Kafka のデータとのやり取りにおいて比類のないパフォーマンスを提供します。Kafka に対して複雑な SQL クエリを発行すると、ドライバーはフィルターや集計などのサポートされている SQL 操作を直接 Kafka にプッシュし、内蔵の SQL エンジンを使用してサポートされていない操作（主に SQL 関数や JOIN 操作）をクライアントサイドで処理します。また、動的メタデータクエリ機能を内蔵しているため、ネイティブデータ型を使用して Kafka のデータを操作・分析できます。

Kafka 仮想ポートの作成

Denodo からライブ Kafka のデータに接続するには、JDBC Driver の JAR ファイルを Denodo の外部ライブラリディレクトリにコピーし、Virtual DataPort Administrator ツールで新しい JDBC データソースを作成します。

CData JDBC Driver for Apache Kafka インストーラーをダウンロードし、パッケージを解凍して JAR ファイルを実行してドライバーをインストールします。
インストール先（通常は C:\Program Files\CData\CData JDBC Driver for Apache Kafka\lib\）から JAR ファイル（およびライセンスファイルが存在する場合はそれも）を Denodo 外部ライブラリディレクトリ（C:\Denodo\Denodo Platform\lib-external\jdbc-drivers\cdata-apachekafka-19）にコピーします。
Denodo Virtual DataPort Administrator ツールを開き、Server Explorer タブに移動します。
"admin" を右クリックし、New -> Data source -> JDBC を選択します。
JDBC 接続を設定します:
- Name: 任意の名前（例: apachekafka）
- Database adapter: Generic
- Driver class path: C:\Denodo\Denodo Platform\lib-external\jdbc-drivers\cdata-apachekafka-19
- Driver class: cdata.jdbc.apachekafka.ApacheKafkaDriver
- Database URI: 必要な接続プロパティを使用して JDBC URL を設定します。例:
  
  jdbc:apachekafka:User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic;
  
  Database URI の作成方法は以下のとおりです:
  
  ビルトイン接続文字列デザイナー
  
  JDBC URL の構築には、Kafka JDBC Driver に組み込まれた接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。
```
	java -jar cdata.jdbc.apachekafka.jar
	
```
  接続プロパティを入力し、接続文字列をクリップボードにコピーします。
  
  Apache Kafka 接続プロパティの取得・設定方法
  
  それでは、Apache Kafka に接続していきましょう。.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。これらのアセンブリはインストーラーにバンドルされており、CData 製品と一緒に自動的にインストールされます。別のインストール方法をご利用の場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0をインストールしてください。
  
  Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。
  
  デフォルトでは、CData 製品はデータソースとPLAINTEXT で通信しており、これはすべてのデータが暗号化なしで送信されることを意味します。通信を暗号化したい場合は、以下の設定を行ってください：
  1. UseSSL をtrue に設定し、CData 製品がSSL 暗号化を使用するように構成します
  2. SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします
  Apache Kafka への認証
  
  続いて、認証方法を設定しましょう。Apache Kafka データソースでは、以下の認証方法をサポートしています：
  - Anonymous
  - Plain
  - SCRAM ログインモジュール
  - SSL クライアント証明書
  - Kerberos
  Anonymous 認証
  
  Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。このような接続はanonymous（匿名）と呼ばれます。
  
  匿名認証を行うには、以下のプロパティを設定してください。
  - AuthScheme：None
  その他の認証方法については、ヘルプドキュメントをご確認ください。
"Test connection" ボタンをクリックして設定を確認し、Save をクリックします。

VirtualPort Administrator ツールで Kafka のデータを表示

データソースを作成したら、Denodo Platform で使用する Kafka のデータのベースビューを作成できます。

新しく作成した VirtualPort (admin.ApacheKafka) で "Create base view" ボタンをクリックします。
オブジェクトツリーを展開し、インポートするオブジェクト（テーブル）を選択します。
"Create selected" ボタンをクリックして、Kafka のデータのビューを作成します。
オプション: "Create associations from foreign keys" をクリックして、オブジェクト間のリレーションシップを定義できます。
ビューが作成されたら、Server Explorer で対象テーブル（cdata_apachekafka_sampletable_1）に移動し、選択したテーブルをダブルクリックします。
新しいタブで "Execution panel" をクリックしてクエリパネルを開きます。
"Execute" タブでクエリをカスタマイズするか、デフォルトのクエリを使用します:
```
SELECT * FROM cdata_apachekafka_sampletable_1 CONTEXT ('i18n'='us_est', 'cache_wait_for_load'='true')
```
Execute をクリックしてデータを表示します。