Denodo Platform で Databricks のデータ に接続

Denodo Platform は、エンタープライズデータベースのデータを統合的に扱うことができるデータ仮想化製品です。CData JDBC Driver for Databricks と組み合わせることで、Denodo ユーザーは他のエンタープライズデータソースと並んでライブ Databricks のデータ を扱うことができます。本記事では、Denodo Virtual DataPort Administrator で Databricks 用の仮想データソースを作成する方法を解説します。

CData JDBC Driver は、最適化されたデータ処理機能を内蔵しており、ライブ Databricks のデータ とのやり取りにおいて比類のないパフォーマンスを提供します。Databricks に対して複雑な SQL クエリを発行すると、ドライバーはフィルターや集計などのサポートされている SQL 操作を直接 Databricks にプッシュし、内蔵の SQL エンジンを使用してサポートされていない操作（主に SQL 関数や JOIN 操作）をクライアントサイドで処理します。また、動的メタデータクエリ機能を内蔵しているため、ネイティブデータ型を使用して Databricks のデータ を操作・分析できます。

はじめに

---

Databricks 仮想ポートの作成

Denodo からライブ Databricks のデータ に接続するには、JDBC Driver の JAR ファイルを Denodo の外部ライブラリディレクトリにコピーし、Virtual DataPort Administrator ツールで新しい JDBC データソースを作成します。

1. CData JDBC Driver for Databricks インストーラーをダウンロードし、パッケージを解凍して JAR ファイルを実行してドライバーをインストールします。
2. インストール先（通常は C:\Program Files\CData\CData JDBC Driver for Databricks\lib\）から JAR ファイル（およびライセンスファイルが存在する場合はそれも）を Denodo 外部ライブラリディレクトリ（C:\Denodo\Denodo Platform\lib-external\jdbc-drivers\cdata-databricks-19）にコピーします。
3. Denodo Virtual DataPort Administrator ツールを開き、Server Explorer タブに移動します。
4. "admin" を右クリックし、New -> Data source -> JDBC を選択します。
5. JDBC 接続を設定します:
   • Name: 任意の名前（例: databricks）
   • Database adapter: Generic
   • Driver class path: C:\Denodo\Denodo Platform\lib-external\jdbc-drivers\cdata-databricks-19
   • Driver class: cdata.jdbc.databricks.DatabricksDriver

   • Database URI: 必要な接続プロパティを使用して JDBC URL を設定します。例:

     jdbc:databricks:Server=127.0.0.1;HTTPPath=MyHTTPPath;User=MyUser;Token=MyToken;

     

     Database URI の作成方法は以下のとおりです:

     ビルトイン接続文字列デザイナー

     JDBC URL の構築には、Databricks JDBC Driver に組み込まれた接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。

     	java -jar cdata.jdbc.databricks.jar
     	

     接続プロパティを入力し、接続文字列をクリップボードにコピーします。

     Databricks 接続プロパティの取得・設定方法

     Databricks クラスターに接続するには、以下のプロパティを設定します。

     • Database：Databricks データベース名。
     • Server：Databricks クラスターのサーバーのホスト名。
     • HTTPPath：Databricks クラスターのHTTP パス。
     • Token：個人用アクセストークン。この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
     Databricks インスタンスで必要な値は、クラスターに移動して目的のクラスターを選択し、Advanced Options の下にあるJDBC/ODBC タブを選択することで見つけることができます。

     Databricks への認証

     CData は、次の認証スキームをサポートしています。

     • 個人用アクセストークン
     • Microsoft Entra ID（Azure AD）
     • Azure サービスプリンシパル
     • OAuthU2M
     • OAuthM2M

     個人用アクセストークン

     認証するには、次を設定します。

     • AuthScheme：PersonalAccessToken。
     • Token：Databricks サーバーへの接続に使用するトークン。Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。

     その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。

     
6. "Test connection" ボタンをクリックして設定を確認し、Save をクリックします。

VirtualPort Administrator ツールで Databricks のデータ を表示

データソースを作成したら、Denodo Platform で使用する Databricks のデータ のベースビューを作成できます。

1. 新しく作成した VirtualPort (admin.Databricks) で "Create base view" ボタンをクリックします。
2. オブジェクトツリーを展開し、インポートするオブジェクト（テーブル）を選択します。
3. "Create selected" ボタンをクリックして、Databricks のデータ のビューを作成します。
   オプション: "Create associations from foreign keys" をクリックして、オブジェクト間のリレーションシップを定義できます。
4. ビューが作成されたら、Server Explorer で対象テーブル（cdata_databricks_customers）に移動し、選択したテーブルをダブルクリックします。
5. 新しいタブで "Execution panel" をクリックしてクエリパネルを開きます。
6. "Execute" タブでクエリをカスタマイズするか、デフォルトのクエリを使用します:

   SELECT * FROM cdata_databricks_customers CONTEXT ('i18n'='us_est', 'cache_wait_for_load'='true')
   

   
7. Execute をクリックしてデータを表示します。

ベースビューの作成後は、Denodo Platform の他のデータソースと同様にライブ Databricks のデータ を扱うことができます。たとえば、Denodo Data Catalog で Databricks をクエリできます。

CData JDBC Driver for Databricks の 30日間無料トライアルをダウンロードして、Denodo Platform でライブ Databricks のデータ の活用を始めましょう。ご不明な点がございましたら、サポートチーム までお問い合わせください。