CloverDX（旧CloverETL）で Databricks のデータ に接続

CData JDBC Driver for Databricks を使用すると、CloverDX（旧CloverETL）のデータ変換コンポーネントで Databricks をソースおよびデスティネーションとして扱えます。この記事では、JDBC Driver for Databricks を使用して、フラットファイルへのシンプルな転送を設定する方法を説明します。

はじめに

---

JDBC データソースとして Databricks に接続

1. Databricks のデータ への接続を作成します。新規のCloverDX グラフで、Outline ペインの「Connections」ノードを右クリックし、「Connections」->「Create Connection」をクリックします。Database Connection ウィザードが表示されます。
2. プラスアイコンをクリックし、JAR からドライバーをロードします。インストールディレクトリのlib サブフォルダを参照し、cdata.jdbc.databricks.jar ファイルを選択します。
3. JDBC URL を入力します。

   Databricks 接続プロパティの取得・設定方法

   Databricks クラスターに接続するには、以下のプロパティを設定します。

   • Database：Databricks データベース名。
   • Server：Databricks クラスターのサーバーのホスト名。
   • HTTPPath：Databricks クラスターのHTTP パス。
   • Token：個人用アクセストークン。この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
   Databricks インスタンスで必要な値は、クラスターに移動して目的のクラスターを選択し、Advanced Options の下にあるJDBC/ODBC タブを選択することで見つけることができます。

   Databricks への認証

   CData は、次の認証スキームをサポートしています。

   • 個人用アクセストークン
   • Microsoft Entra ID（Azure AD）
   • Azure サービスプリンシパル
   • OAuthU2M
   • OAuthM2M

   個人用アクセストークン

   認証するには、次を設定します。

   • AuthScheme：PersonalAccessToken。
   • Token：Databricks サーバーへの接続に使用するトークン。Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。

   その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。

   組み込みの接続文字列デザイナー

   JDBC URL の構築には、Databricks JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから実行します。

   java -jar cdata.jdbc.databricks.jar
   

   接続プロパティを入力し、接続文字列をクリップボードにコピーします。

   

   一般的なJDBC URL は次のようになります：

   jdbc:databricks:Server=127.0.0.1;HTTPPath=MyHTTPPath;User=MyUser;Token=MyToken;

DBInputTable コンポーネントで Databricks のデータ をクエリ

1. Palette の「Readers」から「DBInputTable」をジョブフローにドラッグし、ダブルクリックして設定エディターを開きます。
2. 「DB connection」プロパティで、ドロップダウンメニューから Databricks JDBC データソースを選択します。
3. SQL クエリを入力します。例：

   SELECT City, CompanyName FROM Customers WHERE Country = 'US'

クエリの出力をUniversalDataWriter に書き込む

1. 「Writers」から「UniversalDataWriter」をジョブフローにドラッグします。
2. UniversalDataWriter をダブルクリックして設定エディターを開き、ファイルURL を追加します。
3. DBInputTable を右クリックし、「Extract Metadata」をクリックします。
4. DBInputTable の出力ポートをUniversalDataWriter に接続します。
5. UniversalDataWriter の「Select Metadata」メニューで、Customers テーブルを選択します。（このメニューはUniversalDataWriter の入力ポートを右クリックしても開けます。）
6. 「Run」をクリックして、ファイルに書き込みます。