IntelliJ で Databricks のデータ に接続

Jerod Johnson
Jerod Johnson
Senior Technology Evangelist
IntelliJ のウィザードを使用して Databricks のデータ への接続を設定します。

CData JDBC Driver for Databricks を使用すると、Databricks を JDBC データソースとしてアクセスでき、IDE の迅速な開発ツールとの連携が可能になります。この記事では、データソース設定ウィザードを使用して IntelliJ で Databricks のデータ に接続する方法を説明します。

Databricks データ連携について

CData を使用すれば、Databricks のライブデータへのアクセスと統合がこれまでになく簡単になります。お客様は CData の接続機能を以下の目的で利用しています:

  • Runtime バージョン 9.1 - 13.X から Pro および Classic Databricks SQL バージョンまで、すべてのバージョンの Databricks にアクセスできます。
  • あらゆるホスティングソリューションとの互換性により、お好みの環境で Databricks を使用し続けることができます。
  • パーソナルアクセストークン、Azure サービスプリンシパル、Azure AD など、さまざまな方法で安全に認証できます。
  • Databricks ファイルシステム、Azure Blob ストレージ、AWS S3 ストレージを使用して Databricks にデータをアップロードできます。

多くのお客様が、さまざまなシステムから Databricks データレイクハウスにデータを移行するために CData のソリューションを使用していますが、ライブ接続ソリューションを使用して、データベースと Databricks 間の接続をフェデレートしているお客様も多数います。これらのお客様は、SQL Server リンクサーバーまたは Polybase を使用して、既存の RDBMS 内から Databricks へのライブアクセスを実現しています。

一般的な Databricks のユースケースと CData のソリューションがデータの問題解決にどのように役立つかについては、ブログをご覧ください:What is Databricks Used For? 6 Use Cases


はじめに


Databricks 用の JDBC データソースを作成

以下の手順で、ドライバー JAR を追加し、Databricks のデータ への接続に必要な接続プロパティを定義します。

  1. Data Sources ウィンドウで右クリックし、Add Data Source -> DB Data Source をクリックします。
  2. 表示される Data Source Properties ダイアログで、以下のプロパティを設定します。

    • JDBC Driver Files: このメニューの横にあるボタンをクリックし、インストールディレクトリにある JDBC Driver ファイル cdata.jdbc.databricks.jar を追加します。
    • JDBC Driver Class: このメニューで、リストから cdata.jdbc.databricks.DatabricksDriver を選択します。
    • Database URL: JDBC URL プロパティに接続 URL を入力します。URL は jdbc:databricks: で始まり、セミコロンで区切られた接続プロパティを含みます。

      Databricks 接続プロパティの取得・設定方法

      Databricks クラスターに接続するには、以下のプロパティを設定します。

      • Database:Databricks データベース名。
      • Server:Databricks クラスターのサーバーのホスト名
      • HTTPPath:Databricks クラスターのHTTP パス。
      • Token:個人用アクセストークン。この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
      Databricks インスタンスで必要な値は、クラスターに移動して目的のクラスターを選択し、Advanced Options の下にあるJDBC/ODBC タブを選択することで見つけることができます。

      Databricks への認証

      CData は、次の認証スキームをサポートしています。

      • 個人用アクセストークン
      • Microsoft Entra ID(Azure AD)
      • Azure サービスプリンシパル
      • OAuthU2M
      • OAuthM2M

      個人用アクセストークン

      認証するには、次を設定します。

      • AuthSchemePersonalAccessToken
      • Token:Databricks サーバーへの接続に使用するトークン。Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。

      その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。

      組み込みの接続文字列デザイナー

      JDBC URL の作成には、Databricks JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行します。

      java -jar cdata.jdbc.databricks.jar
      

      接続プロパティに値を入力して、接続文字列をクリップボードにコピーします。

      一般的な JDBC URL は以下のとおりです。

      jdbc:databricks:Server=127.0.0.1;HTTPPath=MyHTTPPath;User=MyUser;Token=MyToken;

Databricks のデータ の編集と保存

スキーマ情報を取得するには、作成したデータソースを右クリックして Refresh Tables をクリックします。テーブルをクエリするには、テーブルを右クリックして Open Tables Editor をクリックします。Table Editor でレコードを編集することもできます。

はじめる準備はできましたか?

Databricks Driver の無料トライアルをダウンロードしてお試しください:

 ダウンロード

詳細:

Databricks Icon Databricks JDBC Driver お問い合わせ

Databricks 連携のパワフルなJava アプリケーションを素早く作成して配布。