IntelliJ で Spark のデータに接続

Jerod Johnson
Senior Technology Evangelist

IntelliJ のウィザードを使用して Spark のデータへの接続を設定します。

CData JDBC Driver for Spark を使用すると、Spark を JDBC データソースとしてアクセスでき、IDE の迅速な開発ツールとの連携が可能になります。この記事では、データソース設定ウィザードを使用して IntelliJ で Spark のデータに接続する方法を説明します。

Spark 用の JDBC データソースを作成

以下の手順で、ドライバー JAR を追加し、Spark のデータへの接続に必要な接続プロパティを定義します。

Data Sources ウィンドウで右クリックし、Add Data Source -> DB Data Source をクリックします。
表示される Data Source Properties ダイアログで、以下のプロパティを設定します。
- JDBC Driver Files: このメニューの横にあるボタンをクリックし、インストールディレクトリにある JDBC Driver ファイル cdata.jdbc.sparksql.jar を追加します。
- JDBC Driver Class: このメニューで、リストから cdata.jdbc.sparksql.SparkSQLDriver を選択します。
- Database URL: JDBC URL プロパティに接続 URL を入力します。URL は jdbc:sparksql: で始まり、セミコロンで区切られた接続プロパティを含みます。
  
  SparkSQL への接続
  
  SparkSQL への接続を確立するには以下を指定します。
  - Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
  - Port：SparkSQL インスタンスへの接続用のポートに設定。
  - TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
  - AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。
  Databricks への接続
  
  Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。
  - Server：Databricks クラスターのサーバーのホスト名に設定。
  - Port：443
  - TransportMode：HTTP
  - HTTPPath：Databricks クラスターのHTTP パスに設定。
  - UseSSL：True
  - AuthScheme：PLAIN
  - User：'token' に設定。
  - Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。
  組み込みの接続文字列デザイナー
  
  JDBC URL の作成には、Spark JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行します。
```
java -jar cdata.jdbc.sparksql.jar
```
  接続プロパティに値を入力して、接続文字列をクリップボードにコピーします。
  
  一般的な JDBC URL は以下のとおりです。
```
jdbc:sparksql:Server=127.0.0.1;
```