NetBeans で Spark のデータ に接続

Jerod Johnson
Jerod Johnson
Senior Technology Evangelist
データソース設定ウィザードを使用して NetBeans で Spark のデータ に接続。

CData JDBC Driver for Spark は、JDBC をサポートする IDE にリアルタイム Spark のデータ 接続を統合します。JDBC 標準により、ビルトインのデータアクセスウィザードや迅速な開発をサポートするその他のツールを使用できます。この記事では、NetBeans で Spark のデータ に接続する方法を説明します。接続を作成し、テーブルエディターで 編集・保存およびを行います。

NetBeans で Spark 用の JDBC データソースを作成

JDBC データソースを作成するには、サービスウィンドウで Database ノードを展開し、Drivers ノードを右クリックして New Driver を選択します。表示される New Driver ウィザードで、以下の情報を入力します:

  • Driver File(s):Add をクリックし、表示されるファイルエクスプローラーダイアログで cdata.jdbc.sparksql.jar ファイルを選択します。ドライバー JAR はインストールディレクトリの lib サブフォルダにあります。
  • Driver Class:Find をクリックして JAR 内のドライバークラスを検索します。次に、メニューから cdata.jdbc.sparksql.SparkSQLDriver を選択します。
  • Name:ドライバーの名前を入力します。

接続パラメータの定義

以下の手順で、必要な接続プロパティを定義します:

  1. サービスウィンドウで Database ノードを右クリックし、New Connection をクリックします。

  2. New Connection Wizard で、以下の接続プロパティを入力します:

    • Driver Name:メニューから CData JDBC Driver for Spark を選択します。
    • User Name:ユーザー名を入力します。これは JDBC URL でも定義できます。
    • Password:パスワードを入力します。これは JDBC URL でも定義できます。
    • JDBC URL:JDBC URL を指定します。

      SparkSQL への接続

      SparkSQL への接続を確立するには以下を指定します。

      • Server:SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
      • Port:SparkSQL インスタンスへの接続用のポートに設定。
      • TransportMode:SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
      • AuthScheme:使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

      Databricks への接続

      Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note:必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

      • Server:Databricks クラスターのサーバーのホスト名に設定。
      • Port:443
      • TransportMode:HTTP
      • HTTPPath:Databricks クラスターのHTTP パスに設定。
      • UseSSL:True
      • AuthScheme:PLAIN
      • User:'token' に設定。
      • Password:パーソナルアクセストークンに設定(値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます)。

      ビルトイン接続文字列デザイナー

      JDBC URL の作成には、Spark JDBC Driver にビルトインされている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行します。

      java -jar cdata.jdbc.sparksql.jar
      

      接続プロパティを入力し、接続文字列をクリップボードにコピーします。

      一般的な JDBC URL は次のとおりです:

      jdbc:sparksql:Server=127.0.0.1;

Spark のデータ のクエリ

Spark のデータ に接続するには、Database ノードで接続を右クリックし、Connect をクリックします。接続が確立されたら、展開してスキーマ情報を確認できます。

Data Views ウィンドウにテーブルをロードするには、テーブルを右クリックして View Data をクリックします。Data Views ウィンドウでレコードの挿入、更新、削除も行えます。

はじめる準備はできましたか?

Apache Spark Driver の無料トライアルをダウンロードしてお試しください:

 ダウンロード

詳細:

Apache Spark Icon Apache Spark JDBC Driver お問い合わせ

Apache Spark 連携のパワフルなJava アプリケーションを素早く作成して配布。