Jetty の接続プールから Spark のデータ に接続

Jerod Johnson
Jerod Johnson
Senior Technology Evangelist
Spark JDBC Driver は接続プールをサポートしています。この記事では、Jetty の Web アプリから Spark のデータ に高速に接続する方法を説明します。

CData JDBC Driver for Spark は、Java Web アプリケーションへの統合が簡単です。この記事では、接続プールを設定することで Jetty から Spark のデータ に効率的に接続する方法を説明します。Jetty で Spark 用の JNDI リソースを設定していきましょう。

Salesforce 用の JDBC Driver を JNDI データソースとして設定

以下のステップで Jetty から Salesforce に接続します。

  1. Jetty ベースで JNDI モジュールを有効にします。次のコマンドは、コマンドラインから JNDI を有効にします。

    java -jar ../start.jar --add-to-startd=jndi
    
  2. インストールディレクトリの lib サブフォルダにある CData およびライセンスファイルを、コンテキストパスの lib サブフォルダに追加します。
  3. リソースとそのスコープを宣言します。リソース宣言に必要な接続プロパティを入力します。次の例では、WEB-INF\jetty-env.xml に Web アプリレベルで Spark データソースを宣言しています。

    
    <Configure id='sparkdemo' class="org.eclipse.jetty.webapp.WebAppContext">
        <New id="sparkdemo" class="org.eclipse.jetty.plus.jndi.Resource">
        <Arg><Ref refid="sparkdemo"/></Arg>
        <Arg>jdbc/sparkdb</Arg>
        <Arg>
          <New class="cdata.jdbc.sparksql.SparkSQLDriver">
            <Set name="url">jdbc:sparksql:</Set>
            <Set name="Server">127.0.0.1</Set>
          </New>
        </Arg>
      </New>
    </Configure>
    

    SparkSQL への接続

    SparkSQL への接続を確立するには以下を指定します。

    • Server:SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
    • Port:SparkSQL インスタンスへの接続用のポートに設定。
    • TransportMode:SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
    • AuthScheme:使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

    Databricks への接続

    Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note:必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

    • Server:Databricks クラスターのサーバーのホスト名に設定。
    • Port:443
    • TransportMode:HTTP
    • HTTPPath:Databricks クラスターのHTTP パスに設定。
    • UseSSL:True
    • AuthScheme:PLAIN
    • User:'token' に設定。
    • Password:パーソナルアクセストークンに設定(値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます)。
  4. Web.xml でリソースを設定します。

    
      jdbc/sparkdb
      javax.sql.DataSource
      Container
    
    
  5. これで、java:comp/env/jdbc/sparkdb をルックアップして Spark にアクセスできます。

    InitialContext ctx = new InitialContext();
    DataSource myspark = (DataSource)ctx.lookup("java:comp/env/jdbc/sparkdb");
    

Jetty 統合の詳細

上記のステップでは、シンプルな接続プールのシナリオでドライバーを設定する方法を説明しました。その他のユースケースや詳細については、Jetty ドキュメントのWorking with Jetty JNDI の章を参照してください。

はじめる準備はできましたか?

Apache Spark Driver の無料トライアルをダウンロードしてお試しください:

 ダウンロード

詳細:

Apache Spark Icon Apache Spark JDBC Driver お問い合わせ

Apache Spark 連携のパワフルなJava アプリケーションを素早く作成して配布。