Tomcat のコネクションプールで CData JDBC Driver for Spark を構成

CData JDBC Driver は、JVM 上で動作するWeb アプリケーションと連携するための標準JDBC インターフェースをサポートしています。ここでは、Tomcat のコネクションプールから Spark のデータ に接続する方法を説明します。

Tomcat のコネクションプールから Spark のデータ に接続

1. CData JAR ファイルと CData .lic ファイルを $CATALINA_HOME/lib にコピーします。CData JAR ファイルは、インストールディレクトリの lib サブフォルダにあります。
2. コンテキストにリソースの定義を追加します。ここでJDBC URL を指定します。

   SparkSQL への接続

   SparkSQL への接続を確立するには以下を指定します。

   • Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
   • Port：SparkSQL インスタンスへの接続用のポートに設定。
   • TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
   • AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

   Databricks への接続

   Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

   • Server：Databricks クラスターのサーバーのホスト名に設定。
   • Port：443
   • TransportMode：HTTP
   • HTTPPath：Databricks クラスターのHTTP パスに設定。
   • UseSSL：True
   • AuthScheme：PLAIN
   • User：'token' に設定。
   • Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。

   組み込みの接続文字列デザイナー

   JDBC URL の構成については、Spark JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインからJAR ファイルを実行します。

   java -jar cdata.jdbc.sparksql.jar
   

   接続プロパティを入力し、接続文字列をクリップボードにコピーします。

   

   以下のリソース定義で指定されたJDBC URL を確認できます。

   
   <Resource name="jdbc/sparksql"   auth="Container" type="javax.sql.DataSource" driverClassName="cdata.jdbc.sparksql.SparkSQLDriver" factory="org.apache.tomcat.jdbc.pool.DataSourceFactory" url="jdbc:sparksql:Server=127.0.0.1;" maxActive="20" maxIdle="10" maxWait="-1" />
   

   特定のアプリケーションのみに Spark のデータ へのアクセスを許可するには、上記のコードをアプリケーションのMETA-INF ディレクトリにあるcontext.xml に追加します。

   共有リソースの構成の場合は、上記のコードを $CATALINA_BASE/conf にあるcontext.xml に追加します。共有リソースの構成では、すべてのアプリケーションが Spark に接続できるようになります。

3. アプリケーションの web.xml にリソースへの参照を追加します。

   
     Spark のデータ JSP
     jdbc/SparkSQL
     javax.sql.DataSource
     Container
   
   

4. コネクションプールから接続を初期化します。

   Context initContext = new InitialContext();
   Context envContext  = (Context)initContext.lookup("java:/comp/env");
   DataSource ds = (DataSource)envContext.lookup("jdbc/SparkSQL");
   Connection conn = ds.getConnection();
     

Tomcat との連携について

上記の手順では、シンプルなコネクションプーリングのシナリオで Spark のデータ に接続する方法を説明しました。その他のユースケースや詳細については、Tomcat のドキュメントに記載されている JNDI Datasource How-To を参照してください。