WebLogic のコネクションプールからSparkに接続

Jerod Johnson
Jerod Johnson
Senior Technology Evangelist
CData JDBC Driver for Spark を使用して、WebLogic 上で動作するWeb アプリケーションからSpark のデータ に接続します。

CData JDBC Driver for Spark を使えば、標準的な手順に沿ってSpark のデータ をJava Web アプリケーションに統合できます。この記事では、CData JDBC Driver for Spark をWebLogic Server にデプロイする方法を説明します。

WebLogic Server へのJDBC ドライバーのデプロイ

ドライバーをデプロイするには、ドライバーJAR をクラスパスに追加します。.lic ファイルは、JAR と同じフォルダに配置する必要があります。 これらのファイルは、インストールディレクトリのlib サブフォルダに格納されています。

すべてのドメインにドライバーを追加する場合は、WL_HOME\common\bin\commEnv.cmd/sh にあるWEBLOGIC_CLASSPATH 環境変数の先頭にJAR のパスを追加します。このスクリプトは WL_HOME\common\bin\ にあります。以下に例を示します。

set WEBLOGIC_CLASSPATH=your-installation-directory\lib\cdata.jdbc.sparksql.jar;%WEBLOGIC_CLASSPATH%

WebLogic 12.2.1 では、特定のドメインにドライバーを追加する場合、ドライバーJAR と.lic ファイルをDOMAIN_HOME\lib(例:ORACLE_HOME\user_projects\domains\MY_DOMAIN\lib)に配置するだけで済みます。これらのファイルは、起動時にサーバーのクラスパスに追加されます。

以前のバージョンでは、手動でドライバーをクラスパスに追加する必要があります。setDomainEnv.cmd/sh のPRE_CLASSPATH 環境変数の先頭に、以下の内容を追加します。このスクリプトは、対象ドメインのフォルダのbin サブフォルダにあります。

set PRE_CLASSPATH=your-installation-directory\lib\cdata.jdbc.sparksql.jar;%PRE_CLASSPATH%

これらの変更を行った後、サーバーを再起動します。

Spark 用JDBC データソースの作成

ドライバーをデプロイしたら、WebLogic 管理コンソールにログインして接続を作成します。

  1. ドメイン構造ツリーで、Services -> Data Sources -> New -> Generic Data Source をクリックします。
  2. JDBC Data Source Properties ページで、以下の情報を入力します。
    • Name: ユーザーフレンドリーな名前を入力します(例:sparksqljdbc)。
    • JNDI Name: JDBC データソースのバインド先のパスを入力します(例:jdbc/SparkSQL)。
    • Database Type: Other を選択します。

  3. Next をクリックしてデフォルトオプションを使用します。最後のページで、以下の情報を入力してTest Configuration をクリックします。

    • Driver Class Name: ドライバークラスを入力します(cdata.jdbc.sparksql.SparkSQLDriver)。
    • URL: JDBC URL を入力します。一般的なJDBC URL は次のとおりです。

      jdbc:sparksql:Server=127.0.0.1;

      SparkSQL への接続

      SparkSQL への接続を確立するには以下を指定します。

      • Server:SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
      • Port:SparkSQL インスタンスへの接続用のポートに設定。
      • TransportMode:SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
      • AuthScheme:使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

      Databricks への接続

      Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note:必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

      • Server:Databricks クラスターのサーバーのホスト名に設定。
      • Port:443
      • TransportMode:HTTP
      • HTTPPath:Databricks クラスターのHTTP パスに設定。
      • UseSSL:True
      • AuthScheme:PLAIN
      • User:'token' に設定。
      • Password:パーソナルアクセストークンに設定(値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます)。

      組み込みの接続文字列デザイナー

      JDBC URL の作成には、Spark JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインからjar ファイルを実行します。

      java -jar cdata.jdbc.sparksql.jar
      

      接続プロパティを入力し、接続文字列をクリップボードにコピーします。

    • Database User Name: JDBC URL で指定していない場合は、ユーザー名を入力します。
    • Password: JDBC URL で指定していない場合は、パスワードを入力します。

JDBC データソースをデプロイするサーバーを選択すると、Spark のデータ に接続できるようになります。

その他のWebLogic 連携

上記の手順では、シンプルなコネクションプーリングシナリオでのドライバー設定方法を説明しました。その他のユースケースや詳細については、Oracle Fusion Middleware ドキュメントのWebLogic Data Sources 章のJDBC セクションを参照してください。

はじめる準備はできましたか?

Apache Spark Driver の無料トライアルをダウンロードしてお試しください:

 ダウンロード

詳細:

Apache Spark Icon Apache Spark JDBC Driver お問い合わせ

Apache Spark 連携のパワフルなJava アプリケーションを素早く作成して配布。