PHP からSpark のデータに接続する方法

CData ODBC Driver for SparkSQL は、PHP アプリケーションからSpark のデータへの連携を実現します。本記事では、Spark のデータをPHP のビルトインODBC 機能でクエリする手順を説明します。

CData ODBC ドライバとは？

CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。

1. Spark をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレミスデータソースに対応
2. 多様なアプリケーション、ツールにSpark のデータを連携
3. ノーコードでの手軽な接続設定
4. 標準 SQL での柔軟なデータ読み込み・書き込み

CData ODBC ドライバでは、1.データソースとしてSpark の接続を設定、2.PHP 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

CData ODBC ドライバのインストールとSpark への接続設定

まずは、本記事右側のサイドバーからSparkSQL ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

Spark に接続するDSN を作成します。

1. まずODBC DSN に必要な接続プロパティの値を入力します。インストールが終わると、自動的にODBC DSN 設定画面が起動します。ODBC データソースアドミニストレータを使用してDSN を作成および設定する方法については、ヘルプドキュメントの「はじめに」の章を参照してください。
   
   

   SparkSQL への接続

   SparkSQL への接続を確立するには以下を指定します。

   • Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
   • Port：SparkSQL インスタンスへの接続用のポートに設定。
   • TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
   • AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

   Databricks への接続

   Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

   • Server：Databricks クラスターのサーバーのホスト名に設定。
   • Port：443
   • TransportMode：HTTP
   • HTTPPath：Databricks クラスターのHTTP パスに設定。
   • UseSSL：True
   • AuthScheme：PLAIN
   • User：'token' に設定。
   • Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。

Spark への接続の確立

odbc_connect を呼び出して、Spark への接続を開きます。 odbc_pconnect メソッドでも可能です。コネクションを閉じるには、odbc_close もしくはodbc_close_all を使います。

$conn = odbc_connect("CData SparkSQL Source","user","password");

コネクションはodbc_connect で開かれ、スクリプトが終わると終了します。odbc_pconnect メソッドで開いたコネクションは、スクリプトが終わっても開いたままです。これにより同じクレデンシャルであれば他のスクリプトでコネクションを共有することが可能です:

$conn = odbc_pconnect("CData SparkSQL Source","user","password");
...
odbc_close($conn); //persistent connection must be closed explicitly

エレメントの作成

odbc_prepare を使って、Prepared ステートメントおよびパラメータライズドクエリを作成します。

$query = odbc_prepare($conn, "SELECT * FROM Customers WHERE Country = ?");

クエリの実行

Prepared ステートメントをodbc_execute を使って実行します。

$conn = odbc_connect("CData SparkSQL Source","user","password");
$query = odbc_prepare($conn, "SELECT * FROM Customers WHERE Country = ?");
$success = odbc_execute($query, array('US'));
  

Non-Parameterized クエリは、odbc_exec を使います。

$conn = odbc_connect("CData SparkSQL Source","user","password");
$query = odbc_exec($conn, "SELECT * FROM Customers");
  

結果の処理

odbc_fetch_array ファンクションの結果セット配列としてアクセスします。

$conn = odbc_connect("CData SparkSQL Source","user","password");
$query = odbc_exec($conn, "SELECT * FROM Customers");
while($row = odbc_fetch_array($query)){
 echo $row["City"] . "\n";
}

odbc_result_all ファンクションで、結果セットをHTML テーブルとして表示します。

$conn = odbc_connect("CData SparkSQL Sourcee","user","password");
$query = odbc_prepare($conn, "SELECT * FROM Customers WHERE Country = ?");
$success = odbc_execute($query, array('US'));
if($success)
  odbc_result_all($query);

サンプルクエリのテスト

スタンドアロンのテスト環境をたちあげる簡単な方法はPHP のビルトインテストサーバーを使うことです。やっていきましょう。

1. PHP の最新版のバイナリのダウンロード。

2. フォルダにファイルを入れる。

3. フォルダを開く。

4. php.ini-development をphp.ini に変更。

5. ブラウザからテストスクリプトにアクセスするためのコマンドを実行。

   php -S localhost:8000 -t C:\path-to-your-scripts -c C:\path-to-php\php.ini
   

他のサンプルクエリ

サポートされているSQL の詳細は、ヘルプドキュメントを参照してください。上記のサンプルは、PHP のコミュニティドキュメントを参考に、Spark 向けに最適化したものです。

Spark からPHP へのデータ連携には、ぜひCData ODBC ドライバをご利用ください

このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。