ColdFusion で ODBC 経由のSpark のデータをリアルタイムにインポートしてアプリケーションを構築

Dibyendu Datta
Lead Technology Evangelist

CData ODBC ドライバーを使って、ColdFusion でSpark のデータをインポート・活用。

Adobe ColdFusion は、Web およびモバイルアプリケーションの開発プラットフォームです。独自のスクリプト言語である ColdFusion Markup Language（CFML）を使用して、データ駆動型の Web サイトを作成したり、REST などのリモートサービスを生成したりできます。ColdFusion を CData ODBC Driver for Apache Spark と組み合わせることで、ColdFusion の Web およびモバイルアプリケーションとSpark のライブデータを連携できます。これにより、アプリケーションをより堅牢で完全なものにすることができます。この記事では、ODBC ドライバーを使って、ColdFusion マークアップファイル内でSpark のデータを取得してテーブルを作成する方法を説明します。

このチュートリアルを進めるには、CData ODBC Driver for Apache Spark と Adobe ColdFusion をインストールする必要があります。

接続の設定

まだ設定していない場合は、ODBC DSN（データソース名）で接続プロパティを指定します。これはドライバーインストールの最終ステップです。Microsoft ODBC データソースアドミニストレーターを使って ODBC DSN を作成・設定できます。

SparkSQL への接続

SparkSQL への接続を確立するには以下を指定します。

Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
Port：SparkSQL インスタンスへの接続用のポートに設定。
TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

Databricks への接続

Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

Server：Databricks クラスターのサーバーのホスト名に設定。
Port：443
TransportMode：HTTP
HTTPPath：Databricks クラスターのHTTP パスに設定。
UseSSL：True
AuthScheme：PLAIN
User：'token' に設定。
Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。

データソースの追加とテーブルの作成

DSN を作成したら、以下の手順に従って、新しいデータソースを追加し、接続をテストし、ColdFusion マークアップファイルを作成し、最後にSpark のデータをインポートして ColdFusion でテーブルに表示します。

ColdFusion 管理インターフェースから、Data & Services を選択します。
ここで「Add New Data Source」をクリックします。データソース名は、ColdFusion の変数命名規則に準拠していれば任意の名前で構いません。ODBC ドライバーの場合は「ODBC Socket」を選択し、「Add」ボタンをクリックします。
ODBC DSN ドロップダウンメニューから CData Spark Sys を選択します。Advanced Settings セクションでは、Connection String は空白のままにしておきます。なお、この入力フィールドで指定されたプロパティは、DSN 設定で指定されたものを上書きします。
次に、先ほど作成した CDataSparkODBC データソースの左側にあるチェックマークを押して、接続をテストします。データソースが「OK」ステータスを報告したら、使用する準備ができています。

次に、新しい ColdFusion マークアップファイル（.cfm）を作成し、ColdFusion の wwwroot ディレクトリ（「C:\ColdFusion2021\cfusion\wwwroot」）に配置します。

以下のコードでデータソースをクエリします：

          
      <cfquery name="SparkQuery" dataSource="CDataSparkODBC">
        SELECT * FROM Customers
      </cfquery>

CFTable を使用すると、HTML でテーブルを簡単に出力できます：

          
        <cftable
        query = "SparkQuery"
        border = "1"
        colHeaders
        colSpacing = "2"
        headerLines = "2"
        HTMLTable
        maxRows = "500"
        startRow = "1">

        <cfcol header="<b>City</b>" align="Left" width=2 text="City"/>

        <cfcol header="<b>Balance</b>" align="Left" width=15 text="Balance"/>

        ...

      </cftable>

HTML 部分を含む完全なコードは以下のとおりです：

          
      <html>
      <head><title>CData Software | Spark Customers Table Demo </title></head>
      <body>
      <cfoutput>#ucase("Spark Customers Table Demo")#</cfoutput>
      <cfquery name="SparkQuery" dataSource="CDataSparkODBC">

        SELECT * FROM Customers

      </cfquery>
      <cftable
        query = "SparkQuery"
        border = "1"
        colHeaders
        colSpacing = "2"
        headerLines = "2"
        HTMLTable
        maxRows = "500"
        startRow = "1">
        <cfcol header="<b>City</b>" align="Left" width=2 text="City"/>

        <cfcol header="<b>Balance</b>" align="Left" width=15 text="Balance"/>

        ...

      </cftable>
      </body>

      </html>