ColdFusion で JDBC 経由でリアルタイム BigQuery のデータをインポートしてアプリケーションを構築

Dibyendu Datta
Lead Technology Evangelist

CData JDBC Driver を使用して、ColdFusion で BigQuery のデータをインポートして活用する方法を説明します。

Adobe ColdFusion は、Web およびモバイルアプリケーションの開発プラットフォームです。独自のスクリプト言語である ColdFusion Markup Language（CFML）を使用して、データ駆動型のWeb サイトを構築したり、REST などのリモートサービスを生成したりできます。

ColdFusion と CData JDBC Driver for Google BigQueryを組み合わせると、ColdFusion の Web およびモバイルアプリケーションを BigQuery の運用データに接続できます。これにより、アプリケーションをより堅牢で完成度の高いものにできます。この記事では、 JDBC Driver を使用して、ColdFusion マークアップファイル内で BigQuery データを含むテーブルを作成する方法を説明します。

CData JDBC Driver は、最適化されたデータ処理機能を組み込んでおり、BigQuery のデータとのリアルタイム連携において圧倒的なパフォーマンスを提供します。複雑な SQL クエリを BigQuery に発行すると、ドライバーはフィルタや集計などのサポートされている SQL 操作を BigQuery に直接プッシュし、サポートされていない操作（多くの場合 SQL 関数や JOIN 操作）は組み込みの SQL エンジンがクライアント側で処理します。組み込みの動的メタデータクエリ機能により、ネイティブのデータ型を使用して BigQuery のデータを操作・分析できます。

BigQuery データ連携について

CData は、Google BigQuery のライブデータへのアクセスと統合を簡素化します。お客様は CData の接続機能を以下の目的で活用しています：

OAuth、OAuth JWT、GCP インスタンスなど、すぐに使える幅広い認証スキームのサポートにより、BigQuery へのアクセスを簡素化します。
BigQuery と他のアプリケーション間の双方向データアクセスにより、データワークフローを強化します。
SQL ストアドプロシージャを通じて、ジョブの開始・取得・キャンセル、テーブルの削除、ジョブロードの挿入など、主要な BigQuery アクションを実行できます。

多くの CData のお客様は、Google BigQuery をデータウェアハウスとして使用しており、CData ソリューションを使用して、別々のソースからビジネスデータを BigQuery に移行し、包括的な分析を行っています。また、BigQuery データの分析やレポート作成に当社の接続機能を使用するお客様も多く、両方のソリューションを使用しているお客様も多数います。

CData が Google BigQuery 体験をどのように向上させるかについての詳細は、ブログ記事をご覧ください：https://jp.cdata.com/blog/what-is-bigquery

はじめに

BigQuery への接続を設定

ColdFusion と BigQuery 間の接続を確立するには、JDBC 接続文字列が必要です。

BigQuery 接続プロパティの取得・設定方法

Google BigQuery はOAuth 認証標準を使用します。個々のユーザーとしてGoogle API にアクセスするには、組み込みクレデンシャルを使うか、OAuth アプリを作成します。

OAuth では、Google Apps ドメインのユーザーとしてサービスアカウントを使ってアクセスすることもできます。サービスカウントでの認証では、OAuth JWT を取得するためのアプリケーションを登録する必要があります。

OAuth 値に加え、DatasetId、ProjectId を設定する必要があります。詳細はヘルプドキュメントの「はじめに」を参照してください。

組み込みの接続文字列デザイナー

JDBC URL の構築をサポートするために、BigQuery JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。

java -jar cdata.jdbc.googlebigquery.jar

組み込みの接続文字列デザイナーを使用して JDBC URL を生成（bigquery の例）

データソースの追加とテーブルの作成

接続を設定したら、次の手順に従って CData JDBC Driver を ColdFusion の lib ディレクトリに追加し、新しいデータソースを追加し、接続をテストし、 ColdFusion マークアップファイルを作成して、最終的に BigQuery のデータとリアルタイムに接続し、ColdFusion Markup Language（CFML）で記述されたテーブルに表示します。

BigQuery 用の JDBC Driver と lic ファイルを「C:\Program Files\CData[product_name]\lib」から「C:\ColdFusion2021\cfusion\wwwroot\WEB-INF\lib」にコピーします。
```
            cdata.jdbc.googlebigquery.jar
            cdata.jdbc.googlebigquery.lic
        
```
注意：.lic ファイルを jar と一緒にコピーしないと、有効なライセンスがインストールされていないことを示すライセンスエラーが表示されます。これはトライアル版と製品版の両方に当てはまります。
ColdFusion 管理画面から、Data & Services を選択します。
ここで「Add New Data Source」をクリックします。データソース名は、ColdFusion の変数命名規則に従っていれば任意の名前を指定できます。 JDBC Driver の場合は「other」を選択し、「Add」ボタンをクリックします。
次に、ドライバーのプロパティを入力します。
- JDBC URL は次の形式で指定します： jdbc:googlebigquery:|connectionString|
- 一般的な接続文字列は次のようになります：
  
  jdbc:googlebigquery:DataSetId=MyDataSetId;ProjectId=MyProjectId;
- Driver Class：cdata.jdbc.googlebigquery.GoogleBigQueryDriver
- Driver Name は任意で、ColdFusion 管理コンソールでデータソースを識別するためだけに使用されます。
作成した CDataBigQueryJDBC データソースの左側にあるチェックマークをクリックして、接続をテストします。データソースが「OK」ステータスを報告すれば、使用可能な状態です。

次に、新しい ColdFusion マークアップファイル（.cfm）を作成し、ColdFusion の wwwroot ディレクトリ（「C:\ColdFusion2021\cfusion\wwwroot」）に配置します。

以下のコードでデータソースにクエリを実行します：

            
        <cfquery name="BigQueryQuery" dataSource="CDataBigQueryJDBC">
          SELECT * FROM Orders
        </cfquery>

CFTable を使用すると、HTML でテーブルを素早く出力できます：

            
          <cftable
          query = "BigQueryQuery"
          border = "1"
          colHeaders
          colSpacing = "2"
          headerLines = "2"
          HTMLTable
          maxRows = "500"
          startRow = "1">

          <cfcol header="<b>OrderName</b>" align="Left" width=2 text="OrderName"/>

          <cfcol header="<b>Freight</b>" align="Left" width=15 text="Freight"/>

          ...

        </cftable>

HTML 部分を含む完全なコードは以下のとおりです：

            
        <html>
        <head><title>CData Software | BigQuery Orders Table Demo </title></head>
        <body>
        <cfoutput>#ucase("BigQuery Orders Table Demo")#</cfoutput>
        <cfquery name="BigQueryQuery" dataSource="CDataBigQueryJDBC">

          SELECT * FROM Orders

        </cfquery>
        <cftable
          query = "BigQueryQuery"
          border = "1"
          colHeaders
          colSpacing = "2"
          headerLines = "2"
          HTMLTable
          maxRows = "500"
          startRow = "1">
          <cfcol header="<b>OrderName</b>" align="Left" width=2 text="OrderName"/>

          <cfcol header="<b>Freight</b>" align="Left" width=15 text="Freight"/>

          ...

        </cftable>
        </body>

        </html>