Apache NiFi で BigQuery に接続

Dibyendu Datta
Lead Technology Evangelist

CData JDBC Driver を使用して Apache NiFi で BigQuery のデータにアクセスして処理できます。

Apache NiFi は、強力かつスケーラブルなデータルーティング、変換、システム間連携ロジックの有向グラフをサポートしています。CData JDBC Driver for Google BigQuery と組み合わせることで、NiFi からリアルタイムのBigQuery のデータを操作できます。この記事では、Apache NiFi Flow からBigQuery のデータに接続してクエリを実行する方法を説明します。

CData JDBC Driver は、最適化されたデータ処理機能が組み込まれており、リアルタイムのBigQuery のデータとのやり取りにおいて比類のないパフォーマンスを提供します。複雑なSQL クエリをBigQuery に発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作を直接BigQuery にプッシュし、サポートされていない操作（多くの場合SQL 関数やJOIN 操作）は組み込みのSQL エンジンでクライアント側に処理します。また、組み込みの動的メタデータクエリにより、ネイティブのデータ型を使用してBigQuery のデータを操作・分析できます。

BigQuery データ連携について

CData は、Google BigQuery のライブデータへのアクセスと統合を簡素化します。お客様は CData の接続機能を以下の目的で活用しています：

OAuth、OAuth JWT、GCP インスタンスなど、すぐに使える幅広い認証スキームのサポートにより、BigQuery へのアクセスを簡素化します。
BigQuery と他のアプリケーション間の双方向データアクセスにより、データワークフローを強化します。
SQL ストアドプロシージャを通じて、ジョブの開始・取得・キャンセル、テーブルの削除、ジョブロードの挿入など、主要な BigQuery アクションを実行できます。

多くの CData のお客様は、Google BigQuery をデータウェアハウスとして使用しており、CData ソリューションを使用して、別々のソースからビジネスデータを BigQuery に移行し、包括的な分析を行っています。また、BigQuery データの分析やレポート作成に当社の接続機能を使用するお客様も多く、両方のソリューションを使用しているお客様も多数います。

CData が Google BigQuery 体験をどのように向上させるかについての詳細は、ブログ記事をご覧ください：https://jp.cdata.com/blog/what-is-bigquery

はじめに

Apache NiFi でBigQuery のデータに接続

CData JDBC Driver for Google BigQuery のインストーラーをダウンロードし、パッケージを解凍して、.exe ファイルを実行してドライバーをインストールします。
CData JDBC Driver のJAR ファイル（およびライセンスファイルがある場合はそれも）、cdata.jdbc.googlebigquery.jar（および cdata.jdbc.googlebigquery.lic）を Apache NiFi の lib サブフォルダにコピーします（例：C:\nifi-1.3.0-bin\nifi-1.3.0\lib）。

Windows では、CData JDBC Driver のデフォルトのインストール場所は C:\Program Files\CData\CData JDBC Driver for Google BigQuery です。
bin サブフォルダにある run-nifi.bat ファイルを実行して Apache NiFi を起動します（例：C:\nifi-1.3.0-bin\nifi-1.3.0\bin）。

（または）

コマンドプロンプトで対象のディレクトリに移動し、run-nifi.bat ファイルを実行します：
```
cd C:\nifi-1.3.0-bin\nifi-1.3.0\bin
.\run-nifi.bat
```
Web ブラウザで Apache NiFi の UI に移動します：https://localhost:8443/nifi でアクセスできます。

注意：古いバージョンの Apache NiFi を使用している場合は、http://localhost:8080/nifi からアクセスする必要があります。以前のバージョンでは HTTP プロトコルが使用されていましたが、最新バージョンでは HTTPS が標準になっています。デフォルトでは、HTTP はポート 8080 で動作し、HTTPS はポート 8443 を使用します。
URL から Apache NiFi にアクセスすると、ログイン用のユーザー名とパスワードの入力を求められます。

ログイン資格情報を取得するには、NiFi のインストールディレクトリ内の log ディレクトリにある「App.log」ファイルを確認してください。このファイルには通常、NiFi インターフェースにアクセスするために必要な情報が含まれています。
NiFi Flow のワークスペースを右クリックし、「Controller Services」をクリックします。
ボタンをクリックして、新しいコントローラーサービスを作成します。
Controller Services セクションで、新しく作成した「DBCPConnection Pool」を見つけ、メニュー（）から「Edit」をクリックして新しい接続を設定します。
以下のプロパティを入力します：
- Database Connection URL：jdbc:googlebigquery:DataSetId=MyDataSetId;ProjectId=MyProjectId;
- Database Driver Class Name：cdata.jdbc.googlebigquery.GoogleBigQueryDriver
- Database Driver Location(s)：Apache NiFi の lib フォルダへのパス（JAR ファイルが配置されている場所）。
組み込みの接続文字列デザイナー

JDBC URL の構築には、BigQuery JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。
```
java -jar cdata.jdbc.googlebigquery.jar
```
接続プロパティを入力し、接続文字列をクリップボードにコピーします。

BigQuery 接続プロパティの取得・設定方法

Google BigQuery はOAuth 認証標準を使用します。個々のユーザーとしてGoogle API にアクセスするには、組み込みクレデンシャルを使うか、OAuth アプリを作成します。

OAuth では、Google Apps ドメインのユーザーとしてサービスアカウントを使ってアクセスすることもできます。サービスカウントでの認証では、OAuth JWT を取得するためのアプリケーションを登録する必要があります。

OAuth 値に加え、DatasetId、ProjectId を設定する必要があります。詳細はヘルプドキュメントの「はじめに」を参照してください。
Controller Services セクションで、新しく作成した DBCPConnection Pool を見つけ、メニュー（）から「Enable」をクリックして新しい接続を有効にします。
「Enable Controller Service」ウィンドウで、Scope を「Service and referencing components」に設定します。
接続を確立し、SELECT クエリを実行するには、プロセッサー（黄色でハイライトされている部分）をワークスペースにドラッグ＆ドロップします。
「ExecuteSQL」プロセッサーを選択し、「Add」ボタンをクリックしてワークスペースに表示させます。
追加したプロセッサー（ExecuteSQL）をダブルクリックして、接続ページを開きます。
Properties セクションで、必要な情報を入力します。Database Connection Pooling Service を作成した DBCPConnectionPool に一致させ、SQL select query セクションに実行したい SQL クエリを設定してください。
Relationships に移動し、実行プロセスの成功時と失敗時にコンポーネントがどのように処理を進めるかのオプションを選択してください。
ExecuteSQL コンポーネントを有効にするには、それを選択して Operation セクションの「Enable」をクリックするか、右クリックして「Enable」を選択します。