Denodo Platform で BigQuery のデータ に接続

Jerod Johnson
Jerod Johnson
Senior Technology Evangelist
CData ドライバーを使用して、Denodo Virtual DataPort Administrator で BigQuery のデータ 用の仮想データソースを作成する方法を説明します。

Denodo Platform は、エンタープライズデータベースのデータを統合的に扱うことができるデータ仮想化製品です。CData JDBC Driver for Google BigQuery と組み合わせることで、Denodo ユーザーは他のエンタープライズデータソースと並んでライブ BigQuery のデータ を扱うことができます。本記事では、Denodo Virtual DataPort Administrator で BigQuery 用の仮想データソースを作成する方法を解説します。

CData JDBC Driver は、最適化されたデータ処理機能を内蔵しており、ライブ BigQuery のデータ とのやり取りにおいて比類のないパフォーマンスを提供します。BigQuery に対して複雑な SQL クエリを発行すると、ドライバーはフィルターや集計などのサポートされている SQL 操作を直接 BigQuery にプッシュし、内蔵の SQL エンジンを使用してサポートされていない操作(主に SQL 関数や JOIN 操作)をクライアントサイドで処理します。また、動的メタデータクエリ機能を内蔵しているため、ネイティブデータ型を使用して BigQuery のデータ を操作・分析できます。

BigQuery データ連携について

CData は、Google BigQuery のライブデータへのアクセスと統合を簡素化します。お客様は CData の接続機能を以下の目的で活用しています:

  • OAuth、OAuth JWT、GCP インスタンスなど、すぐに使える幅広い認証スキームのサポートにより、BigQuery へのアクセスを簡素化します。
  • BigQuery と他のアプリケーション間の双方向データアクセスにより、データワークフローを強化します。
  • SQL ストアドプロシージャを通じて、ジョブの開始・取得・キャンセル、テーブルの削除、ジョブロードの挿入など、主要な BigQuery アクションを実行できます。

多くの CData のお客様は、Google BigQuery をデータウェアハウスとして使用しており、CData ソリューションを使用して、別々のソースからビジネスデータを BigQuery に移行し、包括的な分析を行っています。また、BigQuery データの分析やレポート作成に当社の接続機能を使用するお客様も多く、両方のソリューションを使用しているお客様も多数います。

CData が Google BigQuery 体験をどのように向上させるかについての詳細は、ブログ記事をご覧ください:https://jp.cdata.com/blog/what-is-bigquery


はじめに


BigQuery 仮想ポートの作成

Denodo からライブ BigQuery のデータ に接続するには、JDBC Driver の JAR ファイルを Denodo の外部ライブラリディレクトリにコピーし、Virtual DataPort Administrator ツールで新しい JDBC データソースを作成します。

  1. CData JDBC Driver for Google BigQuery インストーラーをダウンロードし、パッケージを解凍して JAR ファイルを実行してドライバーをインストールします。
  2. インストール先(通常は C:\Program Files\CData\CData JDBC Driver for Google BigQuery\lib\)から JAR ファイル(およびライセンスファイルが存在する場合はそれも)を Denodo 外部ライブラリディレクトリ(C:\Denodo\Denodo Platform\lib-external\jdbc-drivers\cdata-googlebigquery-19)にコピーします。
  3. Denodo Virtual DataPort Administrator ツールを開き、Server Explorer タブに移動します。
  4. "admin" を右クリックし、New -> Data source -> JDBC を選択します。
  5. JDBC 接続を設定します:
    • Name: 任意の名前(例: googlebigquery)
    • Database adapter: Generic
    • Driver class path: C:\Denodo\Denodo Platform\lib-external\jdbc-drivers\cdata-googlebigquery-19
    • Driver class: cdata.jdbc.googlebigquery.GoogleBigQueryDriver
    • Database URI: 必要な接続プロパティを使用して JDBC URL を設定します。例:

      jdbc:googlebigquery:DataSetId=MyDataSetId;ProjectId=MyProjectId;

      Database URI の作成方法は以下のとおりです:

      ビルトイン接続文字列デザイナー

      JDBC URL の構築には、BigQuery JDBC Driver に組み込まれた接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。

      	java -jar cdata.jdbc.googlebigquery.jar
      	

      接続プロパティを入力し、接続文字列をクリップボードにコピーします。

      BigQuery 接続プロパティの取得・設定方法

      Google BigQuery はOAuth 認証標準を使用します。個々のユーザーとしてGoogle API にアクセスするには、組み込みクレデンシャルを使うか、OAuth アプリを作成します。

      OAuth では、Google Apps ドメインのユーザーとしてサービスアカウントを使ってアクセスすることもできます。サービスカウントでの認証では、OAuth JWT を取得するためのアプリケーションを登録する必要があります。

      OAuth 値に加え、DatasetId、ProjectId を設定する必要があります。詳細はヘルプドキュメントの「はじめに」を参照してください。

  6. "Test connection" ボタンをクリックして設定を確認し、Save をクリックします。

VirtualPort Administrator ツールで BigQuery のデータ を表示

データソースを作成したら、Denodo Platform で使用する BigQuery のデータ のベースビューを作成できます。

  1. 新しく作成した VirtualPort (admin.GoogleBigQuery) で "Create base view" ボタンをクリックします。
  2. オブジェクトツリーを展開し、インポートするオブジェクト(テーブル)を選択します。
  3. "Create selected" ボタンをクリックして、BigQuery のデータ のビューを作成します。
    オプション: "Create associations from foreign keys" をクリックして、オブジェクト間のリレーションシップを定義できます。
  4. ビューが作成されたら、Server Explorer で対象テーブル(cdata_googlebigquery_orders)に移動し、選択したテーブルをダブルクリックします。
  5. 新しいタブで "Execution panel" をクリックしてクエリパネルを開きます。
  6. "Execute" タブでクエリをカスタマイズするか、デフォルトのクエリを使用します:
    SELECT * FROM cdata_googlebigquery_orders CONTEXT ('i18n'='us_est', 'cache_wait_for_load'='true')
    
  7. Execute をクリックしてデータを表示します。

ベースビューの作成後は、Denodo Platform の他のデータソースと同様にライブ BigQuery のデータ を扱うことができます。たとえば、Denodo Data Catalog で BigQuery をクエリできます。

CData JDBC Driver for Google BigQuery の 30日間無料トライアルをダウンロードして、Denodo Platform でライブ BigQuery のデータ の活用を始めましょう。ご不明な点がございましたら、サポートチーム までお問い合わせください。

はじめる準備はできましたか?

Google BigQuery Driver の無料トライアルをダウンロードしてお試しください:

 ダウンロード

詳細:

Google BigQuery Icon Google BigQuery JDBC Driver お問い合わせ

Google BigQuery データ(テーブル、データセットなど)を組み込んだパワフルなJava アプリケーションを短時間・低コストで作成して配布できます。