JDBC で BigQuery データソースから Informatica マッピングを作成

Jerod Johnson
Jerod Johnson
Senior Technology Evangelist
標準の JDBC 接続プロセスを使用して、Informatica で BigQuery データオブジェクトを作成します。JAR をコピーして接続するだけです。

Informatica は、データの転送と変換を行う強力でエレガントな手段を提供します。CData JDBC Driver for BigQuery を使用することで、業界で実績のある標準に基づいたドライバーにアクセスでき、Informatica の強力なデータ転送および操作機能とシームレスに統合できます。このチュートリアルでは、Informatica PowerCenter で BigQuery のデータ を転送および参照する方法を説明します。

BigQuery データ連携について

CData は、Google BigQuery のライブデータへのアクセスと統合を簡素化します。お客様は CData の接続機能を以下の目的で活用しています：

  • OAuth、OAuth JWT、GCP インスタンスなど、すぐに使える幅広い認証スキームのサポートにより、BigQuery へのアクセスを簡素化します。
  • BigQuery と他のアプリケーション間の双方向データアクセスにより、データワークフローを強化します。
  • SQL ストアドプロシージャを通じて、ジョブの開始・取得・キャンセル、テーブルの削除、ジョブロードの挿入など、主要な BigQuery アクションを実行できます。

多くの CData のお客様は、Google BigQuery をデータウェアハウスとして使用しており、CData ソリューションを使用して、別々のソースからビジネスデータを BigQuery に移行し、包括的な分析を行っています。また、BigQuery データの分析やレポート作成に当社の接続機能を使用するお客様も多く、両方のソリューションを使用しているお客様も多数います。

CData が Google BigQuery 体験をどのように向上させるかについての詳細は、ブログ記事をご覧ください：https://jp.cdata.com/blog/what-is-bigquery


はじめに


ドライバーのデプロイ

ドライバーを Informatica PowerCenter サーバーにデプロイするには、インストールディレクトリの lib サブフォルダにある CData JAR ファイルと .lic ファイルを、次のフォルダにコピーします：Informatica インストールディレクトリ\services\shared\jars\thirdparty。

Developer ツールで BigQuery のデータ を使用するには、インストールディレクトリの lib サブフォルダにある CData JAR ファイルと .lic ファイルを、次のフォルダにコピーする必要があります：

  • Informatica インストールディレクトリ\client\externaljdbcjars
  • Informatica インストールディレクトリ\externaljdbcjars

JDBC 接続の作成

Informatica Developer から接続するには、次の手順に従います：

  1. Connection Explorer ペインで、ドメインを右クリックし、Create a Connection をクリックします。
  2. 表示される New Database Connection ウィザードで、接続の名前と ID を入力し、Type メニューで JDBC を選択します。
  3. JDBC Driver Class Name プロパティに、次のように入力します： 
    cdata.jdbc.googlebigquery.GoogleBigQueryDriver
  4. Connection String プロパティに、BigQuery の接続プロパティを使用して JDBC URL を入力します。

    BigQuery 接続プロパティの取得・設定方法

    Google BigQuery はOAuth 認証標準を使用します。個々のユーザーとしてGoogle API にアクセスするには、組み込みクレデンシャルを使うか、OAuth アプリを作成します。

    OAuth では、Google Apps ドメインのユーザーとしてサービスアカウントを使ってアクセスすることもできます。サービスカウントでの認証では、OAuth JWT を取得するためのアプリケーションを登録する必要があります。

    OAuth 値に加え、DatasetId、ProjectId を設定する必要があります。詳細はヘルプドキュメントの「はじめに」を参照してください。

    組み込みの接続文字列デザイナー

    JDBC URL の構築には、BigQuery JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行します。

    java -jar cdata.jdbc.googlebigquery.jar

    接続プロパティを入力し、接続文字列をクリップボードにコピーします。

    一般的な接続文字列は次のとおりです：

    jdbc:googlebigquery:DataSetId=MyDataSetId;ProjectId=MyProjectId;

BigQuery テーブルの参照

ドライバー JAR をクラスパスに追加し、JDBC 接続を作成したら、Informatica で BigQuery エンティティにアクセスできます。BigQuery に接続してテーブルを参照するには、次の手順に従います：

  1. リポジトリに接続します。
  2. Connection Explorer で、接続を右クリックし、Connect をクリックします。
  3. Show Default Schema Only オプションのチェックを外します。

これで、Data Viewer で BigQuery テーブルを参照できます。テーブルのノードを右クリックし、Open をクリックします。Data Viewer ビューで、Run をクリックします。

BigQuery データオブジェクトの作成

プロジェクトに BigQuery テーブルを追加するには、次の手順に従います：

  1. BigQuery でテーブルを選択し、テーブルを右クリックして Add to Project をクリックします。
  2. 表示されるダイアログで、各リソースに対してデータオブジェクトを作成するオプションを選択します。
  3. Select Location ダイアログで、プロジェクトを選択します。

    マッピングの作成

    マッピングに BigQuery ソースを追加するには、次の手順に従います：

    1. Object Explorer で、プロジェクトを右クリックし、New -> Mapping をクリックします。
    2. BigQuery 接続のノードを展開し、テーブルのデータオブジェクトをエディターにドラッグします。
    3. 表示されるダイアログで、Read オプションを選択します。

    BigQuery カラムをフラットファイルにマッピングするには、次の手順に従います：

    1. Object Explorer で、プロジェクトを右クリックし、New -> Data Object をクリックします。
    2. Flat File Data Object -> Create as Empty -> Fixed Width を選択します。
    3. BigQuery オブジェクトのプロパティで、必要な行を選択し、右クリックして copy をクリックします。フラットファイルのプロパティに行を貼り付けます。
    4. フラットファイルデータオブジェクトをマッピングにドラッグします。表示されるダイアログで、Write オプションを選択します。
    5. クリック＆ドラッグでカラムを接続します。

    BigQuery のデータ を転送するには、ワークスペース内で右クリックし、Run Mapping をクリックします。

はじめる準備はできましたか？

Google BigQuery Driver の無料トライアルをダウンロードしてお試しください：

 ダウンロード

詳細：

Google BigQuery Icon Google BigQuery JDBC Driver お問い合わせ

Google BigQuery データ（テーブル、データセットなど）を組み込んだパワフルなJava アプリケーションを短時間・低コストで作成して配布できます。

この記事の内容

関連記事