Pentaho Data Integration でGoogle Data Catalog のデータを連携

CData JDBC Driver for Google Data Catalog を使用すると、データパイプラインからリアルタイムデータにアクセスできます。Pentaho Data Integration は、ETL（Extraction, Transformation, and Loading）エンジンであり、データをクレンジングし、アクセス可能な統一フォーマットでデータを格納します。この記事では、Google Data Catalog のデータ に JDBC データソースとして接続し、Pentaho Data Integration で Google Data Catalog のデータ をベースにしたジョブやトランスフォーメーションを構築する方法を説明します。

Google Data Catalog への接続を設定

Google Data Catalog 接続プロパティの取得・設定方法

認証プロパティを追加する前に、次の接続プロパティを設定してください。

• OrganizationId：接続するGoogle Cloud Platform の組織リソースに関連付けられたID。これはGCP コンソールに移動して確認してください。 「プロジェクト」ドロップダウンメニューを開き、リストから組織へのリンクをクリックします。このページから組織ID を取得できます。
• ProjectId：接続するGCP のプロジェクトリソースに関連付けられたID。GCP コンソールのダッシュボードに移動し、「プロジェクトを選択」のメニューからお好みのプロジェクトを選択して確認してください。プロジェクトID は、「プロジェクト情報」項目に表示されます。

Google Data Catalog への認証

CData 製品は、認証にユーザーアカウント、サービスアカウント、およびGCP インスタンスアカウントの使用をサポートします。

OAuth の設定方法については、ヘルプドキュメントの「OAuth」セクションを参照してください。

組み込みの接続文字列デザイナー

JDBC URL の構築を支援するには、Google Data Catalog JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行します。

java -jar cdata.jdbc.googledatacatalog.jar

接続プロパティを設定し、接続文字列をクリップボードにコピーします。

JDBC URL を設定する際には、Max Rows 接続プロパティの設定も検討してください。これにより返される行数が制限され、レポートやビジュアライゼーションの設計時にパフォーマンスを向上させることができます。

一般的な JDBC URL は次のようになります：

jdbc:googledatacatalog:ProjectId=YourProjectId;

接続文字列を保存して、Pentaho Data Integration で使用します。

Pentaho DI から Google Data Catalog に接続

Pentaho Data Integration を開き、「Database Connection」を選択して CData JDBC Driver for Google Data Catalog への接続を設定します。

1. 「General」をクリックします。
2. Connection name を設定します（例：Google Data Catalog Connection）。
3. Connection type を「Generic database」に設定します。
4. Access を「Native (JDBC)」に設定します。
5. Custom connection URL に Google Data Catalog の接続文字列を設定します（例：
   

   jdbc:googledatacatalog:ProjectId=YourProjectId;

   ）。
6. Custom driver class name を「cdata.jdbc.googledatacatalog.GoogleDataCatalogDriver」に設定します。
7. 接続をテストし、「OK」をクリックして保存します。

Google Data Catalog のデータパイプラインを作成

CData JDBC Driver を使用して Google Data Catalog への接続が設定されたら、新しいトランスフォーメーションまたはジョブを作成する準備が整いました。

1. 「File」>>「New」>>「Transformation/job」をクリックします。
2. 「Table input」オブジェクトをワークフローパネルにドラッグし、Google Data Catalog 接続を選択します。
3. 「Get SQL select statement」をクリックし、Database Explorer を使用して利用可能なテーブルとビューを表示します。
4. テーブルを選択し、必要に応じてデータをプレビューして確認します。

ここから、適切な同期先を選択し、レプリケーション中にデータを変更、フィルタリング、その他の処理を行うトランスフォーメーションを追加することで、トランスフォーメーションまたはジョブを続行できます。

無料トライアルと詳細情報

CData JDBC Driver for Google Data Catalog の 30日間無料トライアルをダウンロードして、Pentaho Data Integration で Google Data Catalog のデータ のリアルタイムデータを今すぐ活用しましょう。