Google Data Fusion で AlloyDB に連携した ETL プロセスを作成

Google Data Fusion を使用すると、セルフサービス型のデータ連携を行い、異なるデータソースを統合できます。CData JDBC Driver for AlloyDB をアップロードすることで、Google Data Fusion のパイプライン内から AlloyDB のデータ にリアルタイムでアクセスできるようになります。CData JDBC Driver を使用すると、AlloyDB のデータ を Google Data Fusion でネイティブにサポートされている任意のデータソースにパイプできますが、この記事では、AlloyDB から Google BigQuery へデータをパイプする方法を説明します。

CData JDBC Driver for AlloyDB を Google Data Fusion にアップロード

CData JDBC Driver for AlloyDB を Google Data Fusion インスタンスにアップロードして、AlloyDB のデータ にリアルタイムでアクセスしましょう。Google Data Fusion では JDBC ドライバーの命名規則に制限があるため、JAR ファイルを driver-version.jar という形式に合わせてコピーまたはリネームしてください。例：cdataalloydb-2020.jar

1. Google Data Fusion インスタンスを開きます
2. をクリックしてエンティティを追加し、ドライバーをアップロードします
3. "Upload driver" タブで、リネームした JAR ファイルをドラッグまたは参照します。
4. "Driver configuration" タブで以下を設定します：
   • Name: ドライバーの名前（cdata.jdbc.alloydb）を作成し、メモしておきます
   • Class name: JDBC クラス名を設定します：（cdata.jdbc.alloydb.AlloyDBDriver）
   
5. "Finish" をクリックします

Google Data Fusion で AlloyDB のデータ に接続

JDBC Driver をアップロードしたら、Google Data Fusion のパイプラインで AlloyDB のデータ にリアルタイムでアクセスできます。

1. Pipeline Studio に移動して、新しいパイプラインを作成します
2. "Source" オプションから "Database" をクリックして、JDBC Driver 用のソースを追加します
3. Database ソースの "Properties" をクリックしてプロパティを編集します

   NOTE：Google Data Fusion で JDBC Driver を使用するには、ライセンス（製品版またはトライアル）とランタイムキー（RTK）が必要です。ライセンス（またはトライアル）の取得については、CData までお問い合わせください。

   • Label を設定します
   • Reference Name を将来の参照用の値に設定します（例：cdata-alloydb）
   • Plugin Type を "jdbc" に設定します
   • Connection String を AlloyDB の JDBC URL に設定します。例：
     
     jdbc:alloydb:RTK=5246...;User=alloydb;Password=admin;Database=alloydb;Server=127.0.0.1;Port=5432

     AlloyDB 接続プロパティの取得・設定方法

     AlloyDB に接続するには、次の接続プロパティが必要です。

     • Server：AlloyDB データベースをホスティングしているサーバーのホスト名またはIP アドレス。
     • Port（オプション）：AlloyDB データベースをホスティングしているサーバーのポート。このプロパティはデフォルトで5432に設定されます。
     • User：AlloyDB サーバーに認証する際に使われるユーザー。
     • Password：AlloyDB サーバーに認証する際に使われるパスワード。
     • Database（オプション）：AlloyDB サーバーに接続する場合のデータベース。設定されていない場合は、ユーザーのデフォルトデータベースが使用されます。

     AlloyDB への認証

     標準認証

     標準認証（事前に提供されたユーザーとパスワードの組み合わせを使用）は、デフォルトの認証形式です。

     標準認証で接続する場合は、これ以上のアクションは必要ありません。

     pg_hba.conf 認証スキーム

     CData 製品がサポートしている他の認証方法では、AlloyDB サーバー上のpg_hba.conf ファイルで有効化する必要があります。

     AlloyDB サーバーでの認証の設定については、こちらを参照してください。

     MD5

     pg_hba.conf ファイルのauth-method をmd5 に設定すると、MD5 パスワード検証を使用して認証できます。

     SASL

     CData 製品は、SASL（特にSCRAM-SHA-256）でパスワードを検証することで認証できます。

     この認証方法を使用するには、pg_hba.conf ファイルのauth-method をscram-sha-256 に設定します。

     Kerberos

     Kerberos 認証は、CData 製品が接続を試行している際にAlloyDB サーバーで開始されます。この認証方法を有効化するには、AlloyDB サーバーでKerberos を設定します。AlloyDB サーバーでのKerberos 認証の設定を完了したら、CData 製品からKerberos 認証を行う方法については、ヘルプドキュメントの「Kerberos の使用」セクションを参照してください。

     ビルトイン接続文字列デザイナー

     JDBC URL の作成には、AlloyDB JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。

           java -jar cdata.jdbc.alloydb.jar
           

     接続プロパティを入力し、接続文字列をクリップボードにコピーします。

     
   • Import Query を AlloyDB から取得したいデータを抽出する SQL クエリに設定します。例：
     SELECT * FROM Orders
   
4. "Sink" タブから、同期先シンクを追加します（この例では Google BigQuery を使用します）
5. BigQuery シンクの "Properties" をクリックしてプロパティを編集します
   • Label を設定します
   • Reference Name を alloydb-bigquery のような値に設定します
   • Project ID を特定の Google BigQuery プロジェクト ID に設定します（またはデフォルトの "auto-detect" のままにします）
   • Dataset を特定の Google BigQuery データセットに設定します
   • Table を AlloyDB のデータ を挿入するテーブル名に設定します
   

Source と Sink を設定すると、AlloyDB のデータ を Google BigQuery にパイプする準備が整います。パイプラインを保存してデプロイしてください。パイプラインを実行すると、Google Data Fusion が AlloyDB からリアルタイムデータをリクエストし、Google BigQuery にインポートします。

これはシンプルなパイプラインの例ですが、変換、分析、条件などを使用してより複雑な AlloyDB パイプラインを作成できます。CData JDBC Driver for AlloyDB の 30日間の無償トライアルをダウンロードして、今すぐ Google Data Fusion で AlloyDB のデータ をリアルタイムで活用しましょう。