Informatica Enterprise Data Catalog で Lakebase のデータ を追加
Informatica は、データの転送と変換を行うための強力で洗練された手段を提供します。CData JDBC Driver for Lakebase を使用すると、業界標準に準拠したドライバーを通じて Informatica Enterprise Data Catalog とシームレスに連携できます。このチュートリアルでは、あらゆる環境で Lakebase データを分類・整理する方法を説明します。
JDBC ドライバーのロード
JDBC ドライバーをロードするには:
- Informatica が動作しているホストに JDBC ドライバーをインストールします。この記事では、ドライバーが cdata.jdbc.lakebase.LakebaseDriver にインストールされていることを前提としています。
- JDBC インストールディレクトリに移動し、ドライバーとそのライセンスファイルを含む genericJDBC.zip という名前の zip ファイルを作成します。
- genericJDBC.zip ファイルを Informatica 内の Catalog Service ディレクトリに移動します。この記事では、Informatica が /opt/informatica にインストールされていることを前提としています。このフォルダでの作業には、おそらく root 権限が必要です。続行する前に、su または sudo で root に切り替えてください。
- zip ファイルを展開するために、カスタムデプロイメント設定を編集します。
- Admin コンソールから Catalog Service をリフレッシュします。
$ java -jar setup.jar
$ cd ~/cdata-jdbc-driver-for-lakebase/lib $ zip genericJDBC.zip cdata.jdbc.lakebase.jar cdata.jdbc.lakebase.lic
# mv genericJDBC.zip /opt/informatica/services/CatalogService/ScannerBinaries
# cd /opt/informatica/services/CatalogService/ScannerBinaries/CustomDeployer/ # nano scannerDeployer.xml
既存の ExecutionContextProperty ノードを展開した後、以下の内容で新しい ExecutionContextProperty ノードを追加します。
<ExecutionContextProperty
isLocationProperty="true"
dependencyToUnpack="genericJDBC.zip">
<PropertyName>JDBCScanner_DriverLocation</PropertyName>
<PropertyValue>scanner_miti/genericJDBC/Drivers</PropertyValue>
</ExecutionContextProperty>
JDBC リソースの設定
JDBC リソースを設定するには:
- Catalog 管理画面を開き、以下のプロパティで新しい JDBC リソースを追加します:
- Driver Class: cdata.jdbc.lakebase.LakebaseDriver
- URL: jdbc.lakebase:DatabricksInstance=lakebase;Server=127.0.0.1;Port=5432;Database=my_database;
- DatabricksInstance: Databricks インスタンスまたはサーバーホスト名を指定します。形式は instance-abcdef12-3456-7890-abcd-abcdef123456.database.cloud.databricks.com です。
- Server: Lakebase データベースをホストするサーバーのホスト名または IP アドレスを指定します。
- Port(オプション): Lakebase データベースをホストするサーバーのポート番号を指定します。デフォルトは 5432 です。
- Database(オプション): Lakebase サーバーへの認証後に接続するデータベースを指定します。デフォルトでは認証ユーザーのデフォルトデータベースに接続します。
- 新しいサービスプリンシパルを作成・構成する
- サービスプリンシパルに権限を割り当てる
- サービスプリンシパル用の OAuth シークレットを作成する
- AuthScheme: OAuthPKCE を指定します。
- User: 認証ユーザーのユーザー ID を指定します。
- Username: user
- Password: password
- 少なくとも1つのソースメタデータスキャンを実行するために、メタデータオプションを設定します。このスキャンでは、ドライバーを使用してサービス経由で利用可能なテーブル、ビュー、ストアドプロシージャを特定します。
- Source Metadata: このオプションを有効にします。
- Catalog: マルチカタログのデータソースの場合は、適切なカタログに設定します。それ以外の場合は、CData に設定します。
- Schema: マルチスキーマのデータソースの場合は、適切なスキーマに設定します。それ以外の場合は、サービス名(例:Couchbase)に設定します。
- Case-sensitivity: 通常、このオプションは無効にしてください。大文字と小文字を区別するデータソースの場合のみ有効にします。
- Import stored procedures: テーブルやビューに加えてストアドプロシージャの定義もインポートしたい場合は、これを有効にします。
- ドライバーの設定を完了し、オプションでカスタム属性とスキャナースケジュールを設定します。
- Monitoring タブに移動し、Run をクリックしてメタデータスキャンを実行します。データソースによっては、数分かかる場合があります。
Databricks Lakebase に接続するには、以下のプロパティを設定します。
OAuth クライアント認証
OAuth クライアント資格情報を使用して認証するには、サービスプリンシパルで OAuth クライアントを構成します。手順の概要は以下のとおりです。
詳細については、ヘルプドキュメントの「Setting Up OAuthClient Authentication」セクションをご参照ください。
OAuth PKCE 認証
PKCE(Proof Key for Code Exchange)を使用した OAuth code タイプで認証するには、以下のプロパティを設定します。
詳細については、ヘルプドキュメントをご参照ください。
組み込みの接続文字列デザイナー
JDBC URL の構築については、Lakebase JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。.jar ファイルをダブルクリックするか、コマンドラインから .jar ファイルを実行します。
java -jar cdata.jdbc.lakebase.jar
接続プロパティを入力し、接続文字列をクリップボードにコピーします。
JDBC URL を設定する際に、Max Rows 接続プロパティも設定することをお勧めします。これにより返される行数が制限され、レポートやビジュアライゼーションの設計時にパフォーマンスを向上させることができます。
一般的な追加の接続文字列プロパティは以下のとおりです:
JDBC;MSTR_JDBC_JAR_FOLDER=PATH\TO\JAR\;DRIVER=cdata.jdbc.lakebase.LakebaseDriver;URL={jdbc:lakebase:DatabricksInstance=lakebase;Server=127.0.0.1;Port=5432;Database=my_database;};
Username と Password プロパティは、使用するドライバーが必要としない場合でも必須です。その場合は、代わりにプレースホルダー値を入力してください。
必要に応じて、他のメタデータスキャナーも有効にできます。
スキャンが完了すると、すべてのメタデータオブジェクトの概要と Metadata Load ジョブのステータスが表示されます。エラーが発生した場合は、ジョブの Log Location リンクを開いて、Informatica またはドライバーが報告したエラーを確認できます。
検出されたメタデータの確認
Catalog Service ブラウザを開いて、データソースから抽出されたメタデータを表示します。メタデータスキャナーの設定時に選択したオプションに応じて、定義したリソースのテーブル、ビュー、ストアドプロシージャの任意の組み合わせが表示されます。