Informatica Enterprise Data Catalog で Azure Data Lake Storage のデータ を追加

Informatica は、データの転送と変換を行うための強力で洗練された手段を提供します。CData JDBC Driver for Azure Data Lake Storage を使用すると、業界標準に準拠したドライバーを通じて Informatica Enterprise Data Catalog とシームレスに連携できます。このチュートリアルでは、あらゆる環境で Azure Data Lake Storage データを分類・整理する方法を説明します。

JDBC ドライバーのロード

JDBC ドライバーをロードするには：

1. Informatica が動作しているホストに JDBC ドライバーをインストールします。この記事では、ドライバーが cdata.jdbc.adls.ADLSDriver にインストールされていることを前提としています。

$ java -jar setup.jar

2. JDBC インストールディレクトリに移動し、ドライバーとそのライセンスファイルを含む genericJDBC.zip という名前の zip ファイルを作成します。

$ cd ~/cdata-jdbc-driver-for-adls/lib
$ zip genericJDBC.zip cdata.jdbc.adls.jar cdata.jdbc.adls.lic

3. genericJDBC.zip ファイルを Informatica 内の Catalog Service ディレクトリに移動します。この記事では、Informatica が /opt/informatica にインストールされていることを前提としています。このフォルダでの作業には、おそらく root 権限が必要です。続行する前に、su または sudo で root に切り替えてください。

# mv genericJDBC.zip /opt/informatica/services/CatalogService/ScannerBinaries

4. zip ファイルを展開するために、カスタムデプロイメント設定を編集します。

# cd /opt/informatica/services/CatalogService/ScannerBinaries/CustomDeployer/
# nano scannerDeployer.xml

既存の ExecutionContextProperty ノードを展開した後、以下の内容で新しい ExecutionContextProperty ノードを追加します。

<ExecutionContextProperty
    isLocationProperty="true"
    dependencyToUnpack="genericJDBC.zip">
<PropertyName>JDBCScanner_DriverLocation</PropertyName>
<PropertyValue>scanner_miti/genericJDBC/Drivers</PropertyValue>
</ExecutionContextProperty>

5. Admin コンソールから Catalog Service をリフレッシュします。

JDBC リソースの設定

JDBC リソースを設定するには：

1. Catalog 管理画面を開き、以下のプロパティで新しい JDBC リソースを追加します：
• Driver Class: cdata.jdbc.adls.ADLSDriver
• URL: jdbc.adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;

Azure Data Lake Storage 接続プロパティの取得・設定方法

Azure Data Lake Storage Gen2 への接続

それでは、Gen2 Data Lake Storage アカウントに接続していきましょう。接続するには、以下のプロパティを設定します。

• Account：ストレージアカウントの名前
• FileSystem：このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前
• Directory（オプション）：レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます

Azure Data Lake Storage Gen2への認証

続いて、認証方法を設定しましょう。CData 製品では、5つの認証方法をサポートしています：アクセスキー（AccessKey）の使用、共有アクセス署名（SAS）の使用、Azure Active Directory OAuth（AzureAD）経由、Azure サービスプリンシパル（AzureServicePrincipal またはAzureServicePrincipalCert）経由、およびManaged Service Identity（AzureMSI）経由です。

アクセスキー

アクセスキーを使用して接続するには、まずADLS Gen2ストレージアカウントで利用可能なアクセスキーを取得する必要があります。

Azure ポータルでの手順は以下のとおりです：

1. ADLS Gen2ストレージアカウントにアクセスします
2. 設定でアクセスキーを選択します
3. 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします

接続の準備ができたら、以下のプロパティを設定してください。

• AuthScheme：AccessKey
• AccessKey：先ほどAzure ポータルで取得したアクセスキーの値

共有アクセス署名（SAS）

共有アクセス署名を使用して接続するには、まずAzure Storage Explorer ツールを使用して署名を生成する必要があります。

接続の準備ができたら、以下のプロパティを設定してください。

• AuthScheme：SAS
• SharedAccessSignature：先ほど生成した共有アクセス署名の値

その他の認証方法については、 href="/kb/help/" target="_blank">ヘルプドキュメントの「Azure Data Lake Storage Gen2への認証」セクションをご確認ください。

組み込みの接続文字列デザイナー

JDBC URL の構築については、Azure Data Lake Storage JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。.jar ファイルをダブルクリックするか、コマンドラインから .jar ファイルを実行します。

java -jar cdata.jdbc.adls.jar

接続プロパティを入力し、接続文字列をクリップボードにコピーします。



JDBC URL を設定する際に、Max Rows 接続プロパティも設定することをお勧めします。これにより返される行数が制限され、レポートやビジュアライゼーションの設計時にパフォーマンスを向上させることができます。

一般的な追加の接続文字列プロパティは以下のとおりです：

JDBC;MSTR_JDBC_JAR_FOLDER=PATH\TO\JAR\;DRIVER=cdata.jdbc.adls.ADLSDriver;URL={jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;};

2. Username: user
3. Password: password

Username と Password プロパティは、使用するドライバーが必要としない場合でも必須です。その場合は、代わりにプレースホルダー値を入力してください。


4. 少なくとも1つのソースメタデータスキャンを実行するために、メタデータオプションを設定します。このスキャンでは、ドライバーを使用してサービス経由で利用可能なテーブル、ビュー、ストアドプロシージャを特定します。
• Source Metadata: このオプションを有効にします。
• Catalog: マルチカタログのデータソースの場合は、適切なカタログに設定します。それ以外の場合は、CData に設定します。
• Schema: マルチスキーマのデータソースの場合は、適切なスキーマに設定します。それ以外の場合は、サービス名（例：Couchbase）に設定します。
• Case-sensitivity: 通常、このオプションは無効にしてください。大文字と小文字を区別するデータソースの場合のみ有効にします。
• Import stored procedures: テーブルやビューに加えてストアドプロシージャの定義もインポートしたい場合は、これを有効にします。


必要に応じて、他のメタデータスキャナーも有効にできます。

5. ドライバーの設定を完了し、オプションでカスタム属性とスキャナースケジュールを設定します。
6. Monitoring タブに移動し、Run をクリックしてメタデータスキャンを実行します。データソースによっては、数分かかる場合があります。

スキャンが完了すると、すべてのメタデータオブジェクトの概要と Metadata Load ジョブのステータスが表示されます。エラーが発生した場合は、ジョブの Log Location リンクを開いて、Informatica またはドライバーが報告したエラーを確認できます。

検出されたメタデータの確認

Catalog Service ブラウザを開いて、データソースから抽出されたメタデータを表示します。メタデータスキャナーの設定時に選択したオプションに応じて、定義したリソースのテーブル、ビュー、ストアドプロシージャの任意の組み合わせが表示されます。