Pentaho Data Integration でIBM Cloud Object Storage のデータを連携

CData JDBC Driver for IBM Cloud Object Storage を使用すると、データパイプラインからリアルタイムデータにアクセスできます。Pentaho Data Integration は、ETL（Extraction, Transformation, and Loading）エンジンであり、データをクレンジングし、アクセス可能な統一フォーマットでデータを格納します。この記事では、IBM Cloud Object Storage のデータ に JDBC データソースとして接続し、Pentaho Data Integration で IBM Cloud Object Storage のデータ をベースにしたジョブやトランスフォーメーションを構築する方法を説明します。

IBM Cloud Object Storage への接続を設定

Cloud Object Storage 接続プロパティの取得・設定方法

Cloud Object Storage に接続する前に、Cloud Object Storage インスタンスを登録してCloud Object Storage API キーとCRN を取得していきます。

Cloud Object Storage の新規インスタンスの登録

IBM Cloud アカウントにCloud Object Storage がまだない場合は、以下の手順に従ってアカウントにSQL Query のインスタンスをインストールできます。

1. IBM Cloud アカウントにログインします。
2. Cloud Object Storage ページに移動して、インスタンス名を指定して「作成」をクリックします。Cloud Object Storage の新規インスタンスにリダイレクトされます。

API キー

API キーは以下の手順で取得できます。

1. まずは、IBM Cloud アカウントにログインします。
2. API キーページに移動します。
3. 中央右隅のIBM Cloud APIキーの作成 をクリックして、新しいAPI キーを作成します。
4. ポップアップウィンドウが表示されたら、API キーの名前を指定して作成をクリックします。ダッシュボードからはアクセスできなくなるため、API Key を控えておきましょう。

Cloud Object Storage CRN

デフォルトでは、CData 製品はCloud Object Storage CRN を自動で取得します。ただし、複数のアカウントがある場合は、CloudObjectStorageCRN を明示的に指定する必要があります。この値は、次の2つの方法で取得できます。

• Services ビューをクエリする。これにより、IBM Cloud Object Storage インスタンスとそれぞれのCRN がリストされます。
• IBM Cloud で直接CRN を見つける。これを行うには、IBM Cloud のダッシュボードに移動します。リソースリストで、ストレージからCloud Object Storage リソースを選択してCRN を取得します。

IBM Cloud Object Storage への接続

これで準備は完了です。以下の接続プロパティを設定してください。

• InitiateOAuth：GETANDREFRESH に設定。InitiateOAuth を使うと、OAuth 認証を繰り返す必要がなく、さらに自動でアクセストークンを設定できます。
• ApiKey：セットアップ中に控えたAPI キーを指定。
• CloudObjectStorageCRN（オプション）：控えておいたCloud Object Storage のCRN に設定。Cloud Object Storage アカウントが複数ある場合のみ設定する必要があります。

プロパティを設定したら、これで接続設定は完了です。

組み込みの接続文字列デザイナー

JDBC URL の構築を支援するには、IBM Cloud Object Storage JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行します。

java -jar cdata.jdbc.ibmcloudobjectstorage.jar

接続プロパティを設定し、接続文字列をクリップボードにコピーします。

JDBC URL を設定する際には、Max Rows 接続プロパティの設定も検討してください。これにより返される行数が制限され、レポートやビジュアライゼーションの設計時にパフォーマンスを向上させることができます。

一般的な JDBC URL は次のようになります：

jdbc:ibmcloudobjectstorage:ApiKey=myApiKey;CloudObjectStorageCRN=MyInstanceCRN;Region=myRegion;OAuthClientId=MyOAuthClientId;OAuthClientSecret=myOAuthClientSecret;

接続文字列を保存して、Pentaho Data Integration で使用します。

Pentaho DI から IBM Cloud Object Storage に接続

Pentaho Data Integration を開き、「Database Connection」を選択して CData JDBC Driver for IBM Cloud Object Storage への接続を設定します。

1. 「General」をクリックします。
2. Connection name を設定します（例：IBM Cloud Object Storage Connection）。
3. Connection type を「Generic database」に設定します。
4. Access を「Native (JDBC)」に設定します。
5. Custom connection URL に IBM Cloud Object Storage の接続文字列を設定します（例：
   

   jdbc:ibmcloudobjectstorage:ApiKey=myApiKey;CloudObjectStorageCRN=MyInstanceCRN;Region=myRegion;OAuthClientId=MyOAuthClientId;OAuthClientSecret=myOAuthClientSecret;

   ）。
6. Custom driver class name を「cdata.jdbc.ibmcloudobjectstorage.IBMCloudObjectStorageDriver」に設定します。
7. 接続をテストし、「OK」をクリックして保存します。

IBM Cloud Object Storage のデータパイプラインを作成

CData JDBC Driver を使用して IBM Cloud Object Storage への接続が設定されたら、新しいトランスフォーメーションまたはジョブを作成する準備が整いました。

1. 「File」>>「New」>>「Transformation/job」をクリックします。
2. 「Table input」オブジェクトをワークフローパネルにドラッグし、IBM Cloud Object Storage 接続を選択します。
3. 「Get SQL select statement」をクリックし、Database Explorer を使用して利用可能なテーブルとビューを表示します。
4. テーブルを選択し、必要に応じてデータをプレビューして確認します。

ここから、適切な同期先を選択し、レプリケーション中にデータを変更、フィルタリング、その他の処理を行うトランスフォーメーションを追加することで、トランスフォーメーションまたはジョブを続行できます。

無料トライアルと詳細情報

CData JDBC Driver for IBM Cloud Object Storage の 30日間無料トライアルをダウンロードして、Pentaho Data Integration で IBM Cloud Object Storage のデータ のリアルタイムデータを今すぐ活用しましょう。