HULFT Integrate で IBM Cloud Object Storage のデータ に接続
HULFT Integrate は、ドラッグ&ドロップのユーザーインターフェースでコーポレーションフロー、データ変換、処理を簡単に作成できる最新のデータ連携プラットフォームです。CData JDBC Driver for IBM Cloud Object Storage と組み合わせることで、HULFT Integrate からリアルタイムの IBM Cloud Object Storage のデータ を扱うことができます。この記事では、IBM Cloud Object Storage への接続方法と、データを CSV ファイルに出力する手順をご紹介します。
CData JDBC ドライバーは、最適化されたデータ処理機能を備えており、リアルタイムの IBM Cloud Object Storage のデータ との連携において比類のないパフォーマンスを発揮します。IBM Cloud Object Storage に対して複雑な SQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされている SQL 操作を直接 IBM Cloud Object Storage にプッシュし、サポートされていない操作(主に SQL 関数や JOIN 操作)は内蔵の SQL エンジンでクライアント側で処理します。また、動的なメタデータクエリ機能により、ネイティブなデータ型を使用して IBM Cloud Object Storage のデータ を操作・分析できます。
IBM Cloud Object Storage へのアクセスを有効化
HULFT Integrate プロジェクトから IBM Cloud Object Storage のデータ へのアクセスを有効にするには、以下の手順で設定します:
- CData JDBC Driver の JAR ファイル(およびライセンスファイルがある場合はそれも)、cdata.jdbc.ibmcloudobjectstorage.jar(および cdata.jdbc.ibmcloudobjectstorage.lic)を、Integrate Server の jdbc_adapter サブフォルダにコピーします
- HULFT Integrate Server を再起動し、HULFT Integrate Studio を起動します
IBM Cloud Object Storage のデータ にアクセスするプロジェクトの作成
JAR ファイルをコピーしたら、IBM Cloud Object Storage のデータ にアクセスするプロジェクトを作成できます。まず、Integrate Studio を開いて新しいプロジェクトを作成しましょう。
- プロジェクト名を入力します
- 「スクリプトを作成」チェックボックスがオンになっていることを確認します
- 「次へ」をクリックします
- スクリプト名を入力します(例:IBMCloudObjectStoragetoCSV)
プロジェクトを作成したら、IBM Cloud Object Storage のデータ を CSV ファイルにコピーするためのコンポーネントをスクリプトに追加します。
Execute Select SQL コンポーネントの設定
ツールパレット(Database -> JDBC)から「Execute Select SQL」コンポーネントをスクリプトワークスペースにドラッグします。
- 「必須設定」タブの接続先で、「追加」をクリックして IBM Cloud Object Storage 用の新しい接続を作成します。以下のプロパティを設定します:
- 名前:IBM Cloud Object Storage Connection Settings
- ドライバークラス名:cdata.jdbc.ibmcloudobjectstorage.IBMCloudObjectStorageDriver
- URL:jdbc:ibmcloudobjectstorage:ApiKey=myApiKey;CloudObjectStorageCRN=MyInstanceCRN;Region=myRegion;OAuthClientId=MyOAuthClientId;OAuthClientSecret=myOAuthClientSecret;
組み込みの接続文字列デザイナー
JDBC URL の構築には、IBM Cloud Object Storage JDBC Driver に組み込まれている接続文字列デザイナーをご利用ください。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行します。
java -jar cdata.jdbc.ibmcloudobjectstorage.jar
接続プロパティを入力し、接続文字列をクリップボードにコピーします。
Cloud Object Storage 接続プロパティの取得・設定方法
Cloud Object Storage に接続する前に、Cloud Object Storage インスタンスを登録してCloud Object Storage API キーとCRN を取得していきます。
Cloud Object Storage の新規インスタンスの登録
IBM Cloud アカウントにCloud Object Storage がまだない場合は、以下の手順に従ってアカウントにSQL Query のインスタンスをインストールできます。
- IBM Cloud アカウントにログインします。
- Cloud Object Storage ページに移動して、インスタンス名を指定して「作成」をクリックします。Cloud Object Storage の新規インスタンスにリダイレクトされます。
API キー
API キーは以下の手順で取得できます。
- まずは、IBM Cloud アカウントにログインします。
- API キーページに移動します。
- 中央右隅のIBM Cloud APIキーの作成 をクリックして、新しいAPI キーを作成します。
- ポップアップウィンドウが表示されたら、API キーの名前を指定して作成をクリックします。ダッシュボードからはアクセスできなくなるため、API Key を控えておきましょう。
Cloud Object Storage CRN
デフォルトでは、CData 製品はCloud Object Storage CRN を自動で取得します。ただし、複数のアカウントがある場合は、CloudObjectStorageCRN を明示的に指定する必要があります。この値は、次の2つの方法で取得できます。
- Services ビューをクエリする。これにより、IBM Cloud Object Storage インスタンスとそれぞれのCRN がリストされます。
- IBM Cloud で直接CRN を見つける。これを行うには、IBM Cloud のダッシュボードに移動します。リソースリストで、ストレージからCloud Object Storage リソースを選択してCRN を取得します。
IBM Cloud Object Storage への接続
これで準備は完了です。以下の接続プロパティを設定してください。
- InitiateOAuth:GETANDREFRESH に設定。InitiateOAuth を使うと、OAuth 認証を繰り返す必要がなく、さらに自動でアクセストークンを設定できます。
- ApiKey:セットアップ中に控えたAPI キーを指定。
- CloudObjectStorageCRN(オプション):控えておいたCloud Object Storage のCRN に設定。Cloud Object Storage アカウントが複数ある場合のみ設定する必要があります。
プロパティを設定したら、これで接続設定は完了です。
- SQL ステートメントを記述します。例:
SELECT Key, Etag FROM Objects
- 「抽出テスト」をクリックして、接続とクエリが正しく設定されていることを確認します
- 「SQL を実行して出力スキーマを設定」をクリックします
- 「完了」をクリックします
Write CSV File コンポーネントの設定
ツールパレット(File -> CSV)から「Write CSV File」コンポーネントをワークスペースにドラッグします。
- クエリ結果を書き込むファイルを設定します(例:Objects.csv)
- 「入力データ」を「Select SQL」コンポーネントに設定します
- SQL クエリで選択した各フィールドのカラムを追加します
- 「書き込み設定」タブで、「最初の行にカラム名を挿入する」チェックボックスをオンにします
- 「完了」をクリックします
IBM Cloud Object Storage フィールドを CSV カラムにマッピング
「Select」コンポーネントの各カラムを、「CSV」コンポーネントの対応するカラムにマッピングします。
スクリプトの完成
「Start」コンポーネントを「Select」コンポーネントに、「CSV」コンポーネントを「End」コンポーネントにドラッグして接続します。スクリプトをビルドして実行すると、IBM Cloud Object Storage のデータ が CSV ファイルに出力されます。
CData JDBC Driver for IBM Cloud Object Storageの30日間の無償トライアルをダウンロードして、HULFT Integrate でリアルタイムの IBM Cloud Object Storage のデータ を活用してみてください。ご不明な点があれば、サポートチームまでお気軽にお問い合わせください。