Apache NiFi で IBM Cloud Object Storage に接続

Dibyendu Datta
Dibyendu Datta
Lead Technology Evangelist
CData JDBC Driver を使用して Apache NiFi で IBM Cloud Object Storage のデータ にアクセスして処理できます。

Apache NiFi は、強力かつスケーラブルなデータルーティング、変換、システム間連携ロジックの有向グラフをサポートしています。CData JDBC Driver for IBM Cloud Object Storage と組み合わせることで、NiFi からリアルタイムのIBM Cloud Object Storage のデータ を操作できます。この記事では、Apache NiFi Flow からIBM Cloud Object Storage のデータ に接続してクエリを実行する方法を説明します。

CData JDBC Driver は、最適化されたデータ処理機能が組み込まれており、リアルタイムのIBM Cloud Object Storage のデータ とのやり取りにおいて比類のないパフォーマンスを提供します。複雑なSQL クエリをIBM Cloud Object Storage に発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作を直接IBM Cloud Object Storage にプッシュし、サポートされていない操作（多くの場合SQL 関数やJOIN 操作）は組み込みのSQL エンジンでクライアント側に処理します。また、組み込みの動的メタデータクエリにより、ネイティブのデータ型を使用してIBM Cloud Object Storage のデータ を操作・分析できます。

Apache NiFi でIBM Cloud Object Storage のデータ に接続

  1. CData JDBC Driver for IBM Cloud Object Storage のインストーラーをダウンロードし、パッケージを解凍して、.exe ファイルを実行してドライバーをインストールします。

  2. CData JDBC Driver のJAR ファイル（およびライセンスファイルがある場合はそれも）、cdata.jdbc.ibmcloudobjectstorage.jar（および cdata.jdbc.ibmcloudobjectstorage.lic）を Apache NiFi の lib サブフォルダにコピーします（例：C:\nifi-1.3.0-bin\nifi-1.3.0\lib）。

    Windows では、CData JDBC Driver のデフォルトのインストール場所は C:\Program Files\CData\CData JDBC Driver for IBM Cloud Object Storage です。

  3. bin サブフォルダにある run-nifi.bat ファイルを実行して Apache NiFi を起動します（例：C:\nifi-1.3.0-bin\nifi-1.3.0\bin）。

    （または）

    コマンドプロンプトで対象のディレクトリに移動し、run-nifi.bat ファイルを実行します： 

    cd C:\nifi-1.3.0-bin\nifi-1.3.0\bin
.\run-nifi.bat

  4. Web ブラウザで Apache NiFi の UI に移動します：https://localhost:8443/nifi でアクセスできます。

    注意：古いバージョンの Apache NiFi を使用している場合は、http://localhost:8080/nifi からアクセスする必要があります。以前のバージョンでは HTTP プロトコルが使用されていましたが、最新バージョンでは HTTPS が標準になっています。デフォルトでは、HTTP はポート 8080 で動作し、HTTPS はポート 8443 を使用します。

  5. URL から Apache NiFi にアクセスすると、ログイン用のユーザー名とパスワードの入力を求められます。

    ログイン資格情報を取得するには、NiFi のインストールディレクトリ内の log ディレクトリにある「App.log」ファイルを確認してください。このファイルには通常、NiFi インターフェースにアクセスするために必要な情報が含まれています。

  6. NiFi Flow のワークスペースを右クリックし、「Controller Services」をクリックします。
  7. ボタンをクリックして、新しいコントローラーサービスを作成します。
  8. Controller Services セクションで、新しく作成した「DBCPConnection Pool」を見つけ、メニュー（）から「Edit」をクリックして新しい接続を設定します。

  9. 以下のプロパティを入力します：

    • Database Connection URL：jdbc:ibmcloudobjectstorage:ApiKey=myApiKey;CloudObjectStorageCRN=MyInstanceCRN;Region=myRegion;OAuthClientId=MyOAuthClientId;OAuthClientSecret=myOAuthClientSecret;
    • Database Driver Class Name：cdata.jdbc.ibmcloudobjectstorage.IBMCloudObjectStorageDriver
    • Database Driver Location(s)：Apache NiFi の lib フォルダへのパス（JAR ファイルが配置されている場所）。

    組み込みの接続文字列デザイナー

    JDBC URL の構築には、IBM Cloud Object Storage JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。

    java -jar cdata.jdbc.ibmcloudobjectstorage.jar

    接続プロパティを入力し、接続文字列をクリップボードにコピーします。

    Cloud Object Storage 接続プロパティの取得・設定方法

    Cloud Object Storage に接続する前に、Cloud Object Storage インスタンスを登録してCloud Object Storage API キーとCRN を取得していきます。

    Cloud Object Storage の新規インスタンスの登録

    IBM Cloud アカウントにCloud Object Storage がまだない場合は、以下の手順に従ってアカウントにSQL Query のインスタンスをインストールできます。

    1. IBM Cloud アカウントにログインします。
    2. Cloud Object Storage ページに移動して、インスタンス名を指定して「作成」をクリックします。Cloud Object Storage の新規インスタンスにリダイレクトされます。

    API キー

    API キーは以下の手順で取得できます。

    1. まずは、IBM Cloud アカウントにログインします。
    2. API キーページに移動します。
    3. 中央右隅のIBM Cloud APIキーの作成 をクリックして、新しいAPI キーを作成します。
    4. ポップアップウィンドウが表示されたら、API キーの名前を指定して作成をクリックします。ダッシュボードからはアクセスできなくなるため、API Key を控えておきましょう。

    Cloud Object Storage CRN

    デフォルトでは、CData 製品はCloud Object Storage CRN を自動で取得します。ただし、複数のアカウントがある場合は、CloudObjectStorageCRN を明示的に指定する必要があります。この値は、次の2つの方法で取得できます。

    • Services ビューをクエリする。これにより、IBM Cloud Object Storage インスタンスとそれぞれのCRN がリストされます。
    • IBM Cloud で直接CRN を見つける。これを行うには、IBM Cloud のダッシュボードに移動します。リソースリストで、ストレージからCloud Object Storage リソースを選択してCRN を取得します。

    IBM Cloud Object Storage への接続

    これで準備は完了です。以下の接続プロパティを設定してください。

    • InitiateOAuth：GETANDREFRESH に設定。InitiateOAuth を使うと、OAuth 認証を繰り返す必要がなく、さらに自動でアクセストークンを設定できます。
    • ApiKey：セットアップ中に控えたAPI キーを指定。
    • CloudObjectStorageCRN（オプション）：控えておいたCloud Object Storage のCRN に設定。Cloud Object Storage アカウントが複数ある場合のみ設定する必要があります。

    プロパティを設定したら、これで接続設定は完了です。

  10. Controller Services セクションで、新しく作成した DBCPConnection Pool を見つけ、メニュー（）から「Enable」をクリックして新しい接続を有効にします。
  11. 「Enable Controller Service」ウィンドウで、Scope を「Service and referencing components」に設定します。
  12. 接続を確立し、SELECT クエリを実行するには、プロセッサー（黄色でハイライトされている部分）をワークスペースにドラッグ＆ドロップします。
  13. 「ExecuteSQL」プロセッサーを選択し、「Add」ボタンをクリックしてワークスペースに表示させます。
  14. 追加したプロセッサー（ExecuteSQL）をダブルクリックして、接続ページを開きます。
  15. Properties セクションで、必要な情報を入力します。Database Connection Pooling Service を作成した DBCPConnectionPool に一致させ、SQL select query セクションに実行したい SQL クエリを設定してください。
  16. Relationships に移動し、実行プロセスの成功時と失敗時にコンポーネントがどのように処理を進めるかのオプションを選択してください。
  17. ExecuteSQL コンポーネントを有効にするには、それを選択して Operation セクションの「Enable」をクリックするか、右クリックして「Enable」を選択します。

これでIBM Cloud Object Storage のデータ が Apache NiFi で使用できるようになりました。たとえば、DBCPConnection Pool を QueryDatabaseTable プロセッサーのソースとして使用できます（以下に表示）。

30日間の無料トライアルをダウンロードして、Apache NiFi でリアルタイムのIBM Cloud Object Storage のデータ を操作してみてください。ご不明な点は、サポートチームまでお気軽にお問い合わせください。

はじめる準備はできましたか？

IBM Cloud Object Storage Driver の無料トライアルをダウンロードしてお試しください：

 ダウンロード

詳細：

IBM Cloud Object Storage Icon IBM Cloud Object Storage JDBC Driver お問い合わせ

IBM Cloud Object Storage データに連携するJava アプリケーションを素早く、簡単に開発できる便利なドライバー。

この記事の内容

関連記事