Dataiku からリアルタイム IBM Cloud Object Storage データを使って AI/ML モデルを構築

Dataiku は、データの準備、分析、可視化、AI/ML モデルのデプロイメントに利用されるデータサイエンスおよび機械学習プラットフォームです。チームでの協業と効率的なデータドリブンな意思決定を可能にします。CData JDBC Driver for IBM Cloud Object Storage と組み合わせることで、Dataiku は IBM Cloud Object Storage のデータ のデータ連携、データ準備、リアルタイム分析、そして信頼性の高いモデルデプロイメントをさらに強化します。

CData JDBC Driver は、最適化されたデータ処理機能を内蔵しており、リアルタイム IBM Cloud Object Storage のデータ とのやり取りにおいて比類のないパフォーマンスを発揮します。複雑な SQL クエリを IBM Cloud Object Storage に発行すると、ドライバーはフィルタや集計などのサポートされている SQL 操作を IBM Cloud Object Storage に直接プッシュし、サポートされていない操作（多くの場合、SQL 関数や JOIN 操作）は内蔵の SQL エンジンを使用してクライアント側で処理します。動的メタデータクエリ機能が組み込まれているため、ネイティブのデータ型を使って IBM Cloud Object Storage のデータ を操作・分析できます。

この記事では、Dataiku DSS（Data Science Studio）プラットフォームで CData JDBC Driver for IBM Cloud Object Storage を使って IBM Cloud Object Storage に簡単に連携する方法を紹介します。データの準備やカスタム AI/ML モデルの構築を行いましょう。

Dataiku DSS 環境の準備

このセクションでは、先に紹介した Dataiku を IBM Cloud Object Storage のデータ 向けにセットアップする方法を説明します。事前に、お使いのオペレーティングシステムに対応した Dataiku DSS（オンプレミス版）をインストールしておいてください。

CData JDBC Driver for IBM Cloud Object Storage のインストール

まず、Dataiku と同じマシンに CData JDBC Driver for IBM Cloud Object Storage をインストールします。JDBC Driver は以下のパスにインストールされます：

C:\Program Files\CData[product_name] 20xx\lib\cdata.jdbc.ibmcloudobjectstorage.jar

Dataiku DSS での JDBC Driver 接続設定

Dataiku で CData JDBC Driver を使用するには、新しい SQL データベース接続を作成し、DSS の接続設定で JDBC Driver の JAR ファイルを追加する必要があります。

1. Dataiku DSS プラットフォームにログインします。ブラウザでローカルに開きます（例：localhost:11200）。
2. プラットフォームの右上にある Navigate to other sections of Dataiku メニューをクリックし、Administration を選択します。
3. Connections タブを選択します。
4. Connections 画面で New Connections ボタンをクリックします。
5. スクロールして Other SQL databases を選択します。

6. IBM Cloud Object Storage に接続するための JDBC URL を生成します。jdbc:ibmcloudobjectstorage: で始まり、その後にセミコロン区切りの接続文字列プロパティを続けます。

   Cloud Object Storage 接続プロパティの取得・設定方法

   Cloud Object Storage に接続する前に、Cloud Object Storage インスタンスを登録してCloud Object Storage API キーとCRN を取得していきます。

   Cloud Object Storage の新規インスタンスの登録

   IBM Cloud アカウントにCloud Object Storage がまだない場合は、以下の手順に従ってアカウントにSQL Query のインスタンスをインストールできます。

   1. IBM Cloud アカウントにログインします。
   2. Cloud Object Storage ページに移動して、インスタンス名を指定して「作成」をクリックします。Cloud Object Storage の新規インスタンスにリダイレクトされます。

   API キー

   API キーは以下の手順で取得できます。

   1. まずは、IBM Cloud アカウントにログインします。
   2. API キーページに移動します。
   3. 中央右隅のIBM Cloud APIキーの作成 をクリックして、新しいAPI キーを作成します。
   4. ポップアップウィンドウが表示されたら、API キーの名前を指定して作成をクリックします。ダッシュボードからはアクセスできなくなるため、API Key を控えておきましょう。

   Cloud Object Storage CRN

   デフォルトでは、CData 製品はCloud Object Storage CRN を自動で取得します。ただし、複数のアカウントがある場合は、CloudObjectStorageCRN を明示的に指定する必要があります。この値は、次の2つの方法で取得できます。

   • Services ビューをクエリする。これにより、IBM Cloud Object Storage インスタンスとそれぞれのCRN がリストされます。
   • IBM Cloud で直接CRN を見つける。これを行うには、IBM Cloud のダッシュボードに移動します。リソースリストで、ストレージからCloud Object Storage リソースを選択してCRN を取得します。

   IBM Cloud Object Storage への接続

   これで準備は完了です。以下の接続プロパティを設定してください。

   • InitiateOAuth：GETANDREFRESH に設定。InitiateOAuth を使うと、OAuth 認証を繰り返す必要がなく、さらに自動でアクセストークンを設定できます。
   • ApiKey：セットアップ中に控えたAPI キーを指定。
   • CloudObjectStorageCRN（オプション）：控えておいたCloud Object Storage のCRN に設定。Cloud Object Storage アカウントが複数ある場合のみ設定する必要があります。

   プロパティを設定したら、これで接続設定は完了です。

   組み込みの接続文字列デザイナー

   JDBC URL の作成には、IBM Cloud Object Storage JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから実行してください。

   java -jar cdata.jdbc.ibmcloudobjectstorage.jar
   

   接続プロパティを入力し、接続文字列をクリップボードにコピーします。

   

   一般的な JDBC URL は次のようになります：

   jdbc:ibmcloudobjectstorage:ApiKey=myApiKey;CloudObjectStorageCRN=MyInstanceCRN;Region=myRegion;OAuthClientId=MyOAuthClientId;OAuthClientSecret=myOAuthClientSecret;
   

7. New SQL database (JDBC) connection 画面で、New connection name フィールドに名前を入力し、基本パラメータを指定します：
   • JDBC Driver Class：cdata.jdbc.ibmcloudobjectstorage.IBMCloudObjectStorageDriver
   • JDBC URL：前のステップで取得した JDBC 接続 URL
   • Driver jars directory：システム上で JAR ファイルがインストールされているフォルダパス
   

   次に、SQL dialect を選択します。ここでは「SQL Server」を選択しています。Create をクリックします。接続が成功すると、「Connection OK」というメッセージが表示されます。

8. Data Catalog ウィンドウが表示されます。Connection to browse、Restrict to catalog、Restrict to schema ドロップダウンから目的の接続、カタログ、スキーマを選択し、List Tables をクリックします。Dataiku プラットフォームに必要なテーブルがすべて一覧表示されます。
9. 一覧からテーブルを選択し、Preview をクリックしてテーブルデータを表示します。Close をクリックしてウィンドウを閉じます。

新しいプロジェクトの作成

Dataiku DSS プラットフォームでデータフローの準備、ダッシュボードの作成、IBM Cloud Object Storage のデータ の分析、AI/ML モデルの構築を行うには、まず新しいプロジェクトを作成する必要があります。

1. Navigate to other sections of Dataiku メニューから Projects を選択します。
2. Projects 画面で New Project をクリックし、+ Blank Project を選択します。
3. New Project ウィンドウで、Name と Project Key を入力します。Create をクリックすると、新しいプロジェクトのダッシュボードが開きます。
4. プロジェクト画面上部のメニューから Notebooks を選択します。
5. + Create Your First Notebook ドロップダウンメニューをクリックし、Write your own オプションを選択します。
6. New Notebook ウィンドウで SQL を選択します。
7. Connection ドロップダウンから必要な接続を選択し、Notebook Name フィールドに名前を入力します。

接続のテスト

IBM Cloud Object Storage 接続をテストして IBM Cloud Object Storage のデータ を分析するには、クエリコンパイラでクエリを記述し、Run をクリックします。クエリ結果やフィルタリングされた IBM Cloud Object Storage のデータ の結果が画面に表示されます。

おわりに

CData JDBC Driver for IBM Cloud Object Storage の 30日間無償トライアル をダウンロードして、Dataiku と連携し、IBM Cloud Object Storage のデータ からカスタム AI/ML モデルを簡単に構築しましょう。

ご質問があれば、お気軽に サポートチーム までお問い合わせください。