Dataiku からリアルタイム JSON データを使って AI/ML モデルを構築

Dibyendu Datta
Lead Technology Evangelist

CData JDBC Driver for JSON を使って JSON データを Dataiku に接続。

Dataiku は、データの準備、分析、可視化、AI/ML モデルのデプロイメントに利用されるデータサイエンスおよび機械学習プラットフォームです。チームでの協業と効率的なデータドリブンな意思決定を可能にします。CData JDBC Driver for JSON と組み合わせることで、Dataiku は JSON services のデータ連携、データ準備、リアルタイム分析、そして信頼性の高いモデルデプロイメントをさらに強化します。

CData JDBC Driver は、最適化されたデータ処理機能を内蔵しており、リアルタイム JSON services とのやり取りにおいて比類のないパフォーマンスを発揮します。複雑な SQL クエリを JSON に発行すると、ドライバーはフィルタや集計などのサポートされている SQL 操作を JSON に直接プッシュし、サポートされていない操作（多くの場合、SQL 関数や JOIN 操作）は内蔵の SQL エンジンを使用してクライアント側で処理します。動的メタデータクエリ機能が組み込まれているため、ネイティブのデータ型を使って JSON services を操作・分析できます。

この記事では、Dataiku DSS（Data Science Studio）プラットフォームで CData JDBC Driver for JSON を使って JSON に簡単に連携する方法を紹介します。データの準備やカスタム AI/ML モデルの構築を行いましょう。

Dataiku DSS 環境の準備

このセクションでは、先に紹介した Dataiku を JSON services 向けにセットアップする方法を説明します。事前に、お使いのオペレーティングシステムに対応した Dataiku DSS（オンプレミス版）をインストールしておいてください。

CData JDBC Driver for JSON のインストール

まず、Dataiku と同じマシンに CData JDBC Driver for JSON をインストールします。JDBC Driver は以下のパスにインストールされます：

C:\Program Files\CData[product_name] 20xx\lib\cdata.jdbc.json.jar

Dataiku DSS での JDBC Driver 接続設定

Dataiku で CData JDBC Driver を使用するには、新しい SQL データベース接続を作成し、DSS の接続設定で JDBC Driver の JAR ファイルを追加する必要があります。

Dataiku DSS プラットフォームにログインします。ブラウザでローカルに開きます（例：localhost:11200）。
プラットフォームの右上にある Navigate to other sections of Dataiku メニューをクリックし、Administration を選択します。
Connections タブを選択します。
Connections 画面で New Connections ボタンをクリックします。
スクロールして Other SQL databases を選択します。
JSON に接続するための JDBC URL を生成します。jdbc:json: で始まり、その後にセミコロン区切りの接続文字列プロパティを続けます。

データソースへの認証については、ヘルプドキュメントの「はじめに」を参照してください。CData 製品は、JSON API を双方向データベーステーブルとして、JSON ファイルを読み取り専用ビュー（ローカルファイル、一般的なクラウドサービスに保存されているファイル、FTP サーバー）としてモデル化します。HTTP Basic、Digest、NTLM、OAuth、FTP などの主要な認証スキームがサポートされています。詳細はヘルプドキュメントの「はじめに」を参照してください。

URI を設定して認証値を入力したら、DataModel を設定してデータ表現とデータ構造をより厳密に一致させます。

DataModel プロパティは、データをどのようにテーブルに表現するかを制御するプロパティで、次の基本設定を切り替えます。
- Document（デフォルト）：JSON データのトップレベルのドキュメントビューをモデル化します。CData 製品は、ネストされたオブジェクト配列を集約されたJSON オブジェクトとして返します。
- FlattenedDocuments：ネストされた配列オブジェクトと親オブジェクトを、単一テーブルに暗黙的に結合します。
- Relational：階層データから個々の関連テーブルを返します。テーブルには、親ドキュメントにリンクする主キーと外部キーが含まれています。
リレーショナル表現の設定についての詳細は、ヘルプドキュメントの「JSON データのモデリング」を参照してください。また、以下の例で使用されているサンプルデータも確認できます。データには人や所有する車、それらの車に行われたさまざまなメンテナンスサービスのエントリが含まれています。

Amazon S3 内のJSON への接続

URI をバケット内のJSON ドキュメントに設定します。さらに、次のプロパティを設定して認証します。
- AWSAccessKey：AWS アクセスキー（username）に設定。
- AWSSecretKey：AWS シークレットキーに設定。
Box 内のJSON への接続

URI をJSON ファイルへのパスに設定します。Box へ認証するには、OAuth 認証標準を使います。認証方法については、Box への接続を参照してください。

Dropbox 内のJSON への接続

URI をJSON ファイルへのパスに設定します。Dropbox へ認証するには、OAuth 認証標準を使います。認証方法については、Dropbox への接続を参照してください。ユーザーアカウントまたはサービスアカウントで認証できます。ユーザーアカウントフローでは、以下の接続文字列で示すように、ユーザー資格情報の接続プロパティを設定する必要はありません。 URI=dropbox://folder1/file.json; InitiateOAuth=GETANDREFRESH; OAuthClientId=oauthclientid1; OAuthClientSecret=oauthcliensecret1; CallbackUrl=http://localhost:12345;

SharePoint Online SOAP 内のJSON への接続

URI をJSON ファイルを含むドキュメントライブラリに設定します。認証するには、User、Password、およびStorageBaseURL を設定します。

SharePoint Online REST 内のJSON への接続

URI をJSON ファイルを含むドキュメントライブラリに設定します。StorageBaseURL は任意です。指定しない場合、ドライバーはルートドライブで動作します。認証するには、OAuth 認証標準を使用します。

FTP 内のJSON への接続

URI をJSON ファイルへのパスが付いたサーバーのアドレスに設定します。認証するには、User およびPassword を設定します。

Google Drive 内のJSON への接続

デスクトップアプリケーションからのGoogle への認証には、InitiateOAuth をGETANDREFRESH に設定して、接続してください。詳細はドキュメントの「Google Drive への接続」を参照してください。

組み込みの接続文字列デザイナー

JDBC URL の作成には、JSON JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから実行してください。
```
java -jar cdata.jdbc.json.jar
```
接続プロパティを入力し、接続文字列をクリップボードにコピーします。

一般的な JDBC URL は次のようになります：
```
jdbc:json:URI=C:/people.json;DataModel=Relational;
```
New SQL database (JDBC) connection 画面で、New connection name フィールドに名前を入力し、基本パラメータを指定します：
- JDBC Driver Class：cdata.jdbc.json.JSONDriver
- JDBC URL：前のステップで取得した JDBC 接続 URL
- Driver jars directory：システム上で JAR ファイルがインストールされているフォルダパス
次に、SQL dialect を選択します。ここでは「SQL Server」を選択しています。Create をクリックします。接続が成功すると、「Connection OK」というメッセージが表示されます。
Data Catalog ウィンドウが表示されます。Connection to browse、Restrict to catalog、Restrict to schema ドロップダウンから目的の接続、カタログ、スキーマを選択し、List Tables をクリックします。Dataiku プラットフォームに必要なテーブルがすべて一覧表示されます。
一覧からテーブルを選択し、Preview をクリックしてテーブルデータを表示します。Close をクリックしてウィンドウを閉じます。

新しいプロジェクトの作成

Dataiku DSS プラットフォームでデータフローの準備、ダッシュボードの作成、JSON services の分析、AI/ML モデルの構築を行うには、まず新しいプロジェクトを作成する必要があります。

Navigate to other sections of Dataiku メニューから Projects を選択します。
Projects 画面で New Project をクリックし、+ Blank Project を選択します。
New Project ウィンドウで、Name と Project Key を入力します。Create をクリックすると、新しいプロジェクトのダッシュボードが開きます。
プロジェクト画面上部のメニューから Notebooks を選択します。
+ Create Your First Notebook ドロップダウンメニューをクリックし、Write your own オプションを選択します。
New Notebook ウィンドウで SQL を選択します。
Connection ドロップダウンから必要な接続を選択し、Notebook Name フィールドに名前を入力します。