Dataiku からリアルタイム Amazon S3 データを使って AI/ML モデルを構築

Dibyendu Datta
Lead Technology Evangelist

CData JDBC Driver for Amazon S3 を使って Amazon S3 データを Dataiku に接続。

Dataiku は、データの準備、分析、可視化、AI/ML モデルのデプロイメントに利用されるデータサイエンスおよび機械学習プラットフォームです。チームでの協業と効率的なデータドリブンな意思決定を可能にします。CData JDBC Driver for Amazon S3 と組み合わせることで、Dataiku は Amazon S3 のデータのデータ連携、データ準備、リアルタイム分析、そして信頼性の高いモデルデプロイメントをさらに強化します。

CData JDBC Driver は、最適化されたデータ処理機能を内蔵しており、リアルタイム Amazon S3 のデータとのやり取りにおいて比類のないパフォーマンスを発揮します。複雑な SQL クエリを Amazon S3 に発行すると、ドライバーはフィルタや集計などのサポートされている SQL 操作を Amazon S3 に直接プッシュし、サポートされていない操作（多くの場合、SQL 関数や JOIN 操作）は内蔵の SQL エンジンを使用してクライアント側で処理します。動的メタデータクエリ機能が組み込まれているため、ネイティブのデータ型を使って Amazon S3 のデータを操作・分析できます。

この記事では、Dataiku DSS（Data Science Studio）プラットフォームで CData JDBC Driver for Amazon S3 を使って Amazon S3 に簡単に連携する方法を紹介します。データの準備やカスタム AI/ML モデルの構築を行いましょう。

Dataiku DSS 環境の準備

このセクションでは、先に紹介した Dataiku を Amazon S3 のデータ向けにセットアップする方法を説明します。事前に、お使いのオペレーティングシステムに対応した Dataiku DSS（オンプレミス版）をインストールしておいてください。

CData JDBC Driver for Amazon S3 のインストール

まず、Dataiku と同じマシンに CData JDBC Driver for Amazon S3 をインストールします。JDBC Driver は以下のパスにインストールされます：

C:\Program Files\CData[product_name] 20xx\lib\cdata.jdbc.amazons3.jar

Dataiku DSS での JDBC Driver 接続設定

Dataiku で CData JDBC Driver を使用するには、新しい SQL データベース接続を作成し、DSS の接続設定で JDBC Driver の JAR ファイルを追加する必要があります。

Dataiku DSS プラットフォームにログインします。ブラウザでローカルに開きます（例：localhost:11200）。
プラットフォームの右上にある Navigate to other sections of Dataiku メニューをクリックし、Administration を選択します。
Connections タブを選択します。
Connections 画面で New Connections ボタンをクリックします。
スクロールして Other SQL databases を選択します。
Amazon S3 に接続するための JDBC URL を生成します。jdbc:amazons3: で始まり、その後にセミコロン区切りの接続文字列プロパティを続けます。

Amazon S3 リクエストを認可するには、管理者アカウントまたはカスタム権限を持つIAM ユーザーの認証情報を入力します。AccessKey をアクセスキーID に設定します。SecretKey をシークレットアクセスキーに設定します。

Note: AWS アカウント管理者として接続できますが、AWS サービスにアクセスするにはIAM ユーザー認証情報を使用することをお勧めします。

尚、CData 製品はAmazon S3 のファイルの一覧表示やユーザー管理情報の取得用です。S3 に保管されているExcel、CSV、JSON などのファイル内のデータを読み込みたい場合には、Excel Driver、CSV Driver、JSON Driver をご利用ください。

アクセスキーの取得

IAM ユーザーの資格情報を取得するには：
1. IAM コンソールにサインインします。
2. ナビゲーションペインで「ユーザー」を選択します。
3. ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してから「セキュリティ認証情報」タブを選択します。
AWS ルートアカウントの資格情報を取得するには：
1. ルートアカウントの資格情報を使用してAWS 管理コンソールにサインインします。
2. アカウント名または番号を選択し、表示されたメニューで「My Security Credentials」を選択します。
3. 「Continue to Security Credentials」をクリックし、「Access Keys」セクションを展開して、ルートアカウントのアクセスキーを管理または作成します。
AWS ロールとして認証

多くの場合、認証にはAWS ルートユーザーのダイレクトなセキュリティ認証情報ではなく、IAM ロールを使用することをお勧めします。RoleARN を指定することでAWS ロールを代わりに使用できます。これにより、CData 製品は指定されたロールの資格情報を取得しようと試みます。

（すでにEC2 インスタンスなどで接続されているのではなく）AWS に接続している場合は、ロールを引き受けるIAM ユーザーのAccessKey とSecretKey を追加で指定する必要があります。AWS ルートユーザーのAccessKey および SecretKey を指定する場合、ロールは使用できません。

SSO 認証

SSO 認証を必要とするユーザーおよびロールには、RoleARN およびPrincipalArn 接続プロパティを指定してください。各Identity Provider に固有のSSOProperties を指定し、AccessKey とSecretKey を空のままにする必要があります。これにより、CData 製品は一時的な認証資格情報を取得するために、リクエストでSSO 認証情報を送信します。

組み込みの接続文字列デザイナー

JDBC URL の作成には、Amazon S3 JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから実行してください。
```
java -jar cdata.jdbc.amazons3.jar
```
接続プロパティを入力し、接続文字列をクリップボードにコピーします。

一般的な JDBC URL は次のようになります：
```
jdbc:amazons3:AccessKey=a123;SecretKey=s123;
```
New SQL database (JDBC) connection 画面で、New connection name フィールドに名前を入力し、基本パラメータを指定します：
- JDBC Driver Class：cdata.jdbc.amazons3.AmazonS3Driver
- JDBC URL：前のステップで取得した JDBC 接続 URL
- Driver jars directory：システム上で JAR ファイルがインストールされているフォルダパス
次に、SQL dialect を選択します。ここでは「SQL Server」を選択しています。Create をクリックします。接続が成功すると、「Connection OK」というメッセージが表示されます。
Data Catalog ウィンドウが表示されます。Connection to browse、Restrict to catalog、Restrict to schema ドロップダウンから目的の接続、カタログ、スキーマを選択し、List Tables をクリックします。Dataiku プラットフォームに必要なテーブルがすべて一覧表示されます。
一覧からテーブルを選択し、Preview をクリックしてテーブルデータを表示します。Close をクリックしてウィンドウを閉じます。

新しいプロジェクトの作成

Dataiku DSS プラットフォームでデータフローの準備、ダッシュボードの作成、Amazon S3 のデータの分析、AI/ML モデルの構築を行うには、まず新しいプロジェクトを作成する必要があります。

Navigate to other sections of Dataiku メニューから Projects を選択します。
Projects 画面で New Project をクリックし、+ Blank Project を選択します。
New Project ウィンドウで、Name と Project Key を入力します。Create をクリックすると、新しいプロジェクトのダッシュボードが開きます。
プロジェクト画面上部のメニューから Notebooks を選択します。
+ Create Your First Notebook ドロップダウンメニューをクリックし、Write your own オプションを選択します。
New Notebook ウィンドウで SQL を選択します。
Connection ドロップダウンから必要な接続を選択し、Notebook Name フィールドに名前を入力します。