Exploratory でAzure Data Lake Storage のデータを連携する方法
CData ODBC Driver for ADLS は、ODBC 経由でリアルタイムAzure Data Lake Storage データに標準SQL での利用を可能にします。
ここでは、汎用ODBC データプロバイダーとしてAzure Data Lake Storage に接続し、データアナリティクスツールのExploratory (https://exploratory.io/) からAzure Data Lake Storage のデータを連携利用する手順を説明します。
Exploratory は、多くのRDB やRedshift、BigQuery などのクラウドデータストアに対応していますが、SaaS データを分析したい場合にはCData ODBC ドライバを使うことで、API コーディング不要でデータを活用できます。今回はAzure Data Lake Storage を例に説明します。
CData ODBC ドライバとは?
CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。
- Azure Data Lake Storage をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレミスデータソースに対応
- 多様なアプリケーション、ツールにAzure Data Lake Storage のデータを連携
- ノーコードでの手軽な接続設定
- 標準 SQL での柔軟なデータ読み込み・書き込み
CData ODBC ドライバでは、1.データソースとしてAzure Data Lake Storage の接続を設定、2.Exploratory 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。
CData ODBC ドライバのインストールとAzure Data Lake Storage への接続設定
まずは、本記事右側のサイドバーからADLS ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。
次にマシンにAzure Data Lake Storage のデータ に接続するODBC DSN を設定します。Exploratory からはそのODBC DSN を参照する形になります。ODBC DSN 設定の詳細については、ドキュメントを参照してください。
Azure Data Lake Storage 接続プロパティの取得・設定方法
Azure Data Lake Storage Gen2 への接続
それでは、Gen2 Data Lake Storage アカウントに接続していきましょう。接続するには、以下のプロパティを設定します。
- Account:ストレージアカウントの名前
- FileSystem:このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前
- Directory(オプション):レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます
Azure Data Lake Storage Gen2への認証
続いて、認証方法を設定しましょう。CData 製品では、5つの認証方法をサポートしています:アクセスキー(AccessKey)の使用、共有アクセス署名(SAS)の使用、Azure Active Directory OAuth(AzureAD)経由、Azure サービスプリンシパル(AzureServicePrincipal またはAzureServicePrincipalCert)経由、およびManaged Service Identity(AzureMSI)経由です。
アクセスキー
アクセスキーを使用して接続するには、まずADLS Gen2ストレージアカウントで利用可能なアクセスキーを取得する必要があります。
Azure ポータルでの手順は以下のとおりです:
- ADLS Gen2ストレージアカウントにアクセスします
- 設定でアクセスキーを選択します
- 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします
接続の準備ができたら、以下のプロパティを設定してください。
- AuthScheme:AccessKey
- AccessKey:先ほどAzure ポータルで取得したアクセスキーの値
共有アクセス署名(SAS)
共有アクセス署名を使用して接続するには、まずAzure Storage Explorer ツールを使用して署名を生成する必要があります。
接続の準備ができたら、以下のプロパティを設定してください。
- AuthScheme:SAS
- SharedAccessSignature:先ほど生成した共有アクセス署名の値
その他の認証方法については、 href="/kb/help/" target="_blank">ヘルプドキュメントの「Azure Data Lake Storage Gen2への認証」セクションをご確認ください。
Exploratory 上でAzure Data Lake Storage のデータをセット
- Exploratory で[コネクション]をクリックして新しいコネクションを作成します。
- [追加]→[ODBC]の順にクリック。
- コネクション追加画面で先ほど設定したAzure Data Lake Storage ODBC のDSN を設定します。
名前:任意
タイプ:ODBC
DSN:上の設定したDSN 名(CData Azure Data Lake Storage Sys) - コネクションテストを下の地、[追加]を押して接続を確定させます。
Exploratory でAzure Data Lake Storage のデータをクエリし、データフレームとして保存
さあ、Exploratory からAzure Data Lake Storage のデータを扱ってみましょう。
- Exploratory でプロジェクトを[新規作成]します。
- [データフレーム]の[+]印をクリックし、[データベースデータ]を選択します。
- データベースは[ODBC]をクリック。
- [コネクション]で先ほど設定したAzure Data Lake Storage のコネクションを選択します。
- RDB ソースの感覚でSELECT クエリでAzure Data Lake Storage のデータをクエリします。標準SQL でフィルタリング、ソート、JOIN も可能です。
- データセットをデータフレームとして保存します。
Exploratory でのAzure Data Lake Storage のデータの分析
データフレームになったデータは通常のRDB データソースと同じようにExploratory で利用可能です。
おわりに
このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。
CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。