Azure Analysis Services を使ってDatabricks のデータをモデル化する方法
Azure Analysis Services(AAS)は、エンタープライズレベルのデータモデルをクラウド上で提供する、フルマネージドのPaaS です。Azure 上で提供されているので、お馴染みの環境で手軽に使い始められます。CData Connect AI と連携することで、Databricks のデータをAAS に繋いでBI ツール向けのデータモデルを簡単に作成できます。 この記事ではConnect AI からDatabricks に接続し、AAS の拡張機能を有効にしたVisual Studio でDatabricks のデータをインポートする方法を紹介します。
Databricks データ連携について
CData を使用すれば、Databricks のライブデータへのアクセスと統合がこれまでになく簡単になります。お客様は CData の接続機能を以下の目的で利用しています:
- Runtime バージョン 9.1 - 13.X から Pro および Classic Databricks SQL バージョンまで、すべてのバージョンの Databricks にアクセスできます。
- あらゆるホスティングソリューションとの互換性により、お好みの環境で Databricks を使用し続けることができます。
- パーソナルアクセストークン、Azure サービスプリンシパル、Azure AD など、さまざまな方法で安全に認証できます。
- Databricks ファイルシステム、Azure Blob ストレージ、AWS S3 ストレージを使用して Databricks にデータをアップロードできます。
多くのお客様が、さまざまなシステムから Databricks データレイクハウスにデータを移行するために CData のソリューションを使用していますが、ライブ接続ソリューションを使用して、データベースと Databricks 間の接続をフェデレートしているお客様も多数います。これらのお客様は、SQL Server リンクサーバーまたは Polybase を使用して、既存の RDBMS 内から Databricks へのライブアクセスを実現しています。
一般的な Databricks のユースケースと CData のソリューションがデータの問題解決にどのように役立つかについては、ブログをご覧ください:What is Databricks Used For? 6 Use Cases
はじめに
Connect AI からDatabricks への接続
CData Connect AI を使うと、直感的なクリック操作ベースのインターフェースを使ってデータソースに接続できます。
- Connect AI にログインし、 Add Connection をクリックします。
- Add Connection パネルで「Databricks」を選択します。
-
必要な認証プロパティを入力し、Databricks に接続します。
Databricks 接続プロパティの取得・設定方法
Databricks クラスターに接続するには、以下のプロパティを設定します。
- Database:Databricks データベース名。
- Server:Databricks クラスターのサーバーのホスト名。
- HTTPPath:Databricks クラスターのHTTP パス。
- Token:個人用アクセストークン。この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
Databricks への認証
CData は、次の認証スキームをサポートしています。
- 個人用アクセストークン
- Microsoft Entra ID(Azure AD)
- Azure サービスプリンシパル
- OAuthU2M
- OAuthM2M
個人用アクセストークン
認証するには、次を設定します。
- AuthScheme:PersonalAccessToken。
- Token:Databricks サーバーへの接続に使用するトークン。Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。
- Create & Test をクリックします。
-
(任意の設定)「Add Databricks Connection」ページの「Permissions」タブに移動し、アクセス許可を更新します。
パーソナルアクセストークンの取得
OAuth 認証をサポートしていないサービス、アプリケーション、プラットフォーム、またはフレームワークから接続する場合は、認証に使用するパーソナルアクセストークン(PAT)を作成できます。 きめ細かなアクセス管理を行うために、サービスごとに個別のPAT を作成するのがベストプラクティスです。
- Connect AI アプリの右上にあるユーザー名をクリックし、User Profile をクリックします。
- User Profile ページでPersonal Access Token セクションにスクロールし、 Create PAT をクリックします。
- PAT の名前を入力して Create をクリックします。
- パーソナルアクセストークンは作成時にしか表示されないため、必ずコピーして安全に保存してください。
接続の設定が完了したら、Azure Analysis Services を使用してVisual Studio からDatabricks のデータに接続できるようになります。
AAS を使ってVisual Studio からDatabricks に接続
以下のステップでは、Visual Studio からAzure Analysis Services にからCData Connect AI に接続して新しいDatabricks のデータソースを作成する方法を説明します。 続けるには、Microsoft Analysis Services Projects の拡張機能が必要です。拡張機能はこちらからダウンロードできます。
- 拡張機能をインストールしたら、Visual Studio で新しいプロジェクトを作成しましょう。「Analysis Services 表形式プロジェクト」を選択します。
- 「新しいプロジェクト構成します」ダイアログが表示されるので、フィールドに必要な項目を入力します。
- 「作成」をクリックします。「テーブルモデルデザイナー」ダイアログボックスが開きます。ワークスペースサーバーを選択し、Azure Analysis Services サーバーのアドレス(例:asazure://eastus.azure.windows.net/myAzureServer)を入力します。 Test Connection をクリックし、サーバーにサインインします。
- OK をクリックしてプロジェクトを作成します。Visual Studio ウィンドウは、以下のスクリーンショットのようになります。
- Visual Studio の表形式モデルエクスプローラーで、データソースを右クリックして「データソースからインポート」を選択します。
- Table Import Wizard で、SQL Server データベースを選択してConnect をクリックします。Server フィールドに、仮想SQL Server のエンドポイントとポートをカンマで区切って入力します(例:tds.cdata.com,14333)。
-
SQL Server Authentication をクリックして、次の情報を入力します。
- User name:CData Connect AI のユーザー名を入力します。ユーザー名はCData Connect AI のインターフェースの右上に表示されています(例:test@cdata.com)。
- Password:Settings ページで生成したPAT を入力します。
- 次の画面で、Current User を選択してNext をクリックします。
- ここでは、最初のオプションを選択してNext をクリックします。
- 次の画面で、リストからテーブルを選択してPreview & Filter をクリックします。
- テーブルにDatabricks からデータが入力されたことを確認できます。
これでDatabricks のデータをデータモデルにインポートできたので、Azure Analysis Services にプロジェクトをデプロイして、BI ツールやクライアントアプリケーションなどから利用できます。
おわりに
CData Connect AI の14日間無償トライアルを利用して、クラウドアプリケーションから直接100を超えるSaaS、ビッグデータ、NoSQL データソースへのSQL アクセスをお試しください。