Infragistics Reveal で Databricks ののデータを分析・可視化
Reveal は Infragistics が提供するデータ可視化ソリューションで、CData API Server と組み合わせることで、リアルタイムのDatabricks のデータから動的なダッシュボードを構築できます。CData API Server は Databricks 用の OData API を生成し、Reveal からネイティブに利用できます。この記事では、API Server で Databricks に接続し、Infragistics Reveal から API Server に接続してシンプルなダッシュボードを作成する方法を説明します。
Databricks データ連携について
CData を使用すれば、Databricks のライブデータへのアクセスと統合がこれまでになく簡単になります。お客様は CData の接続機能を以下の目的で利用しています:
- Runtime バージョン 9.1 - 13.X から Pro および Classic Databricks SQL バージョンまで、すべてのバージョンの Databricks にアクセスできます。
- あらゆるホスティングソリューションとの互換性により、お好みの環境で Databricks を使用し続けることができます。
- パーソナルアクセストークン、Azure サービスプリンシパル、Azure AD など、さまざまな方法で安全に認証できます。
- Databricks ファイルシステム、Azure Blob ストレージ、AWS S3 ストレージを使用して Databricks にデータをアップロードできます。
多くのお客様が、さまざまなシステムから Databricks データレイクハウスにデータを移行するために CData のソリューションを使用していますが、ライブ接続ソリューションを使用して、データベースと Databricks 間の接続をフェデレートしているお客様も多数います。これらのお客様は、SQL Server リンクサーバーまたは Polybase を使用して、既存の RDBMS 内から Databricks へのライブアクセスを実現しています。
一般的な Databricks のユースケースと CData のソリューションがデータの問題解決にどのように役立つかについては、ブログをご覧ください:What is Databricks Used For? 6 Use Cases
はじめに
API Server から Databricks に接続
CData API Server は、シンプルなポイント&クリック操作のインターフェースでデータソースに接続し、API を生成できます。
- API Server を開き、Settings -> Connection -> Add Connection をクリックします。
- 「Databricks」を選択します。
- Databricks に接続するために必要な認証プロパティを入力します。
Databricks 接続プロパティの取得・設定方法
Databricks クラスターに接続するには、以下のプロパティを設定します。
- Database:Databricks データベース名。
- Server:Databricks クラスターのサーバーのホスト名。
- HTTPPath:Databricks クラスターのHTTP パス。
- Token:個人用アクセストークン。この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
Databricks への認証
CData は、次の認証スキームをサポートしています。
- 個人用アクセストークン
- Microsoft Entra ID(Azure AD)
- Azure サービスプリンシパル
- OAuthU2M
- OAuthM2M
個人用アクセストークン
認証するには、次を設定します。
- AuthScheme:PersonalAccessToken。
- Token:Databricks サーバーへの接続に使用するトークン。Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。
その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。
API Server で Databricks のリソース定義を追加
Databricks に接続したら、Databricks のデータ の API エンドポイントとなるリソースを作成します。
- Settings -> Resources -> Add Resource をクリックします。
- Databricks の接続を選択します。
- 取得したいテーブルを選択し、「次へ」をクリックします。
- (オプション) リソースを編集して、特定のフィールドを選択するなどの設定を行います。
- 設定を保存します。
API Server ユーザーの追加
API Server 経由で Reveal から Databricks に接続するためのユーザーを作成します。
- Settings -> Users をクリックします。
- Add をクリックします。
- Databricks の接続とリソースにアクセス可能なユーザーを設定します。
(オプション) クロスオリジンリソースシェアリング (CORS) の設定
Ajax などのアプリケーションから複数の異なるドメインにアクセス・接続する場合、クロスサイトスクリプティングの制限に抵触する可能性があります。その場合は、Settings -> Server で CORS 設定を行います。
- Enable cross-origin resource sharing (CORS): ON
- Allow all domains without '*': ON
- Access-Control-Allow-Methods: GET, PUT, POST, OPTIONS
- Access-Control-Allow-Headers: Authorization
設定の変更を保存します。
Reveal でダッシュボードを作成
API Server の設定が完了したら、Reveal でDatabricks のデータを可視化していきましょう。
- Reveal にログインし、Dashboards -> New をクリックします。
- Data Source -> OData Feed をクリックします。
- API Server の API エンドポイント URL を指定します。例: https://serverurl/api.rsc
- Generic Credentials を選択し、API Server のユーザー名と認証トークンを指定します。
- 可視化したいエンティティを選択します。
- フィールドを選択し、チャートタイプを選びます。
詳細情報と無償トライアル
これで、リアルタイムのDatabricks のデータからシンプルなダッシュボードを作成できました。Databricks (および 150 以上のデータソース) から OData フィードを作成する方法の詳細については、API Server ページをご覧ください。30日間の無償トライアルをダウンロードして、OData API を利用するツールでリアルタイムのDatabricks のデータを活用してみてください。