Metabase で Spark のデータを連携利用する方法
Metabase は、インタラクティブなダッシュボードを作成できるオープンソースのデータ可視化ツールです。CData Connect AI と組み合わせることで、リアルタイムのSpark のデータにリンクされたビジュアライゼーションやダッシュボードを簡単に作成できます。この記事では、Spark に接続し、Spark のデータ を使用してシンプルなビジュアライゼーションを構築する方法を説明します。
CData Connect は Spark 専用のクラウド間インターフェースを提供し、データをレプリケートすることなく、Metabase でリアルタイムのSpark のデータを簡単に連携できます。Connect はMetabase からSQL Server データベースと同じように見え、最適化されたデータ処理を標準で使用して、サポートされているすべてのSQL 操作（フィルター、JOIN など）を Spark に直接プッシュし、サーバーサイド処理を活用してSpark のデータを迅速に返します。
Metabase 用に Spark への接続を設定
Metabase から Spark への接続は、CData Connect AI によって実現されます。Metabase からSpark のデータを操作するには、まず Spark 接続を作成し設定します。
- Connect AI にログインして「Sources」をクリックし、 Add Connection をクリックします
- Add Connection パネルから「Spark」を選択します
-
Spark への接続に必要な認証プロパティを入力します。
SparkSQL への接続
SparkSQL への接続を確立するには以下を指定します。
- Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
- Port：SparkSQL インスタンスへの接続用のポートに設定。
- TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
- AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。
Databricks への接続
Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。
- Server：Databricks クラスターのサーバーのホスト名に設定。
- Port：443
- TransportMode：HTTP
- HTTPPath：Databricks クラスターのHTTP パスに設定。
- UseSSL：True
- AuthScheme：PLAIN
- User：'token' に設定。
- Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。
- Save & Test をクリックします
-
Add Spark Connection ページの「Permissions」タブに移動し、ユーザーベースの権限を更新します。
Personal Access Token の追加
REST API、OData API、またはVirtual SQL Server 経由でConnect AI に接続する場合、Personal Access Token（PAT）を使用してConnect AI への接続を認証します。アクセス管理の粒度を維持するために、サービスごとに個別のPAT を作成することをお勧めします。
- Connect AI アプリの右上にある歯車アイコン（）をクリックして設定ページを開きます。
- Settings ページで「Access Tokens」セクションに移動し、 Create PAT をクリックします。
-
PAT に名前を付けて「Create」をクリックします。
- Personal Access Token は作成時にのみ表示されるため、必ずコピーして安全な場所に保存してください。
接続の設定とPAT の生成が完了したら、Metabase からSpark のデータに接続する準備が整いました。
Metabase からCData Connect AI に接続
Connect AI で接続を作成したら、Metabase インスタンスに移動します。SQL Server インターフェースを使用してConnect AI に接続します。
- 管理画面（Settings -> Admin）に移動し、「Databases」タブから「Add Database」をクリックします
- Connect AI への接続を設定し、「Save」をクリックします
- Database type: 「SQL Server」を選択します
- Name: 接続に名前を付けます（例：「Spark (Connect AI)」）
- Host: tds.cdata.com
- Port: 14333
- Database name: 先ほど作成した接続の名前（例：SparkSQL1）
- Username: Connect AI のユーザー名（例：user@mydomain.com）
- Password: 先ほど作成したPAT
- Use a secure connection (SSL) にチェックを入れます
Metabase で Spark のデータを実行
Connect AI への接続を設定したら、Spark にクエリを実行してビジュアライゼーションを構築できます。
- 「Write SQL」ツールを使用してSpark のデータを取得します
- CData Connect AI の Spark 接続に基づいてSQL クエリを記述します。例：
SELECT City, Balance FROM Customers
- 「Visualization」画面に移動し、ビジュアライゼーションを選択して設定します
詳細情報と無償トライアル
これで、Metabase でSpark のデータからシンプルなビジュアライゼーションを構築できました。Metabase では、SQL Server データベースと同じようにリアルタイムのSpark のデータを引き続き操作できます。Spark（およびその他100以上のデータソース）へのリアルタイム接続の詳細については、Connect AI ページをご覧ください。無償トライアルに登録して、今すぐMetabase でリアルタイムのSpark のデータを活用してみてください。