Amazon QuickSight で MySQL 接続を使用して Spark のデータにアクセス

Amazon QuickSight を使用すると、AWS データソース、アップロードしたファイル、クラウド上の他のデータベースからビジュアライゼーションの構築、分析の実行、インサイトの取得を素早く行うことができます。CData SQL Gateway と組み合わせることで、オンプレミスとクラウドの両方で 250種類以上のビッグデータ、NoSQL、SaaS ソースに対して同じ機能を利用できます。本記事では、SQL Gateway と CData ODBC Driver for Spark を使用して、Amazon QuickSight の MySQL 接続経由でSpark のデータにアクセスする方法を説明します。直接クエリを使用したリアルタイムアクセス、または SPICE へのデータインポートのどちらも可能です。

Spark のデータに接続

まだ行っていない場合は、データソース名（DSN）で必要な接続プロパティの値を指定してください。組み込みの Microsoft ODBC データソースアドミニストレーターを使用して DSN を設定できます。これはドライバーインストールの最後のステップでもあります。Microsoft ODBC データソースアドミニストレーターを使用して DSN を作成・設定する方法については、ヘルプドキュメントの「はじめに」の章を参照してください。

SparkSQL への接続

SparkSQL への接続を確立するには以下を指定します。

• Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
• Port：SparkSQL インスタンスへの接続用のポートに設定。
• TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
• AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

Databricks への接続

Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

• Server：Databricks クラスターのサーバーのホスト名に設定。
• Port：443
• TransportMode：HTTP
• HTTPPath：Databricks クラスターのHTTP パスに設定。
• UseSSL：True
• AuthScheme：PLAIN
• User：'token' に設定。
• Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。

DSN を設定する際に、Max Rows 接続プロパティも設定することをお勧めします。これにより返される行数を制限でき、レポートやビジュアライゼーションを設計する際のパフォーマンス向上に特に効果的です。

SQL Gateway を設定

SQL Gateway 概要を参照して、Spark のデータ を仮想 MySQL データベースとして接続を設定してください。クライアントからの MySQL リクエストをリッスンする MySQL リモーティングサービスを設定します。サービスは SQL Gateway UI で設定できます。

QuickSight から SQL Gateway に接続するには、インターネット接続可能なマシンで SQL Gateway を実行する必要があります。SQL Gateway を設定した後、以下の情報をメモしておいてください。

• SQL Gateway をホストしているマシンの IP アドレスまたはドメイン名
• MySQL サービスのデータソース名（通常は CData SparkSQL Sys）
• MySQL サービスのポート番号
• サービスへのアクセス権を持つ SQL Gateway ユーザーの資格情報

リモートアクセスの設定

ODBC Driver とリモーティングサービスがオンプレミスにインストールされている（Amazon QuickSight からアクセスできない）場合は、リバース SSH トンネリング機能を使用してリモートアクセスを有効にできます。詳細な手順については、Knowledge Base の記事「SQL Gateway SSH トンネリング機能」を参照してください。

QuickSight で Spark に接続

Spark ODBC Driver 用に MySQL サービスを設定したら、QuickSight でデータに接続する準備が整いました。QuickSight コンソールにログインし、「Manage Data」をクリックしてから「New Data Set」をクリックし、データソースとして MySQL を選択します。

SQL Gateway で設定した Spark 用の MySQL サービスの値を使用してデータセットを設定します（データベース名には DSN を使用してください）。接続を検証し、「Create Data Source」をクリックします。

QuickSight で Spark のデータを可視化

本記事では、データビジュアライゼーションにカスタム SQL クエリを使用します。「Edit/Preview Data」をクリックし、表示される Data Prep 画面で以下の手順に従います。

1. データセットに名前を付けます（例：Customers）。
2. データを QuickSight SPICE にインポートする場合は SPICE オプションをクリックします。そうでない場合は、QuickSight がデータを直接クエリします。
3. Tables メニューの下で「Switch to Custom SQL Tool」をクリックします。
   • SQL クエリに名前を付けます。
   • カスタム SQL クエリを入力します。例：
     SELECT City, Balance FROM Customers
   • 「Finish」をクリックします。
4. 「Save & Visualize」をクリックします。

データセットを保存したら、ビジュアライゼーションを設定できます。可視化するカラムを選択し、ビジュアルタイプを選択します。ビジュアライゼーションは、名前からデータの集計方法までカスタマイズできます。

CData ODBC Driver for Spark と SQL Gateway を使用すると、Amazon QuickSight でSpark のデータのデータビジュアライゼーションの構築や分析を簡単に行うことができます。オンプレミスのデータに AWS QuickSight からアクセスする方法など、ご質問がありましたらサポートチームまでお問い合わせください。