Databricks（AWS）でOkta のデータを処理・分析

Databricks は、Apache Spark を通じたデータ処理機能を提供するクラウドベースのサービスです。CData JDBC Driver と組み合わせることで、Databricks を使用してリアルタイムOkta のデータに対してデータエンジニアリングとデータサイエンスを実行できます。この記事では、AWS でCData JDBC Driver をホストし、Databricks でリアルタイムOkta のデータに接続して処理する方法を説明します。

最適化されたデータ処理が組み込まれたCData JDBC Driver は、リアルタイムOkta のデータを扱う上で比類のないパフォーマンスを提供します。Okta に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作をOkta に直接プッシュし、サポートされていない操作（主にSQL 関数やJOIN 操作）は組み込みSQL エンジンを利用してクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブデータ型を使ってOkta のデータを操作・分析できます。

CData JDBC Driver をDatabricks にインストール

Databricks でリアルタイムOkta のデータを操作するには、Databricks クラスターにドライバーをインストールします。

1. Databricks の管理画面に移動し、対象のクラスターを選択します。
2. Libraries タブで「Install New」をクリックします。
3. Library Source として「Upload」を選択し、Library Type として「Jar」を選択します。
4. インストール場所（通常はC:\Program Files\CData[product_name]\lib）からJDBC JAR ファイル（cdata.jdbc.okta.jar）をアップロードします。

ノートブックでOkta のデータにアクセス：Python

JAR ファイルをインストールしたら、Databricks でリアルタイムOkta のデータを操作する準備が整いました。ワークスペースに新しいノートブックを作成します。ノートブックに名前を付け、言語としてPython を選択し（Scala も利用可能）、JDBC ドライバーをインストールしたクラスターを選択します。ノートブックが起動したら、接続を設定し、Okta をクエリして、基本的なレポートを作成できます。

Okta への接続を設定

JDBC Driver クラスを参照し、JDBC URL で使用する接続文字列を構築してOkta に接続します。また、JDBC URL でRTK プロパティを設定する必要があります（Beta ドライバーを使用している場合を除く）。このプロパティの設定方法については、インストールに含まれるライセンスファイルを参照してください。

ステップ1：接続情報

driver = "cdata.jdbc.okta.OktaDriver"
url = "jdbc:okta:RTK=5246...;Domain=dev-44876464.okta.com;"

組み込みの接続文字列デザイナー

JDBC URL の作成をサポートするために、Okta JDBC Driver に組み込まれている接続文字列デザイナーが使用できます。JAR ファイルをダブルクリックするか、コマンドラインからJAR ファイルを実行します。

java -jar cdata.jdbc.okta.jar

接続プロパティを入力し、接続文字列をクリップボードにコピーします。

Okta に接続するには、Domain 接続文字列プロパティをお使いのOkta ドメインに設定します。 Okta はOAuth およびOAuthJWT 認証をサポートしています。

OAuth認証

OAuth で認証するには、AuthScheme をOAuth に設定する必要があります。また、カスタムOAuth アプリケーションを作成する必要があります。

カスタムOAuth アプリケーションの作成

Okta アカウントから：

1. 管理者アカウントでOkta のデベロッパーエディションにサインインします。
2. Admin Consoleで、Applications > Applications に移動します。
3. Create App Integration をクリックします。
4. Sign-in method は、OIDC - OpenID Connect を選択します。
5. Application type は、Web Application を選択します。
6. カスタムアプリケーションの名前を入力します。
7. Grant TypeをAuthorization Code に設定します。トークンを自動的に更新したい場合は、Refresh Token もチェックしてください。
8. コールバックURL を設定します。
   • デスクトップアプリケーションやヘッドレスマシンでは、http://localhost:33333 または任意の別のポート番号を使用します。ここで設定したURI が、CallbackURL プロパティになります。
   • Web アプリケーションの場合、コールバックURL を信頼できるリダイレクトURL に設定します。このURL は、アプリケーションへのアクセスが許可されたことを示すトークンを伴ってユーザーが戻ってくるWeb 上の場所です。
9. Assignments セクションで、Limit access to selected groups を選択してグループを追加するか、グループの割り当ては一旦スキップします。
10. OAuth アプリケーションを保存します。
11. アプリケーションのGeneral タブに、アプリケーションのClient Id とClient Secret が表示されます。後で使用できるように、これらを記録してください。Client Id はOAuthClientId の設定に使用し、Client Secret はOAuthClientSecret の設定に使用します。
12. Assignments タブを確認し、アプリケーションにアクセスする必要のあるすべてのユーザーがアプリケーションに割り当てられていることを確かめます。
13. Okta API Scopes タブで、OAuth アプリケーションに付与するスコープを選択します。これらのスコープは、アプリが読み取り可能なデータを決定します。そのため、特定のビューに対するスコープを付与しないと、そのビューに対するクエリを実行する権限がドライバーに付与されません。各ビューに必要なスコープを確認するには、ヘルプドキュメントのデータモデル > ビュー のビュー固有のページを参照してください。

OAuth 認証の詳細や、OAuthJWT 認証については、ヘルプドキュメントを参照してください。

Okta のデータをロード

接続を設定したら、CData JDBC Driver と接続情報を使用して、Okta のデータをDataFrame としてロードできます。

ステップ2：データの読み取り

remote_table = spark.read.format ( "jdbc" ) \
	.option ( "driver" , driver) \
	.option ( "url" , url) \
	.option ( "dbtable" , "Users") \
	.load ()

Okta のデータを表示

ロードしたOkta のデータをdisplay 関数を呼び出して確認します。

ステップ3：結果の確認

display (remote_table.select ("Id"))

Databricks でOkta のデータを分析

Databricks SparkSQL でデータを処理するには、ロードしたデータをTemp View として登録します。

ステップ4：ビューまたはテーブルを作成

remote_table.createOrReplaceTempView ( "SAMPLE_VIEW" )

Temp View を作成したら、SparkSQL を使用してOkta のデータをレポート、ビジュアライゼーション、分析用に取得できます。

% sql

SELECT Id, ProfileFirstName FROM SAMPLE_VIEW ORDER BY ProfileFirstName DESC LIMIT 5

Okta からのデータは、対象のノートブックでのみ利用可能です。他のユーザーと共有したい場合は、テーブルとして保存します。

remote_table.write.format ( "parquet" ) .saveAsTable ( "SAMPLE_TABLE" )

CData JDBC Driver for Okta の30日間無償トライアルをダウンロードして、Databricks でリアルタイムOkta のデータの操作をはじめましょう。ご不明な点があれば、サポートチームにお問い合わせください。