Apache Spark でConfluence のデータをSQL で操作する方法

杉本和也
リードエンジニア

CData JDBC ドライバーを使用して、Apache Spark でConfluence にデータ連携。

Apache Spark は大規模データ処理のための高速エンジンです。CData JDBC Driver for Confluence と組み合わせると、Spark はリアルタイムでConfluence のデータに連携して処理ができます。本記事では、Spark シェルに接続してConfluence をクエリする方法について解説します。

CData JDBC Driver は、最適化されたデータ処理がドライバーに組み込まれているため、リアルタイムConfluence と対話するための高いパフォーマンスを提供します。Confluence に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計など、サポートされているSQL操作を直接Confluence にプッシュし、組込みSQL エンジンを使用してサポートされていない操作（SQL 関数やJOIN 操作）をクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブデータ型を使用してConfluence を操作して分析できます。

CData JDBC Driver for Confluence をインストール

まずは、本記事右側のサイドバーからConfluence JDBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

Spark Shell を起動してConfluence のデータに接続

ターミナルを開き、Spark shell でCData JDBC Driver for Confluence JAR file をjars パラメータに設定します:
```
$ spark-shell --jars /CData/CData JDBC Driver for Confluence/lib/cdata.jdbc.confluence.jar
```
Shell でJDBC URL を使ってConfluence に接続し、SQL Context load() function でテーブルを読み込みます。
Confluence 接続プロパティの取得・設定方法

任意のConfluence Cloud またはConfluence Server インスタンスへの接続を確立できます。接続するにはURL 接続プロパティを設定します。例えば、https://yoursitename.atlassian.net です。

Confluence への認証

Confluence は、次の認証メソッドをサポートしています：API トークン、Basic 認証、OAuth 2.0、SSO。

API トークン - Confluence Cloud アカウント

トークンの取得

アカウント認証にはAPI トークンが必要です。API トークンを生成するには、Atlassian アカウントにログインしてAPI トークン -> API トークンの作成を選択します。生成されたトークンが表示されます。

トークンを使用する認証

Cloud アカウントへの認証を行うには、以下を入力します。
- AuthScheme：APIToken に設定。
- User：Confluence サーバーに認証する際に使用されるユーザー。
- APIToken：現在認証されているユーザーに紐づくAPI トークン。
- Url：Confluence エンドポイントに紐づくURL。例えば、https://yoursitename.atlassian.net です。
Basic 認証 - Confluence Server インスタンス

Server インスタンスへの認証を行うには、以下のように指定します。
- AuthScheme：Basic に設定。
- User：Confluence インスタンスに認証する際に使用されるユーザー。
- Password：Confluence サーバーに認証する際に使われるパスワード。
- Url：Confluence エンドポイントに紐づくURL。例えば、https://yoursitename.atlassian.net です。
その他の認証方法と詳細については、ヘルプドキュメントの「はじめに」セクションを参照してください。
組み込みの接続文字列デザイナー

JDBC 接続文字列URL の作成には、Confluence JDBC Driver にビルトインされたデザイナを使用できます。JAR ファイルをダブルクリックするか、コマンドラインでJAR ファイルを実行するとデザイナが開きます。
```
java -jar cdata.jdbc.confluence.jar
```
接続プロパティを入力し、接続文字列をクリップボードにコピーします。
```
scala> val confluence_df = spark.sqlContext.read.format("jdbc").option("url", "jdbc:confluence:User=admin;APIToken=myApiToken;Url=https://yoursitename.atlassian.net;Timezone=America/New_York;").option("dbtable","Pages").option("driver","cdata.jdbc.confluence.ConfluenceDriver").load()
```
接続が完了し、データがロードされたら、テーブルスキーマが表示されます。
Confluence をテンポラリーテーブルとして登録します:
```
scala> confluence_df.registerTable("pages")
```
データに対して、次のようなカスタムSQL クエリを実行します。
```
scala> confluence_df.sqlContext.sql("SELECT Key, Name FROM Pages WHERE Id = 10000").collect.foreach(println)
```
コンソールで、次のようなConfluence のデータを取得できました！これでConfluence との連携は完了です。