Apache Spark でBigCommerce のデータをSQL で操作する方法

杉本和也
リードエンジニア

CData JDBC ドライバーを使用して、Apache Spark でBigCommerce にデータ連携。

Apache Spark は大規模データ処理のための高速エンジンです。CData JDBC Driver for BigCommerce と組み合わせると、Spark はリアルタイムでBigCommerce のデータに連携して処理ができます。本記事では、Spark シェルに接続してBigCommerce をクエリする方法について解説します。

CData JDBC Driver は、最適化されたデータ処理がドライバーに組み込まれているため、リアルタイムBigCommerce と対話するための高いパフォーマンスを提供します。BigCommerce に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計など、サポートされているSQL操作を直接BigCommerce にプッシュし、組込みSQL エンジンを使用してサポートされていない操作（SQL 関数やJOIN 操作）をクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブデータ型を使用してBigCommerce を操作して分析できます。

CData JDBC Driver for BigCommerce をインストール

まずは、本記事右側のサイドバーからBigCommerce JDBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

Spark Shell を起動してBigCommerce のデータに接続

ターミナルを開き、Spark shell でCData JDBC Driver for BigCommerce JAR file をjars パラメータに設定します:
```
$ spark-shell --jars /CData/CData JDBC Driver for BigCommerce/lib/cdata.jdbc.bigcommerce.jar
```
Shell でJDBC URL を使ってBigCommerce に接続し、SQL Context load() function でテーブルを読み込みます。
BigCommerce 認証は標準のOAuth フローに基づいています。
Store ID の取得

BigCommerce Store に接続するには、StoreId が必要です。Store Id を確認するには、以下の手順に従ってください。
1. BigCommerce アカウントにログインします。
2. ホームページから「Advanced Settings」->「API Accounts」 を選択します。
3. 「Create API Account」->「Create V2/V3 API Token」をクリックします。
4. 画面にAPI Path という名前のテキストボックスが表示されます。
5. テキストボックス内に、次の構造のURL が表示されます：https://api.bigcommerce.com/stores/{Store Id}/v3。
6. 上記で示したように、Store Id は'stores/' と'/v3' パスパラメータの間にあります。
7. Store Id を取得したら、「キャンセル」 をクリックするか、まだ持っていない場合はAPI Account の作成に進むことができます。
パーソナルアクセストークンの取得

加えて、自分のデータをテストおよびアクセスするには、個人用トークンを取得する必要があります。個人用トークンを取得する方法は次のとおりです。
1. BigCommerce アカウントにログインします。
2. ホームページから「Advanced Settings」->「API Accounts」 を選択します。
3. 「Create API Account」->「Create V2/V3 API Token」をクリックします。
4. アカウント名を入力します。
5. 作成するAPI Account の「OAuth Scopes」を選択します。CData 製品は"None" とマークされたデータにアクセスできません。また、"read-only" とマークされたデータを変更できません。
6. 「保存」をクリックします。
BigCommerce への認証
次に、以下を設定してデータに接続できます。
- StoreId：API Path テキストボックスから取得したStore ID に設定。
- OAuthAccessToken：生成したトークンに設定。
- InitiateOAuth：OFF に設定。
組み込みの接続文字列デザイナー

JDBC 接続文字列URL の作成には、BigCommerce JDBC Driver にビルトインされたデザイナを使用できます。JAR ファイルをダブルクリックするか、コマンドラインでJAR ファイルを実行するとデザイナが開きます。
```
java -jar cdata.jdbc.bigcommerce.jar
```
接続プロパティを入力し、接続文字列をクリップボードにコピーします。
```
scala> val bigcommerce_df = spark.sqlContext.read.format("jdbc").option("url", "jdbc:bigcommerce:OAuthClientId=YourClientId; OAuthClientSecret=YourClientSecret; StoreId='YourStoreID'; CallbackURL='http://localhost:33333'").option("dbtable","Customers").option("driver","cdata.jdbc.bigcommerce.BigCommerceDriver").load()
```
接続が完了し、データがロードされたら、テーブルスキーマが表示されます。
BigCommerce をテンポラリーテーブルとして登録します:
```
scala> bigcommerce_df.registerTable("customers")
```
データに対して、次のようなカスタムSQL クエリを実行します。
```
scala> bigcommerce_df.sqlContext.sql("SELECT FirstName, LastName FROM Customers WHERE FirstName = Bob").collect.foreach(println)
```
コンソールで、次のようなBigCommerce のデータを取得できました！これでBigCommerce との連携は完了です。