ODBC 経由で R から Databricks のデータ を分析

純粋な R スクリプトと標準 SQL で Databricks のデータ にアクセスできます。CData ODBC ドライバ for Databricks と RODBC パッケージを使用すると、R からリモート Databricks のデータ を操作できます。CData ドライバを使用することで、業界で実績のある標準に準拠したドライバを活用し、人気のオープンソース言語 R でデータにアクセスできます。この記事では、ドライバを使用して Databricks のデータ に SQL クエリを実行し、R で Databricks のデータ を可視化する方法を説明します。

はじめに

---

R をインストール

マルチスレッドや管理コードによるドライバのパフォーマンス向上は、マルチスレッド対応の Microsoft R Open や、BLAS/LAPACK ライブラリにリンクした R を実行することで補完できます。この記事では Microsoft R Open（MRO）を使用します。

Databricks にODBC データソースとして接続

Databricks への接続情報と、Windows および Linux 環境での DSN 設定手順を説明します。

Databricks 接続プロパティの取得・設定方法

Databricks クラスターに接続するには、以下のプロパティを設定します。

• Database：Databricks データベース名。
• Server：Databricks クラスターのサーバーのホスト名。
• HTTPPath：Databricks クラスターのHTTP パス。
• Token：個人用アクセストークン。この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。

Databricks への認証

CData は、次の認証スキームをサポートしています。

• 個人用アクセストークン
• Microsoft Entra ID（Azure AD）
• Azure サービスプリンシパル
• OAuthU2M
• OAuthM2M

個人用アクセストークン

認証するには、次を設定します。

• AuthScheme：PersonalAccessToken。
• Token：Databricks サーバーへの接続に使用するトークン。Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。

その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。

DSN を設定する際に、Max Rows 接続プロパティも設定することをお勧めします。これにより返される行数が制限され、レポートやビジュアライゼーションの設計時のパフォーマンス向上に役立ちます。

Windows

まだ設定していない場合は、ODBC DSN（データソース名）で接続プロパティを指定します。これはドライバーインストールの最後のステップです。Microsoft ODBC データソースアドミニストレーターを使用して、ODBC DSN を作成・設定できます。

Linux

Linux 環境で CData ODBC Driver for Databricks をインストールする場合、ドライバーのインストール時にシステム DSN が事前定義されます。システムデータソースファイル（/etc/odbc.ini）を編集して、必要な接続プロパティを定義することで DSN を変更できます。

/etc/odbc.ini

[CData Databricks Source]
Driver = CData ODBC Driver for Databricks
Description = My Description
Server = 127.0.0.1
HTTPPath = MyHTTPPath
User = MyUser
Token = MyToken

これらの設定ファイルの使用方法の詳細については、ヘルプドキュメント（インストール済みまたはオンライン）を参照してください。

RODBC パッケージを読み込む

ドライバを使用するには、RODBC パッケージをダウンロードします。RStudio で、［ツール］ -> ［パッケージのインストール］をクリックし、［パッケージ］ボックスに RODBC と入力します。

RODBC パッケージをインストールした後、以下の行でパッケージを読み込みます。

library(RODBC)

注意：この記事では RODBC バージョン 1.3-12 を使用しています。Microsoft R Open を使用すると、Microsoft の MRAN リポジトリのチェックポイント機能を使用して同じバージョンでテストできます。 checkpoint コマンドを使用すると、MRAN リポジトリでホストされている CRAN リポジトリのスナップショットからパッケージをインストールできます。2016年1月1日のスナップショットにはバージョン 1.3-12 が含まれています。

library(checkpoint)
checkpoint("2016-01-01")

Databricks のデータ にODBC データソースとして接続

以下の行で R から DSN に接続できます。

conn <- odbcConnect("CData Databricks Source")

スキーマの検出

ドライバは Databricks API をリレーショナルテーブル、ビュー、ストアドプロシージャとしてモデル化します。以下の行でテーブルの一覧を取得できます。

sqlTables(conn)

SQL クエリを実行

sqlQuery 関数を使用して、Databricks API でサポートされている任意の SQL クエリを実行できます。

customers <- sqlQuery(conn, "SELECT City, CompanyName FROM Customers WHERE Country = 'US'", believeNRows=FALSE, rows_at_time=1)

以下のコマンドでデータビューアウィンドウに結果を表示できます。

View(customers)

Databricks のデータ をプロット

これで、CRAN リポジトリで利用可能なデータビジュアライゼーションパッケージを使用して Databricks のデータ を分析できます。組み込みのバープロット関数を使用して、シンプルな棒グラフを作成できます。

par(las=2,ps=10,mar=c(5,15,4,2))
barplot(customers$CompanyName, main="Databricks Customers", names.arg = customers$City, horiz=TRUE)