PyCharm でCData ODBC Driver を使ってDatabricks に接続

CData ODBC Drivers は、ODBC ドライバーをサポートするあらゆる環境から利用可能です。本記事では、PyCharm からのCData ODBC Driver for Databricks の利用を説明します。CData ODBC Deriver をデータソースとして設定する方法、データソースをクエリして結果を表示するためのPyCharm の簡単なコードを含みます。

はじめに、このチュートリアルではCData ODBC Driver for Databricks とPyCharm が、既にインストールされていることを前提としています。

Pyodbc をプロジェクトに追加

以下のステップに従って、pyodbc モジュールをプロジェクトに追加します。

1. ［File］->［Settings］とクリックして［project settings］ウィンドウを開きます。
2. ［Project: YourProjectName］メニューから［Project Interpreter］をクリックします。
3. pyodbc を追加するため、+ ボタンをクリックしてpyodbc と入力します。
4. ［Install Package］をクリックしてpyodbc をインストールします。

CData ODBC ドライバとは？

CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。

1. Databricks をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレミスデータソースに対応
2. 多様なアプリケーション、ツールにDatabricks のデータを連携
3. ノーコードでの手軽な接続設定
4. 標準 SQL での柔軟なデータ読み込み・書き込み

CData ODBC ドライバでは、1.データソースとしてDatabricks の接続を設定、2.PyCharm 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

CData ODBC ドライバのインストールとDatabricks への接続設定

まずは、本記事右側のサイドバーからDatabricks ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

これで、ODBC 接続文字列またはDSN で接続できます。お客様のOS でDSN を作成するためのガイドについては、CData ドライバードキュメントの［はじめに］セクションを参照してください。

Databricks 接続プロパティの取得・設定方法

Databricks クラスターに接続するには、以下のプロパティを設定します。

• Database：Databricks データベース名。
• Server：Databricks クラスターのサーバーのホスト名。
• HTTPPath：Databricks クラスターのHTTP パス。
• Token：個人用アクセストークン。この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。

Databricks への認証

CData は、次の認証スキームをサポートしています。

• 個人用アクセストークン
• Microsoft Entra ID（Azure AD）
• Azure サービスプリンシパル
• OAuthU2M
• OAuthM2M

個人用アクセストークン

認証するには、次を設定します。

• AuthScheme：PersonalAccessToken。
• Token：Databricks サーバーへの接続に使用するトークン。Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます。

その他の認証方法については、ヘルプドキュメント の「はじめに」セクションを参照してください。

以下はDSN の構文です。

[CData Databricks Source]
Driver = CData ODBC Driver for Databricks
Description = My Description
Server = 127.0.0.1
HTTPPath = MyHTTPPath
User = MyUser
Token = MyToken

Databricks へのクエリの実行

Cursor をインスタンス化し、Cursor クラスのexecute メソッドを使用してSQL ステートメントを実行します。

import pyodbc

cnxn = pyodbc.connect('DRIVER={CData ODBC Driver for Databricks};Server = 127.0.0.1;HTTPPath = MyHTTPPath;User = MyUser;Token = MyToken;')
cursor = cnxn.cursor()
cursor.execute("SELECT City, CompanyName FROM Customers WHERE Country = 'US'")
rows = cursor.fetchall()
for row in rows:
  print(row.City, row.CompanyName)

CData ODBC Driver を使用してPyCharm でDatabricks に接続すると、Databricks にアクセスできるPython アプリケーションを標準データベースのように構築できるようになります。このチュートリアルに関する質問、コメント、フィードバックがある場合には、support@cdata.com までご連絡ください。

Databricks からPyCharm へのデータ連携には、ぜひCData ODBC ドライバをご利用ください

このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。