JayDeBeApi を使って Python からGoogle Data Catalog のデータにアクセス

Python と Java がインストールされている環境であれば、Python スクリプトと標準 SQL を使ってGoogle Data Catalog のデータにアクセスできます。CData JDBC Driver for Google Data Catalog と JayDeBeApi モジュールを組み合わせることで、Python からリモートのGoogle Data Catalog のデータを操作できます。CData ドライバーを使用することで、業界標準に準拠した実績のあるドライバーを Python という人気の高い言語で活用できます。この記事では、ドライバーを使って Google Data Catalog に SQL クエリを実行し、標準的な Python でGoogle Data Catalog のデータを可視化する方法を説明します。

JayDeBeApi モジュールを使用

JayDeBeApi は、JDBC（Java Database Connectivity）のブリッジとして機能する Python ライブラリで、Python プログラムから CData JDBC ドライバーを含む Java データベースとやり取りできるようになります。pip install コマンドでモジュールをインストールします。

pip install JayDeBeApi

JDBC URL を作成

JayDeBeApi をインストールしたら、SQL を使って Python からGoogle Data Catalog のデータを操作する準備が整います。

Google Data Catalog 接続プロパティの取得・設定方法

認証プロパティを追加する前に、次の接続プロパティを設定してください。

• OrganizationId：接続するGoogle Cloud Platform の組織リソースに関連付けられたID。これはGCP コンソールに移動して確認してください。 「プロジェクト」ドロップダウンメニューを開き、リストから組織へのリンクをクリックします。このページから組織ID を取得できます。
• ProjectId：接続するGCP のプロジェクトリソースに関連付けられたID。GCP コンソールのダッシュボードに移動し、「プロジェクトを選択」のメニューからお好みのプロジェクトを選択して確認してください。プロジェクトID は、「プロジェクト情報」項目に表示されます。

Google Data Catalog への認証

CData 製品は、認証にユーザーアカウント、サービスアカウント、およびGCP インスタンスアカウントの使用をサポートします。

OAuth の設定方法については、ヘルプドキュメントの「OAuth」セクションを参照してください。

ビルトイン接続文字列デザイナー

JDBC URL の作成には、Google Data Catalog JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから実行します。

java -jar cdata.jdbc.googledatacatalog.jar

接続プロパティを入力し、接続文字列をクリップボードにコピーします。

以下は、一般的な JDBC 接続文字列を含む変数の例です。

jdbc_url = "jdbc:googledatacatalog:ProjectId=YourProjectId;"

Python からGoogle Data Catalog のデータにアクセス

JDBC URL を設定したら、あとは JDBC ドライバーの JAR ファイルへの絶対パスだけが必要です。これはインストールディレクトリの "lib" フォルダにあります（Windows では "C:\Program Files\CData[product_name] 20XX\lib\cdata.jdbc.googledatacatalog.jar"）。

注意: まだ設定していない場合は、JAVA_HOME 環境変数を Java のインストールディレクトリに設定してください。

以下のようなコードで Google Data Catalog からデータを読み取り、表示できます。

import jaydebeapi

#The JDBC connection string
jdbc_url = "jdbc:googledatacatalog:ProjectId=YourProjectId;"

username = "****"
password = "****"

#The absolute Path to the JDBC driver JAR file, typically:
jdbc_driver_jar = "C:\Program Files\CData[product_name] 20XX\lib\cdata.jdbc.googledatacatalog.jar"

conn = jaydebeapi.connect(
   "cdata.jdbc.googledatacatalog.GoogleDataCatalogDriver",
   jdbc_url,
   [username, password],
   jdbc_driver_jar,
)

cursor = conn.cursor()
cursor.execute("SELECT * FROM Schemas;")


results = cursor.fetchall()
for row in results:
    print(row)

cursor.close()
conn.close()

無料トライアルと詳細情報

CData JDBC Driver for Google Data Catalog の 30 日間無料トライアルをダウンロードして、Python でリアルタイムのGoogle Data Catalog のデータを操作してみてください。ご不明な点がございましたら、サポートチームまでお問い合わせください。