Python でHCL Domino のデータを変換・出力するETL 処理を作る方法

Pythonエコシステムには多くのモジュールがあり、システム構築を素早く効率的に行うことができます。本記事では、CData Python Connector for Domino とpetl フレームワークを使って、HCL Domino のデータにPython から接続してデータを変換、CSV に出力するETL 変換を実装してみます。

CData Python Connector は効率的なデータ処理によりHCL Domino のデータ にPython から接続し、高いパフォーマンスを発揮します。HCL Domino にデータをクエリする際、ドライバーはフィルタリング、集計などがサポートされている場合SQL 処理を直接HCL Domino 側に行わせ、サポートされていないSQL 処理については、組み込みのSQL エンジンによりクライアント側で処理を行います（JOIN やSQL 関数など）。

必要なモジュールのインストール

pip で必要なモジュールおよびフレームワークをインストールします：

pip install petl
pip install pandas

Python でHCL Domino のデータをETL 処理するアプリを構築

モジュールとフレームワークをインストールしたら、ETL アプリケーションを組んでいきます。コードのスニペットは以下の通りです。フルコードは記事の末尾に付いています。

CData Connector を含むモジュールをインポートします。

import petl as etl
import pandas as pd
import cdata.domino as mod

接続文字列で接続を確立します。connect 関数を使って、CData HCL Domino Connector からHCL Domino への接続を行います

cnxn = mod.connect("URL=http://dominoserver:3002/;DatabaseScope=names;TableTypes=Tables;AuthScheme=OAuthPassword;User=MyUser;Password=MyPassword;")

Domino への接続

それでは、Domino のデータに接続していきましょう。接続するには、以下のプロパティを設定してください。

• URL：Domino データベースをホスティングしているサーバーのホスト名またはIP アドレス。Domino データベースをホスティングしているサーバーのポートを含めます。例：http://sampleserver:1234/
• DatabaseScope：Domino Web UI でのスコープ名。CData 製品は、指定されたスコープに適合するスキーマのフォームとビューを公開します。Domino Admin UI で、サイドバーのScopes メニューを選択してください。このプロパティを既存のスコープ名に設定します

Domino での認証

続いて、認証方法を設定しましょう。Domino では、ログインクレデンシャル（OAuthPassword）またはMicrosoft Entra ID（AzureAD）のいずれかによる認証をサポートしています。

ログインクレデンシャル

ログインクレデンシャルで認証するには、以下のプロパティを設定してください：

• AuthScheme：OAuthPassword
• User：認証するDomino ユーザーのユーザー名
• Password：認証するDomino ユーザーに関連付けられたパスワード

ドライバーがログインクレデンシャルを使用して、自動的にOAuth トークン交換を実行します。

Microsoft Entra ID（Azure AD）

この認証方法は、Azure Active Directory をIdP として使用してJWT トークンを取得します。Azure Active Directory にカスタムのアプリケーションを作成し、それをIdP として設定する必要があります。詳しい手順については、ヘルプドキュメントの指示に従ってください。その後、以下のプロパティを設定します。

• AuthScheme：AzureAD
• InitiateOAuth：これをGETANDREFRESH に設定します。InitiateOAuth を使用すると、OAuth 交換の繰り返しやOAuthAccessToken の手動設定を避けることができます
• OAuthClientId：カスタムAzure AD アプリケーションの作成時に取得したクライアントID
• OAuthClientSecret：カスタムAzure AD アプリケーションの作成時に取得したクライアントシークレット
• CallbackURL：カスタムAzure AD アプリケーションの登録時に指定されたリダイレクトURI。例えば、https://localhost:33333
• AzureTenant：データにアクセスするために使用されるMicrosoft Online テナント。companyname.microsoft.com 形式の値またはテナントID のいずれかを指定してください

テナントID は、Azure ポータルのAzure Active Directory > プロパティページに表示されているディレクトリID と同じです。

HCL Domino をクエリするSQL 文の作成

HCL Domino にはSQL でデータアクセスが可能です。ByName エンティティからのデータを読み出します。

sql = "SELECT Name, Address FROM ByName WHERE City = 'Miami'"

HCL Domino データのETL 処理

DataFrame に格納されたクエリ結果を使って、petl でETL（抽出・変換・ロード）パイプラインを組みます。この例では、HCL Domino のデータ を取得して、Address カラムでデータをソートして、CSV ファイルにデータをロードします。

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'Address')

etl.tocsv(table2,'byname_data.csv')

CData Python Connector for Domino を使えば、データベースを扱う場合と同感覚で、HCL Domino のデータ を扱うことができ、petl のようなETL パッケージから直接データにアクセスが可能になります。

おわりに

HCL Domino Python Connector の30日の無償トライアル をぜひダウンロードして、HCL Domino のデータ への接続をPython アプリやスクリプトから簡単に作成しましょう。

フルソースコード

import petl as etl
import pandas as pd
import cdata.domino as mod

cnxn = mod.connect("URL=http://dominoserver:3002/;DatabaseScope=names;TableTypes=Tables;AuthScheme=OAuthPassword;User=MyUser;Password=MyPassword;")

sql = "SELECT Name, Address FROM ByName WHERE City = 'Miami'"

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'Address')

etl.tocsv(table2,'byname_data.csv')