Embulk を使用して Workday ののデータをデータベースにロードする方法
Embulk はオープンソースのバルクデータローダーです。CData JDBC Driver for Workday と組み合わせることで、Workday から任意の同期先にデータを簡単にロードできます。この記事では、CData JDBC Driver for Workday をEmbulk で使用してWorkday のデータをMySQL データベースにロードする方法を解説します。
CData JDBC Driver は、最適化されたデータ処理機能を内蔵しており、リアルタイムのWorkday のデータに対して比類のないパフォーマンスを発揮します。Workday に対して複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作を直接Workday にプッシュし、サポートされていない操作(SQL 関数やJOIN 操作など)は組み込みのSQL エンジンを使用してクライアント側で処理します。
Workday データ連携について
CData は、Workday のライブデータにアクセスし、統合するための最も簡単な方法を提供します。お客様は CData の接続機能を以下の目的で使用しています:
- Prism Analytics Data Catalog で作成したテーブルやデータセットにアクセスでき、Workday システムの忠実性を損なうことなく、ネイティブの Workday データハブを操作できます。
- Workday Reports-as-a-Service にアクセスして、Prism から利用できない部門データセットや、Prism の許容サイズを超えるデータセットのデータを表示できます。
- WQL、REST、または SOAP でベースデータオブジェクトにアクセスし、より詳細で細かいアクセスを実現できます(ただし、クエリの作成には Workday 管理者や IT の支援が必要な場合があります)。
ユーザーは、Tableau、Power BI、Excel などの分析ツールと Workday を統合し、当社のツールを活用して Workday データをデータベースやデータウェアハウスにレプリケートしています。アクセスは、認証されたユーザーの ID とロールに基づいて、ユーザーレベルで保護されます。
Workday を CData と連携させるための設定についての詳細は、ナレッジベース記事をご覧ください:Comprehensive Workday Connectivity through Workday WQL および Reports-as-a-Service & Workday + CData: Connection & Integration Best Practices
はじめに
Workday への JDBC 接続を設定
Embulk でバルクロードジョブを作成する前に、JDBC Driver のJAR ファイルのインストール場所(通常はC:\Program Files\CData\CData JDBC Driver for Workday\lib)を確認しておきます。
Embulk はJDBC 接続をサポートしているため、Workday に簡単に接続してSQL クエリを実行できます。バルクロードジョブを作成する前に、Workday への認証用のJDBC URL を作成します。
Workday 接続プロパティの取得・設定方法
ここでは、4つのWorkday API の接続パラメータを設定する方法、およびTenant とBaseURL を取得する方法について説明します。必要なAPI のパラメータが設定され、カスタムOAuth および / またはAzure AD API クライアントを作成したら、接続の準備は完了です。
接続の前提条件
API / 前提条件 / 接続パラメータ
WQL / WQL サービスを有効化(下記参照) / ConnectionType: WQL
Reports as a Service / カタログレポートの設定(ヘルプドキュメントの「データアクセスのファインチューニング」参照) / ConnectionType:
Reports
REST / 自動で有効化 / ConnectionType: REST
SOAP / 自動で有効化 / ヘルプドキュメントのWorkday SOAP API への認証を参照
BaseURL およびTenant の取得
BaseURL およびTenant プロパティを取得するため、Workday にログインしてView API Clients を検索します。 この画面では、Workday はBaseURL とTenant の両方を含むURL であるWorkday REST API Endpoint を表示します。
REST API Endpoint のフォーマットは、
https://domain.com/
- https://domain.com(URL のサブディレクトリと会社名の前の部分)はBaseURL です。
- mycompany(URL の最後のスラッシュの後の部分)はTenant です。
例えば、REST API エンドポイントがhttps://wd3-impl-services1.workday.com/ccx/api/v1/mycompany の場合、 BaseURL はhttps://wd3-impl-services1.workday.com であり、Tenant はmycompany です。
WQL サービスを有効化
Workday WQL API を介して接続するには、はじめにWQL Service を有効にする必要があります。
- Workday を開きます。
- 検索バーにView Domain と入力します。
- プロンプトにWorkday Query Language と入力します。
- Allowed Security Group Types のいずれかに、接続するユーザーが含まれていることを確認します。
Workday への認証
Basic 認証以外のほとんどのWorkday 接続では、認証のためにOAuth ベースのカスタムAPI クライアントアプリケーションを作成する必要があります。これには、ユーザーがAzure AD 資格情報を介して接続するエンタープライズインストールも含まれます。 Workday への認証につての詳細は、ヘルプドキュメントの「Workday への認証」セクションを参照してください。
組み込みの接続文字列デザイナー
JDBC URL の作成には、Workday JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインからJAR ファイルを実行します。
java -jar cdata.jdbc.workday.jar
接続プロパティを入力し、接続文字列をクリップボードにコピーします。
以下は、Workday への一般的なJDBC 接続文字列です。
jdbc:workday:User=myuser;Password=mypassword;Tenant=mycompany_gm1;BaseURL=https://wd3-impl-services1.workday.com;ConnectionType=WQL;
Embulk で Workday ののデータをロード
CData JDBC Driver をインストールしてJDBC 接続文字列を作成したら、必要なEmbulk プラグインをインストールします。
Embulk の入力・出力プラグインをインストール
- Embulk にJDBC 入力プラグインをインストールします。
https://github.com/embulk/embulk-input-jdbc/tree/master/embulk-input-jdbc - この記事では、同期先データベースとしてMySQL を使用します。出力プラグインを使用して、SQL Server、PostgreSQL、またはGoogle BigQuery を同期先として選択することもできます。
https://github.com/embulk/embulk-output-jdbc/tree/master/embulk-output-mysqlembulk gem install embulk-output-mysql
embulk gem install embulk-input-jdbc
入力プラグインと出力プラグインをインストールしたら、Embulk を使用してWorkday のデータをMySQL にロードする準備が整いました。
Workday ののデータをロードするジョブを作成
まず、Embulk で設定ファイルを作成します。ファイル名はworkday-mysql.yml のようにします。
- 入力プラグインのオプションには、CData JDBC Driver for Workday、ドライバーJAR ファイルへのパス、ドライバークラス(例:cdata.jdbc.workday.WorkdayDriver)、および上記のJDBC URL を指定します。
- 出力プラグインのオプションには、MySQL データベースの値と認証情報を指定します。
設定ファイルのサンプル(workday-mysql.yml)
in: type: jdbc driver_path: C:\Program Files\CData[product_name] 20xx\lib\cdata.jdbc.workday.jar driver_class: cdata.jdbc.workday.WorkdayDriver url: jdbc:workday:User=myuser;Password=mypassword;Tenant=mycompany_gm1;BaseURL=https://wd3-impl-services1.workday.com;ConnectionType=WQL; table: "Workers" out: type: mysql host: localhost database: DatabaseName user: UserId password: UserPassword table: "Workers" mode: insert
ファイルを作成したら、Embulk ジョブを実行します。
embulk run workday-mysql.yml
Embulk ジョブを実行すると、MySQL テーブルにWorkday のデータが格納されます。
フィルタリングした Workday ののデータをロード
テーブルから直接データをロードするだけでなく、カスタムSQL クエリを使用してロードするデータをより詳細に制御できます。また、クエリフィールドのSQL WHERE 句で最終更新カラムを設定することで、増分ロードを実行することもできます。
in: type: jdbc driver_path: C:\Program Files\CData[product_name] 20xx\lib\cdata.jdbc.workday.jar driver_class: cdata.jdbc.workday.WorkdayDriver url: jdbc:workday:User=myuser;Password=mypassword;Tenant=mycompany_gm1;BaseURL=https://wd3-impl-services1.workday.com;ConnectionType=WQL; query: "SELECT Worker_Reference_WID, Legal_Name_Last_Name FROM Workers WHERE [RecordId] = 1" out: type: mysql host: localhost database: DatabaseName user: UserId password: UserPassword table: "Workers" mode: insert
詳細情報と無料トライアル
CData JDBC Driver for Workday をコネクタとして使用することで、Embulk のデータロードジョブにWorkday のデータを統合できます。また、200 を超えるエンタープライズデータソース向けドライバーにより、あらゆるエンタープライズSaaS、ビッグデータ、NoSQL ソースも統合できます。30日間の無料トライアルをダウンロードして、今すぐお試しください。