Embulk を使用して HubDB ののデータをデータベースにロードする方法

Jerod Johnson
Jerod Johnson
Senior Technology Evangelist
CData JDBC Driver とオープンソースのETL/ELT ツールであるEmbulk を使ってHubDB のデータをデータベースにロードする方法を解説します。

Embulk はオープンソースのバルクデータローダーです。CData JDBC Driver for HubDB と組み合わせることで、HubDB から任意の同期先にデータを簡単にロードできます。この記事では、CData JDBC Driver for HubDB をEmbulk で使用してHubDB のデータをMySQL データベースにロードする方法を解説します。

CData JDBC Driver は、最適化されたデータ処理機能を内蔵しており、リアルタイムのHubDB のデータに対して比類のないパフォーマンスを発揮します。HubDB に対して複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作を直接HubDB にプッシュし、サポートされていない操作（SQL 関数やJOIN 操作など）は組み込みのSQL エンジンを使用してクライアント側で処理します。

HubDB への JDBC 接続を設定

Embulk でバルクロードジョブを作成する前に、JDBC Driver のJAR ファイルのインストール場所（通常はC:\Program Files\CData\CData JDBC Driver for HubDB\lib）を確認しておきます。

Embulk はJDBC 接続をサポートしているため、HubDB に簡単に接続してSQL クエリを実行できます。バルクロードジョブを作成する前に、HubDB への認証用のJDBC URL を作成します。

HubDBデータソースへの接続には、パブリックHubSpotアプリケーションを使用したOAuth認証とプライベートアプリケーショントークンを使用した認証の2つの方法があります。

カスタムOAuthアプリを使用する

すべてのOAuthフローでAuthSchemeを"OAuth"に設定する必要があります。特定の認証ニーズ（デスクトップアプリケーション、Webアプリケーション、ヘッドレスマシン）に必要な接続プロパティについては、ヘルプドキュメントを確認してください。

アプリケーションを登録し、OAuthクライアント認証情報を取得するには、以下の手順を実行してください。

  1. HubSpotアプリ開発者アカウントにログインします。
    • アプリ開発者アカウントである必要があります。標準のHubSpotアカウントではパブリックアプリを作成できません。
  2. 開発者アカウントのホームページで、アプリタブをクリックします。
  3. アプリを作成をクリックします。
  4. アプリ情報タブで、ユーザーが接続する際に表示される値を入力し、必要に応じて変更します。これらの値には、パブリックアプリケーション名、アプリケーションロゴ、アプリケーションの説明が含まれます。
  5. 認証タブで、「リダイレクトURL」ボックスにコールバックURLを入力します。
    • デスクトップアプリケーションを作成する場合は、http://localhost:33333のようなローカルにアクセス可能なURLに設定します。
    • Webアプリケーションを作成する場合は、ユーザーがアプリケーションを承認した際にリダイレクトされる信頼できるURLに設定します。
  6. アプリを作成をクリックします。HubSpotがアプリケーションとそれに関連する認証情報を生成します。
  7. 認証タブで、クライアントIDとクライアントシークレットを確認します。これらは後でドライバーを設定する際に使用します。

  8. スコープの下で、アプリケーションの意図する機能に必要なスコープを選択します。

    テーブルにアクセスするには、最低限以下のスコープが必要です：

    • hubdb
    • oauth
    • crm.objects.owners.read
  9. 変更を保存をクリックします。
  10. 統合に必要な機能にアクセスできる本番ポータルにアプリケーションをインストールします。
    • 「インストールURL（OAuth）」の下で、完全なURLをコピーをクリックして、アプリケーションのインストールURLをコピーします。
    • コピーしたリンクをブラウザで開きます。アプリケーションをインストールする標準アカウントを選択します。
    • アプリを接続をクリックします。結果のタブは閉じて構いません。

プライベートアプリを使用する

HubSpotプライベートアプリケーショントークンを使用して接続するには、AuthSchemeプロパティを"PrivateApp"に設定します。

以下の手順に従ってプライベートアプリケーショントークンを生成できます：

  1. HubDBアカウントで、メインナビゲーションバーの設定アイコン（歯車）をクリックします。
  2. 左サイドバーメニューで、統合 > プライベートアプリに移動します。
  3. プライベートアプリを作成をクリックします。
  4. 基本情報タブで、アプリケーションの詳細（名前、ロゴ、説明）を設定します。
  5. スコープタブで、プライベートアプリケーションがアクセスできるようにしたい各スコープに対して読み取りまたは書き込みを選択します。
  6. テーブルにアクセスするには、最低限hubdbとcrm.objects.owners.readが必要です。
  7. アプリケーションの設定が完了したら、右上のアプリを作成をクリックします。
  8. アプリケーションのアクセストークンに関する情報を確認し、作成を続行をクリックし、その後トークンを表示をクリックします。
  9. コピーをクリックして、プライベートアプリケーショントークンをコピーします。

接続するには、PrivateAppTokenを取得したプライベートアプリケーショントークンに設定します。

組み込みの接続文字列デザイナー

JDBC URL の作成には、HubDB JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインからJAR ファイルを実行します。

java -jar cdata.jdbc.hubdb.jar

接続プロパティを入力し、接続文字列をクリップボードにコピーします。

以下は、HubDB への一般的なJDBC 接続文字列です。 

jdbc:hubdb:AuthScheme=OAuth;OAuthClientID=MyOAuthClientID;OAuthClientSecret=MyOAuthClientSecret;CallbackURL=http://localhost:33333;

Embulk で HubDB ののデータをロード

CData JDBC Driver をインストールしてJDBC 接続文字列を作成したら、必要なEmbulk プラグインをインストールします。

Embulk の入力・出力プラグインをインストール

  1. Embulk にJDBC 入力プラグインをインストールします。
    https://github.com/embulk/embulk-input-jdbc/tree/master/embulk-input-jdbc
    2. embulk gem install embulk-input-jdbc
  2. この記事では、同期先データベースとしてMySQL を使用します。出力プラグインを使用して、SQL Server、PostgreSQL、またはGoogle BigQuery を同期先として選択することもできます。
    https://github.com/embulk/embulk-output-jdbc/tree/master/embulk-output-mysql 
    embulk gem install embulk-output-mysql

入力プラグインと出力プラグインをインストールしたら、Embulk を使用してHubDB のデータをMySQL にロードする準備が整いました。

HubDB ののデータをロードするジョブを作成

まず、Embulk で設定ファイルを作成します。ファイル名はhubdb-mysql.yml のようにします。

  1. 入力プラグインのオプションには、CData JDBC Driver for HubDB、ドライバーJAR ファイルへのパス、ドライバークラス（例：cdata.jdbc.hubdb.HubDBDriver）、および上記のJDBC URL を指定します。
  2. 出力プラグインのオプションには、MySQL データベースの値と認証情報を指定します。

設定ファイルのサンプル（hubdb-mysql.yml）

in:
	type: jdbc
	driver_path: C:\Program Files\CData[product_name] 20xx\lib\cdata.jdbc.hubdb.jar
	driver_class: cdata.jdbc.hubdb.HubDBDriver
	url: jdbc:hubdb:AuthScheme=OAuth;OAuthClientID=MyOAuthClientID;OAuthClientSecret=MyOAuthClientSecret;CallbackURL=http://localhost:33333;
	table: "NorthwindProducts"
out:
	type: mysql
	host: localhost
	database: DatabaseName
	user: UserId
	password: UserPassword
	table: "NorthwindProducts"
	mode: insert

ファイルを作成したら、Embulk ジョブを実行します。

embulk run hubdb-mysql.yml

Embulk ジョブを実行すると、MySQL テーブルにHubDB のデータが格納されます。

フィルタリングした HubDB ののデータをロード

テーブルから直接データをロードするだけでなく、カスタムSQL クエリを使用してロードするデータをより詳細に制御できます。また、クエリフィールドのSQL WHERE 句で最終更新カラムを設定することで、増分ロードを実行することもできます。 

in:
	type: jdbc
	driver_path: C:\Program Files\CData[product_name] 20xx\lib\cdata.jdbc.hubdb.jar
	driver_class: cdata.jdbc.hubdb.HubDBDriver
	url: jdbc:hubdb:AuthScheme=OAuth;OAuthClientID=MyOAuthClientID;OAuthClientSecret=MyOAuthClientSecret;CallbackURL=http://localhost:33333;
	query: "SELECT PartitionKey, Name FROM NorthwindProducts WHERE [RecordId] = 1"
out:
	type: mysql
	host: localhost
	database: DatabaseName
	user: UserId
	password: UserPassword
	table: "NorthwindProducts"
	mode: insert

詳細情報と無料トライアル

CData JDBC Driver for HubDB をコネクタとして使用することで、Embulk のデータロードジョブにHubDB のデータを統合できます。また、200 を超えるエンタープライズデータソース向けドライバーにより、あらゆるエンタープライズSaaS、ビッグデータ、NoSQL ソースも統合できます。30日間の無料トライアルをダウンロードして、今すぐお試しください。

はじめる準備はできましたか？

HubDB Driver の無料トライアルをダウンロードしてお試しください：

 ダウンロード

詳細：

HubDB Icon HubDB JDBC Driver お問い合わせ

HubDB データと連携するパワフルなJava アプリケーションを短時間・低コストで作成して配布できます。

この記事の内容

関連記事