Java で BigQuery のデータ エンティティのオブジェクト リレーショナル マッピング(ORM)を行う

Jerod Johnson
Jerod Johnson
Senior Technology Evangelist
オブジェクト リレーショナル マッピング(ORM)技術を使用すると、リレーショナルデータソースの操作が容易になり、論理的なビジネスモデルと物理ストレージモデルを橋渡しできます。本記事では、Java ベースの ORM フレームワーク Hibernate に BigQuery のデータ への接続を組み込む方法を説明します。

Hibernate を使用して、オブジェクト指向のドメインモデルを従来のリレーショナルデータベースにマッピングできます。以下のチュートリアルでは、CData JDBC Driver for BigQuery を使用して Hibernate で BigQuery リポジトリの ORM を生成する方法を説明します。

本記事では IDE として Eclipse を使用していますが、CData JDBC Driver for BigQuery は Java ランタイム環境をサポートするあらゆる製品で使用できます。Knowledge Base には、IntelliJ IDEA や NetBeans から BigQuery のデータ に接続するためのチュートリアルも用意しています。

BigQuery データ連携について

CData は、Google BigQuery のライブデータへのアクセスと統合を簡素化します。お客様は CData の接続機能を以下の目的で活用しています:

  • OAuth、OAuth JWT、GCP インスタンスなど、すぐに使える幅広い認証スキームのサポートにより、BigQuery へのアクセスを簡素化します。
  • BigQuery と他のアプリケーション間の双方向データアクセスにより、データワークフローを強化します。
  • SQL ストアドプロシージャを通じて、ジョブの開始・取得・キャンセル、テーブルの削除、ジョブロードの挿入など、主要な BigQuery アクションを実行できます。

多くの CData のお客様は、Google BigQuery をデータウェアハウスとして使用しており、CData ソリューションを使用して、別々のソースからビジネスデータを BigQuery に移行し、包括的な分析を行っています。また、BigQuery データの分析やレポート作成に当社の接続機能を使用するお客様も多く、両方のソリューションを使用しているお客様も多数います。

CData が Google BigQuery 体験をどのように向上させるかについての詳細は、ブログ記事をご覧ください:https://jp.cdata.com/blog/what-is-bigquery


はじめに


Hibernate のインストール

以下の手順に従って、Eclipse に Hibernate プラグインをインストールします。

  1. Eclipse で、Help -> Install New Software を選択します。
  2. Work With ボックスに「http://download.jboss.org/jbosstools/neon/stable/updates/」を入力します。
  3. フィルタボックスに「Hibernate」と入力します。
  4. Hibernate Tools を選択します。

新規プロジェクトの作成

以下の手順に従って、新しいプロジェクトにドライバー JAR を追加します。

  1. 新規プロジェクトを作成します。プロジェクトタイプとして Java Project を選択し、Next をクリックします。プロジェクト名を入力して Finish をクリックします。
  2. プロジェクトを右クリックして Properties をクリックします。Java Build Path をクリックし、Libraries タブを開きます。
  3. Add External JARs をクリックして、インストールディレクトリの lib サブフォルダにある cdata.jdbc.googlebigquery.jar ライブラリを追加します。

Hibernate 設定ファイルの追加

以下の手順に従って、BigQuery のデータ への接続プロパティを設定します。

  1. 新規プロジェクトを右クリックし、New -> Hibernate -> Hibernate Configuration File (cfg.xml) を選択します。
  2. src を親フォルダとして選択し、Next をクリックします。
  3. 以下の値を入力します:

    • Hibernate version:: 5.2
    • Database dialect: Derby
    • Driver class: cdata.jdbc.googlebigquery.GoogleBigQueryDriver
    • Connection URL: JDBC URL です。jdbc:googlebigquery: から始まり、セミコロン区切りの接続プロパティが続きます。

      BigQuery 接続プロパティの取得・設定方法

      Google BigQuery はOAuth 認証標準を使用します。個々のユーザーとしてGoogle API にアクセスするには、組み込みクレデンシャルを使うか、OAuth アプリを作成します。

      OAuth では、Google Apps ドメインのユーザーとしてサービスアカウントを使ってアクセスすることもできます。サービスカウントでの認証では、OAuth JWT を取得するためのアプリケーションを登録する必要があります。

      OAuth 値に加え、DatasetId、ProjectId を設定する必要があります。詳細はヘルプドキュメントの「はじめに」を参照してください。

      組み込みの接続文字列デザイナー

      JDBC URL の構築には、BigQuery JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから jar ファイルを実行してください。

      java -jar cdata.jdbc.googlebigquery.jar
      

      接続プロパティを入力し、接続文字列をクリップボードにコピーします。

      一般的な JDBC URL は以下のとおりです:

      jdbc:googlebigquery:DataSetId=MyDataSetId;ProjectId=MyProjectId;

Hibernate から BigQuery のデータ に接続

以下の手順に従って、前のステップで作成した設定を選択します。

  1. Hibernate Configurations パースペクティブに切り替えます: Window -> Open Perspective -> Hibernate。
  2. Hibernate Configurations パネルを右クリックし、Add Configuration をクリックします。
  3. Hibernate version を 5.2 に設定します。
  4. Browse ボタンをクリックし、プロジェクトを選択します。
  5. Configuration file フィールドで、Setup -> Use Existing をクリックし、hibernate.cfg.xml ファイルの場所(このデモでは src フォルダ内)を選択します。
  6. Classpath タブで、User Entries の下に何もない場合は、Add External JARS をクリックしてドライバー jar を再度追加します。設定が完了したら OK をクリックします。
  7. 新しく作成した Hibernate 設定ファイルの Database ノードを展開します。

BigQuery のデータ のリバースエンジニアリング

以下の手順に従って、reveng.xml 設定ファイルを生成します。オブジェクトとしてアクセスするテーブルを指定します。

  1. Package Explorer に戻ります。
  2. プロジェクトを右クリックし、New -> Hibernate -> Hibernate Reverse Engineering File (reveng.xml) を選択します。Next をクリックします。
  3. src を親フォルダとして選択し、Next をクリックします。
  4. Console configuration ドロップダウンメニューで、上記で作成した Hibernate 設定ファイルを選択し、Refresh をクリックします。
  5. ノードを展開し、リバースエンジニアリングするテーブルを選択します。完了したら Finish をクリックします。

Hibernate の実行設定

以下の手順に従って、BigQuery テーブルの POJO(Plain Old Java Object)を生成します。

  1. メニューバーから、Run -> Hibernate Code Generation -> Hibernate Code Generation Configurations をクリックします。
  2. Console configuration ドロップダウンメニューで、前のセクションで作成した Hibernate 設定ファイルを選択します。Output directory の横にある Browse をクリックし、src を選択します。
  3. Reverse Engineer from JDBC Connection チェックボックスを有効にします。Setup ボタンをクリックし、Use Existing をクリックして、hibernate.reveng.xml ファイルの場所(このデモでは src フォルダ内)を選択します。
  4. Exporters タブで、Domain code (.java) と Hibernate XML Mappings (hbm.xml) をチェックします。
  5. Run をクリックします。

前のステップのリバースエンジニアリング設定に基づいて、1 つ以上の POJO が作成されます。

マッピングタグの挿入

生成した各マッピングに対して、hibernate.cfg.xml にマッピングタグを作成し、Hibernate がマッピングリソースを参照できるようにする必要があります。hibernate.cfg.xml を開き、以下のようにマッピングタグを挿入します:





  
    
      cdata.googlebigquery.GoogleBigQueryDriver
    
    
      jdbc:googlebigquery:DataSetId=MyDataSetId;ProjectId=MyProjectId;
    
    
      org.hibernate.dialect.SQLServerDialect
    
    
    
    

SQL の実行

前のステップで作成したエンティティを使用して、BigQuery のデータ のデータの検索と変更が可能になります:


import java.util.*;
import org.hibernate.Session;
import org.hibernate.cfg.Configuration;
import org.hibernate.query.Query;

public class App {
  public static void main(final String[] args) {
    Session session =  new
    Configuration().configure().buildSessionFactory().openSession();
    String SELECT = "FROM Orders O WHERE ShipCity = :ShipCity";
    Query q = session.createQuery(SELECT, Orders.class);
    q.setParameter("ShipCity","New York");
    List<Orders> resultList = (List<Orders>) q.list();

    for(Orders s: resultList){
      System.out.println(s.getOrderName());
      System.out.println(s.getFreight());
    }
  }
}

はじめる準備はできましたか?

Google BigQuery Driver の無料トライアルをダウンロードしてお試しください:

 ダウンロード

詳細:

Google BigQuery Icon Google BigQuery JDBC Driver お問い合わせ

Google BigQuery データ(テーブル、データセットなど)を組み込んだパワフルなJava アプリケーションを短時間・低コストで作成して配布できます。