BigQuery 向け JDBC ドライバーの比較

* ヒープグラフのスケールが変更されていることにご注意ください。

CData ドライバーは最初の数分間は平均約 700 MB のヒープ使用量で、その後残りの時間は約 250 MB を使用します。CPU 使用率グラフから、CData ドライバーが一貫して利用可能な CPU の約 6% から 7% を使用し、データが返されるのと同じ速さで一貫してデータを処理していることが分かります。

Google ドライバーは平均約 700 MB のヒープ使用量で、CData ドライバーとは異なり、実行時間のほとんどで高いヒープ使用量を維持し、実行の最後の4分の1で約 350 MB に低下します。Google ドライバーは実行時間全体を通じて利用可能な CPU の約 5% を使用します。

競合他社ドライバーは平均約 70 MB のヒープ使用量ですが、（CData および Google ドライバーと比較して）ヒープ使用量が比較的不安定です。競合他社ドライバーは実行時間全体を通じて利用可能な CPU の 5% 未満を使用します。

100万行チャレンジ再訪：3.5倍高速化

2017年10月に、CData JDBC ドライバーで100万行をインサートするタスク（Google ドライバーでは実行できなかったタスク）を実施しました。その後のドライバーのアップデートにより書き込み速度も向上し、現在は平均 5 分 47 秒でデータをインサートできます（各行に 19 カラム）。これにより、新しい CData JDBC ドライバーは以前よりも 3.5 倍以上高速にインサートを実行できるようになりました。

一方、Google ドライバーも競合他社ドライバーも、高パフォーマンスの INSERT ステートメントを実行できません。これらのドライバーは大規模なデータ取り込みメカニズムを実装していません。少数の INSERT ステートメントは実行できますが、大規模なデータセットをロードしようとすると、BigQuery Data Manipulation Language のレート制限に達してしまいます。¹

nyc_tlc.yellow 公開データセット³の trips テーブルのコピーに行を追加するため、以前と同じシンプルな Java プログラムを使用しました。テストでは、10,000 行ずつ 100 バッチでデータをインサートしました。

サンプルコード

//one batch
Connection connection = DriverManager.getConnection("jdbc:googlebigquery:InitiateOAuth=GETANDREFRESH;QueryPassthrough=false;ProjectId=" + projectId + ";DatasetId=" + datasetId + ";Timeout=240;UseLegacySQL=false;");
String cmd = "INSERT INTO TestDataset.nyc_yellow_trips_copy (vendor_id, pickup_datetime, dropoff_datetime, pickup_longitude, pickup_latitude, dropoff_longitude, dropoff_latitude, rate_code, passenger_count, trip_distance, payment_type, fare_amount, extra, mta_tax, imp_surcharge, tip_amount, tolls_amount, total_amount, store_and_fwd_flag) VALUES (?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)";
PreparedStatement pstmt = connection.prepareStatement(cmd);

for (int row = 0; row < rows.length; row++){
  String[] line = rows[row].split(",");
  for (int i = 0 ; i < line.length; i++) {
    //add parameters based on datatype
    if ( (i < 3) || (i ==7) || (i==10) || (i==18) ) {
      pstmt.setString(i + 1, line[i]);
    } else if (i == 8) {
      pstmt.setInt(i+1, Integer.parseInt(line[i]));
    } else {
      pstmt.setDouble(i+1, Double.parseDouble(line[i]));
    }
  }
  pstmt.addBatch();
}

int[] affected = pstmt.executeBatch();

結果

まとめ

CData ドライバーのパフォーマンスは前回の比較から向上しており、Google 提供ドライバーや競合他社ドライバーと比較して、大規模データセットのクエリにおいて引き続き優れた性能を発揮しています。利用可能なクライアントリソースをより効率的に活用し、最大規模のデータセットを 54% 高速に処理してデータの読み取りと処理を可能な限り迅速に行います。

データのインサートに関しては、CData ドライバーは大規模データセットを迅速にインサートする能力において他に類を見ません。前回の記事では、100万行を約 20 分でインサートできました。現在では、同じタスクを 6 分未満で完了できます。

当社の開発者は、Google から返される結果の処理においてパフォーマンスを最適化するために尽力してきました。その結果、ドライバーはウェブトラフィックとサーバー処理時間によってのみ制限されているように見えます。BigQuery の書き込み機能を最大限に活用するための同様の取り組みも行われており、CData ドライバーは Google BigQuery への読み取りと書き込みの両方において最適なドライバーとなっています。

参照

1. Google ドライバー
2. CData JDBC ドライバー
3. City of New York Taxi Trip 公開データセット