CloverDX(旧CloverETL)で Parquet のデータ に接続

Jerod Johnson
Jerod Johnson
Senior Technology Evangelist
CloverDX データ統合ツールのビジュアルワークフローを使って Parquet のデータ を転送。

CData JDBC Driver for Parquet を使用すると、CloverDX(旧CloverETL)のデータ変換コンポーネントで Parquet をソースとして扱えます。この記事では、JDBC Driver for Parquet を使用して、フラットファイルへのシンプルな転送を設定する方法を説明します。

JDBC データソースとして Parquet に接続

  1. Parquet のデータ への接続を作成します。新規のCloverDX グラフで、Outline ペインの「Connections」ノードを右クリックし、「Connections」->「Create Connection」をクリックします。Database Connection ウィザードが表示されます。
  2. プラスアイコンをクリックし、JAR からドライバーをロードします。インストールディレクトリのlib サブフォルダを参照し、cdata.jdbc.parquet.jar ファイルを選択します。
  3. JDBC URL を入力します。

    Parquet 接続プロパティの取得・設定方法

    ローカルのParquet ファイルに接続するには、URI 接続プロパティをParquet ファイルへのパスに設定してください。

    組み込みの接続文字列デザイナー

    JDBC URL の構築には、Parquet JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから実行します。

    java -jar cdata.jdbc.parquet.jar
    

    接続プロパティを入力し、接続文字列をクリップボードにコピーします。

    一般的なJDBC URL は次のようになります:

    jdbc:parquet:URI=C:/folder/table.parquet;

DBInputTable コンポーネントで Parquet のデータ をクエリ

  1. Palette の「Readers」から「DBInputTable」をジョブフローにドラッグし、ダブルクリックして設定エディターを開きます。
  2. 「DB connection」プロパティで、ドロップダウンメニューから Parquet JDBC データソースを選択します。
  3. SQL クエリを入力します。例:
    SELECT Id, Column1 FROM SampleTable_1 WHERE Column2 = 'SAMPLE_VALUE'

クエリの出力をUniversalDataWriter に書き込む

  1. 「Writers」から「UniversalDataWriter」をジョブフローにドラッグします。
  2. UniversalDataWriter をダブルクリックして設定エディターを開き、ファイルURL を追加します。
  3. DBInputTable を右クリックし、「Extract Metadata」をクリックします。
  4. DBInputTable の出力ポートをUniversalDataWriter に接続します。
  5. UniversalDataWriter の「Select Metadata」メニューで、SampleTable_1 テーブルを選択します。(このメニューはUniversalDataWriter の入力ポートを右クリックしても開けます。)
  6. 「Run」をクリックして、ファイルに書き込みます。

はじめる準備はできましたか?

Parquet Driver の無料トライアルをダウンロードしてお試しください:

 ダウンロード

詳細:

Parquet Icon Parquet JDBC Driver お問い合わせ

Parquet データに連携するJava アプリケーションを素早く、簡単に開発できる便利なドライバー。