CloverDX(旧CloverETL)で Avro のデータ に接続

Jerod Johnson
Jerod Johnson
Senior Technology Evangelist
CloverDX データ統合ツールのビジュアルワークフローを使って Avro のデータ を転送。

CData JDBC Driver for Avro を使用すると、CloverDX(旧CloverETL)のデータ変換コンポーネントで Avro をソースとして扱えます。この記事では、JDBC Driver for Avro を使用して、フラットファイルへのシンプルな転送を設定する方法を説明します。

JDBC データソースとして Avro に接続

  1. Avro のデータ への接続を作成します。新規のCloverDX グラフで、Outline ペインの「Connections」ノードを右クリックし、「Connections」->「Create Connection」をクリックします。Database Connection ウィザードが表示されます。
  2. プラスアイコンをクリックし、JAR からドライバーをロードします。インストールディレクトリのlib サブフォルダを参照し、cdata.jdbc.avro.jar ファイルを選択します。
  3. JDBC URL を入力します。

    URI 接続プロパティをAvro ファイルの場所に設定して、ローカルのAvro ファイルに接続します。

    組み込みの接続文字列デザイナー

    JDBC URL の構築には、Avro JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから実行します。

    java -jar cdata.jdbc.avro.jar
    

    接続プロパティを入力し、接続文字列をクリップボードにコピーします。

    一般的なJDBC URL は次のようになります:

    jdbc:avro:URI=C:/folder/table.avro

DBInputTable コンポーネントで Avro のデータ をクエリ

  1. Palette の「Readers」から「DBInputTable」をジョブフローにドラッグし、ダブルクリックして設定エディターを開きます。
  2. 「DB connection」プロパティで、ドロップダウンメニューから Avro JDBC データソースを選択します。
  3. SQL クエリを入力します。例:
    SELECT Id, Column1 FROM SampleTable_1 WHERE Column2 = 'value_2'

クエリの出力をUniversalDataWriter に書き込む

  1. 「Writers」から「UniversalDataWriter」をジョブフローにドラッグします。
  2. UniversalDataWriter をダブルクリックして設定エディターを開き、ファイルURL を追加します。
  3. DBInputTable を右クリックし、「Extract Metadata」をクリックします。
  4. DBInputTable の出力ポートをUniversalDataWriter に接続します。
  5. UniversalDataWriter の「Select Metadata」メニューで、SampleTable_1 テーブルを選択します。(このメニューはUniversalDataWriter の入力ポートを右クリックしても開けます。)
  6. 「Run」をクリックして、ファイルに書き込みます。

はじめる準備はできましたか?

Avro Driver の無料トライアルをダウンロードしてお試しください:

 ダウンロード

詳細:

Avro Icon Avro JDBC Driver お問い合わせ

Avro 連携のパワフルなJava アプリケーションを素早く作成して配布。