Informatica Cloud で Kafka のデータ を連携

Informatica Cloud は、クラウド上で抽出、変換、ロード（ETL）タスクを実行できるツールです。Cloud Secure Agent と CData JDBC Driver for Apache Kafka を組み合わせることで、Informatica Cloud から直接 Kafka のデータ にリアルタイムでアクセスできます。本記事では、Cloud Secure Agent のダウンロードと登録、JDBC ドライバーを介した Kafka への接続、そして Informatica Cloud のプロセスで使用可能なマッピングの作成方法をご紹介します。

Informatica Cloud Secure Agent

JDBC ドライバー経由で Kafka のデータ に接続するには、Cloud Secure Agent をインストールします。

1. Informatica Cloud の Administrator ページに移動します
2. Runtime Environments タブを選択します
3. 「Download Secure Agent」をクリックします
4. Install Token をメモしておきます
5. クライアントマシンでインストーラを実行し、ユーザー名と Install Token を使って Cloud Secure Agent を登録します

NOTE: Cloud Secure Agent のすべてのサービスが起動するまでに、しばらく時間がかかる場合があります。

Kafka JDBC Driver への接続

Cloud Secure Agent のインストールと起動が完了したら、JDBC ドライバーを介して Kafka に接続する準備が整いました。

Secure Agent マシンへの JDBC ドライバーの追加

1. Secure Agent マシンの以下のディレクトリに移動します：

   %Secure Agent installation directory%/ext/connectors/thirdparty/

2. 設定するマッピングの種類に応じて、フォルダを作成しドライバーの JAR ファイル（cdata.jdbc.apachekafka.jar）を追加します。

   マッピングの場合は、以下のフォルダを作成してドライバーの JAR ファイルを追加します：

   informatica.jdbc_v2/common

   アドバンスドモードのマッピングの場合は、以下のフォルダも作成してドライバーの JAR ファイルを追加します：

   informatica.jdbc_v2/spark

3. Secure Agent を再起動します。

Informatica Cloud での Kafka への接続

• Connection Name: 接続に名前を付けます（例：CData Kafka Connection）
• Type:「JDBC_V2」を選択します
• Runtime Environment: Secure Agent をインストールしたランタイム環境を選択します
• JDBC Driver Class Name: JDBC ドライバークラス名を入力します：cdata.jdbc.apachekafka.ApacheKafkaDriver
• JDBC Connection URL: Kafka の JDBC URL を設定します。URL は以下のようになります：
  
  

  jdbc:apachekafka:User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic;

  Apache Kafka 接続プロパティの取得・設定方法

  それでは、Apache Kafka に接続していきましょう。.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされており、CData 製品と一緒に自動的にインストールされます。 別のインストール方法をご利用の場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0をインストールしてください。

  Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。

  デフォルトでは、CData 製品はデータソースとPLAINTEXT で通信しており、これはすべてのデータが暗号化なしで送信されることを意味します。 通信を暗号化したい場合は、以下の設定を行ってください：

  1. UseSSL をtrue に設定し、CData 製品がSSL 暗号化を使用するように構成します
  2. SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします

  Apache Kafka への認証

  続いて、認証方法を設定しましょう。Apache Kafka データソースでは、以下の認証方法をサポートしています：

  • Anonymous
  • Plain
  • SCRAM ログインモジュール
  • SSL クライアント証明書
  • Kerberos

  Anonymous 認証

  Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 このような接続はanonymous（匿名）と呼ばれます。

  匿名認証を行うには、以下のプロパティを設定してください。

  • AuthScheme：None

  その他の認証方法については、ヘルプドキュメントをご確認ください。

  組み込みの接続文字列デザイナー

  JDBC URL の作成には、Kafka JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。.jar ファイルをダブルクリックするか、コマンドラインから実行してください。

      java -jar cdata.jdbc.apachekafka.jar
      

  接続プロパティを入力し、接続文字列をクリップボードにコピーします。

  
• Username: Kafka のユーザー名を設定します
• Password: Kafka のパスワードを設定します

Kafka のデータ のマッピングを作成

Kafka への接続を設定したら、Informatica の任意のプロセスで Kafka のデータ にアクセスできます。以下の手順では、Kafka から別のデータターゲットへのマッピングを作成する方法を説明します。

1. Data Integration ページに移動します
2. New.. をクリックし、Mappings タブから Mapping を選択します
3. Source Object をクリックし、Source タブで Connection を選択し、Source Type を設定します
4. 「Select」をクリックして、マッピングするテーブルを選択します
5. Fields タブで、マッピングする Kafka テーブルのフィールドを選択します
6. Target オブジェクトをクリックし、Target ソース、テーブル、フィールドを設定します。Field Mapping タブで、ソースフィールドをターゲットフィールドにマッピングします。

マッピングの設定が完了すると、Informatica Cloud でサポートされている任意の接続先と Kafka のデータ のリアルタイム連携を開始できます。CData JDBC Driver for Apache Kafka の30日間無償トライアルをダウンロードして、Informatica Cloud で Kafka のデータ の活用を今すぐ始めましょう。