Informatica Cloud で Elasticsearch のデータ を連携
Informatica Cloud は、クラウド上で抽出、変換、ロード(ETL)タスクを実行できるツールです。Cloud Secure Agent と CData JDBC Driver for Elasticsearch を組み合わせることで、Informatica Cloud から直接 Elasticsearch のデータ にリアルタイムでアクセスできます。本記事では、Cloud Secure Agent のダウンロードと登録、JDBC ドライバーを介した Elasticsearch への接続、そして Informatica Cloud のプロセスで使用可能なマッピングの作成方法をご紹介します。
Elasticsearch データ連携について
CData を使用すれば、Elasticsearch のライブデータへのアクセスと統合がこれまでになく簡単になります。お客様は CData の接続機能を以下の目的で利用しています:
- SQL エンドポイントと REST エンドポイントの両方にアクセスでき、接続を最適化し、Elasticsearch データの読み書きに関してより多くのオプションを提供します。
- v2.2 以降およびオープンソース Elasticsearch サブスクリプションを含む、ほぼすべての Elasticsearch インスタンスに接続できます。
- SCORE() 関数を明示的に要求することなく、常にクエリ結果の関連性スコアを受け取ることができます。これにより、サードパーティツールからのアクセスが簡素化され、クエリ結果のテキスト関連性のランキングを簡単に確認できます。
- 複数のインデックスを検索でき、クライアントマシンではなく Elasticsearch がクエリと結果の管理・処理を担当します。
ユーザーは、Crystal Reports、Power BI、Excel などの分析ツールと Elasticsearch データを統合し、当社のツールを活用して、Elasticsearch を含むすべてのデータソースへの単一のフェデレートアクセスレイヤーを実現しています。
CData の Elasticsearch ソリューションの詳細については、ナレッジベース記事をご覧ください:CData Elasticsearch Driver Features & Differentiators
はじめに
Informatica Cloud Secure Agent
JDBC ドライバー経由で Elasticsearch のデータ に接続するには、Cloud Secure Agent をインストールします。
- Informatica Cloud の Administrator ページに移動します
- Runtime Environments タブを選択します
- 「Download Secure Agent」をクリックします
- Install Token をメモしておきます
- クライアントマシンでインストーラを実行し、ユーザー名と Install Token を使って Cloud Secure Agent を登録します
NOTE: Cloud Secure Agent のすべてのサービスが起動するまでに、しばらく時間がかかる場合があります。
Elasticsearch JDBC Driver への接続
Cloud Secure Agent のインストールと起動が完了したら、JDBC ドライバーを介して Elasticsearch に接続する準備が整いました。
Secure Agent マシンへの JDBC ドライバーの追加
- Secure Agent マシンの以下のディレクトリに移動します:
%Secure Agent installation directory%/ext/connectors/thirdparty/
- 設定するマッピングの種類に応じて、フォルダを作成しドライバーの JAR ファイル(cdata.jdbc.elasticsearch.jar)を追加します。
マッピングの場合は、以下のフォルダを作成してドライバーの JAR ファイルを追加します:
informatica.jdbc_v2/common
アドバンスドモードのマッピングの場合は、以下のフォルダも作成してドライバーの JAR ファイルを追加します:
informatica.jdbc_v2/spark
- Secure Agent を再起動します。
Informatica Cloud での Elasticsearch への接続
ドライバーの JAR ファイルをインストールしたら、Informatica Cloud で Elasticsearch への接続を設定します。Connections タブをクリックし、New Connection をクリックして、以下のプロパティを入力します:- Connection Name: 接続に名前を付けます(例:CData Elasticsearch Connection)
- Type:「JDBC_V2」を選択します
- Runtime Environment: Secure Agent をインストールしたランタイム環境を選択します
- JDBC Driver Class Name: JDBC ドライバークラス名を入力します:cdata.jdbc.elasticsearch.ElasticsearchDriver
- JDBC Connection URL: Elasticsearch の JDBC URL を設定します。URL は以下のようになります:
jdbc:elasticsearch:Server=127.0.0.1;Port=9200;User=admin;Password=123456;
Elasticsearch 接続プロパティの取得・設定方法
接続するには、Server およびPort 接続プロパティを設定します。 認証には、User とPassword プロパティ、PKI (public key infrastructure)、またはその両方を設定します。 PKI を使用するには、SSLClientCert、SSLClientCertType、SSLClientCertSubject、およびSSLClientCertPassword プロパティを設定します。
CData 製品は、認証とTLS/SSL 暗号化にX-Pack Security を使用しています。TLS/SSL で接続するには、Server 値に'https://' を接頭します。Note: PKI を 使用するためには、TLS/SSL およびクライアント認証はX-Pack 上で有効化されていなければなりません。
接続されると、X-Pack では、設定したリルムをベースにユーザー認証およびロールの許可が実施されます。
組み込みの接続文字列デザイナー
JDBC URL の作成には、Elasticsearch JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。.jar ファイルをダブルクリックするか、コマンドラインから実行してください。
java -jar cdata.jdbc.elasticsearch.jar接続プロパティを入力し、接続文字列をクリップボードにコピーします。
- Username: Elasticsearch のユーザー名を設定します
- Password: Elasticsearch のパスワードを設定します
Elasticsearch のデータ のマッピングを作成
Elasticsearch への接続を設定したら、Informatica の任意のプロセスで Elasticsearch のデータ にアクセスできます。以下の手順では、Elasticsearch から別のデータターゲットへのマッピングを作成する方法を説明します。
- Data Integration ページに移動します
- New.. をクリックし、Mappings タブから Mapping を選択します
- Source Object をクリックし、Source タブで Connection を選択し、Source Type を設定します
- 「Select」をクリックして、マッピングするテーブルを選択します
- Fields タブで、マッピングする Elasticsearch テーブルのフィールドを選択します
- Target オブジェクトをクリックし、Target ソース、テーブル、フィールドを設定します。Field Mapping タブで、ソースフィールドをターゲットフィールドにマッピングします。
マッピングの設定が完了すると、Informatica Cloud でサポートされている任意の接続先と Elasticsearch のデータ のリアルタイム連携を開始できます。CData JDBC Driver for Elasticsearch の30日間無償トライアルをダウンロードして、Informatica Cloud で Elasticsearch のデータ の活用を今すぐ始めましょう。