CloverDX(旧CloverETL)で Elasticsearch のデータ に接続
CData JDBC Driver for Elasticsearch を使用すると、CloverDX(旧CloverETL)のデータ変換コンポーネントで Elasticsearch をソースおよびデスティネーションとして扱えます。この記事では、JDBC Driver for Elasticsearch を使用して、フラットファイルへのシンプルな転送を設定する方法を説明します。
Elasticsearch データ連携について
CData を使用すれば、Elasticsearch のライブデータへのアクセスと統合がこれまでになく簡単になります。お客様は CData の接続機能を以下の目的で利用しています:
- SQL エンドポイントと REST エンドポイントの両方にアクセスでき、接続を最適化し、Elasticsearch データの読み書きに関してより多くのオプションを提供します。
- v2.2 以降およびオープンソース Elasticsearch サブスクリプションを含む、ほぼすべての Elasticsearch インスタンスに接続できます。
- SCORE() 関数を明示的に要求することなく、常にクエリ結果の関連性スコアを受け取ることができます。これにより、サードパーティツールからのアクセスが簡素化され、クエリ結果のテキスト関連性のランキングを簡単に確認できます。
- 複数のインデックスを検索でき、クライアントマシンではなく Elasticsearch がクエリと結果の管理・処理を担当します。
ユーザーは、Crystal Reports、Power BI、Excel などの分析ツールと Elasticsearch データを統合し、当社のツールを活用して、Elasticsearch を含むすべてのデータソースへの単一のフェデレートアクセスレイヤーを実現しています。
CData の Elasticsearch ソリューションの詳細については、ナレッジベース記事をご覧ください:CData Elasticsearch Driver Features & Differentiators
はじめに
JDBC データソースとして Elasticsearch に接続
- Elasticsearch のデータ への接続を作成します。新規のCloverDX グラフで、Outline ペインの「Connections」ノードを右クリックし、「Connections」->「Create Connection」をクリックします。Database Connection ウィザードが表示されます。
- プラスアイコンをクリックし、JAR からドライバーをロードします。インストールディレクトリのlib サブフォルダを参照し、cdata.jdbc.elasticsearch.jar ファイルを選択します。
- JDBC URL を入力します。
Elasticsearch 接続プロパティの取得・設定方法
接続するには、Server およびPort 接続プロパティを設定します。 認証には、User とPassword プロパティ、PKI (public key infrastructure)、またはその両方を設定します。 PKI を使用するには、SSLClientCert、SSLClientCertType、SSLClientCertSubject、およびSSLClientCertPassword プロパティを設定します。
CData 製品は、認証とTLS/SSL 暗号化にX-Pack Security を使用しています。TLS/SSL で接続するには、Server 値に'https://' を接頭します。Note: PKI を 使用するためには、TLS/SSL およびクライアント認証はX-Pack 上で有効化されていなければなりません。
接続されると、X-Pack では、設定したリルムをベースにユーザー認証およびロールの許可が実施されます。
組み込みの接続文字列デザイナー
JDBC URL の構築には、Elasticsearch JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから実行します。
java -jar cdata.jdbc.elasticsearch.jar
接続プロパティを入力し、接続文字列をクリップボードにコピーします。
一般的なJDBC URL は次のようになります:
jdbc:elasticsearch:Server=127.0.0.1;Port=9200;User=admin;Password=123456;
DBInputTable コンポーネントで Elasticsearch のデータ をクエリ
- Palette の「Readers」から「DBInputTable」をジョブフローにドラッグし、ダブルクリックして設定エディターを開きます。
- 「DB connection」プロパティで、ドロップダウンメニューから Elasticsearch JDBC データソースを選択します。
- SQL クエリを入力します。例:
SELECT Orders.Freight, Customers.ContactName FROM Customers INNER JOIN Orders ON Customers.CustomerId=Orders.CustomerId
クエリの出力をUniversalDataWriter に書き込む
- 「Writers」から「UniversalDataWriter」をジョブフローにドラッグします。
- UniversalDataWriter をダブルクリックして設定エディターを開き、ファイルURL を追加します。
- DBInputTable を右クリックし、「Extract Metadata」をクリックします。
- DBInputTable の出力ポートをUniversalDataWriter に接続します。
- UniversalDataWriter の「Select Metadata」メニューで、Orders テーブルを選択します。(このメニューはUniversalDataWriter の入力ポートを右クリックしても開けます。)
- 「Run」をクリックして、ファイルに書き込みます。