Azure Data Factory を使用してElasticsearch のデータをインポート

古川えりか
コンテンツスペシャリスト

CData Connect AI を使用してAzure Data Factory からElasticsearch に接続し、リアルタイムElasticsearch のデータをインポートします。

Azure Data Factory（ADF）は、フルマネージドのサーバーレスデータ統合サービスです。 CData Connect AI と組み合わせると、ADF はデータフローでElasticsearch のデータにクラウドベースで即座にアクセスできます。この記事では、Connect AI を使用してElasticsearch に接続し、ADF でElasticsearch のデータにアクセスする方法を紹介します。

Elasticsearch データ連携について

CData を使用すれば、Elasticsearch のライブデータへのアクセスと統合がこれまでになく簡単になります。お客様は CData の接続機能を以下の目的で利用しています：

SQL エンドポイントと REST エンドポイントの両方にアクセスでき、接続を最適化し、Elasticsearch データの読み書きに関してより多くのオプションを提供します。
v2.2 以降およびオープンソース Elasticsearch サブスクリプションを含む、ほぼすべての Elasticsearch インスタンスに接続できます。
SCORE() 関数を明示的に要求することなく、常にクエリ結果の関連性スコアを受け取ることができます。これにより、サードパーティツールからのアクセスが簡素化され、クエリ結果のテキスト関連性のランキングを簡単に確認できます。
複数のインデックスを検索でき、クライアントマシンではなく Elasticsearch がクエリと結果の管理・処理を担当します。

ユーザーは、Crystal Reports、Power BI、Excel などの分析ツールと Elasticsearch データを統合し、当社のツールを活用して、Elasticsearch を含むすべてのデータソースへの単一のフェデレートアクセスレイヤーを実現しています。

CData の Elasticsearch ソリューションの詳細については、ナレッジベース記事をご覧ください：CData Elasticsearch Driver Features & Differentiators

はじめに

Connect AI からElasticsearch への接続

CData Connect AI では、直感的なクリック操作ベースのインターフェースを使ってデータソースに接続できます。

Connect AI にログインし、 Add Connection をクリックします。

Add Connection パネルで「Elasticsearch」を選択します。

必要な認証プロパティを入力し、Elasticsearch に接続します。
Elasticsearch 接続プロパティの取得・設定方法

接続するには、Server およびPort 接続プロパティを設定します。認証には、User とPassword プロパティ、PKI (public key infrastructure)、またはその両方を設定します。 PKI を使用するには、SSLClientCert、SSLClientCertType、SSLClientCertSubject、およびSSLClientCertPassword プロパティを設定します。

CData 製品は、認証とTLS/SSL 暗号化にX-Pack Security を使用しています。TLS/SSL で接続するには、Server 値に'https://' を接頭します。Note: PKI を使用するためには、TLS/SSL およびクライアント認証はX-Pack 上で有効化されていなければなりません。

接続されると、X-Pack では、設定したリルムをベースにユーザー認証およびロールの許可が実施されます。
Create & Test をクリックします。
Add Elasticsearch Connection ページのPermissions タブに移動し、ユーザーベースのアクセス許可を更新します。

パーソナルアクセストークンの取得

OAuth 認証をサポートしていないサービス、アプリケーション、プラットフォーム、またはフレームワークから接続する場合は、認証に使用するパーソナルアクセストークン（PAT）を作成できます。きめ細かなアクセス管理を行うために、サービスごとに個別のPAT を作成するのがベストプラクティスです。

Connect AI アプリの右上にあるユーザー名をクリックし、「User Profile」をクリックします。
User Profile ページでPersonal Access Token セクションにスクロールし、 Create PAT をクリックします。
PAT の名前を入力して Create をクリックします。

パーソナルアクセストークンは作成時にしか表示されないため、必ずコピーして安全に保存してください。

接続設定が完了すると、Azure Data Factory からElasticsearch のデータへ接続できるようになります。

Azure Data Factory からリアルタイムElasticsearch のデータにアクセス

Azure Data Factory からCData Connect AI の仮想SQL Server API への接続を確立するには、以下の手順を実行します。

Azure Data Factory にログインします。

まだData Factory を作成していない場合は、「New -> Dataset」をクリックします。

検索バーにSQL Server と入力し、表示されたら選択します。次の画面で、サーバーの名前を入力します。 Linked service フィールドで「New」を選択します。

接続設定を入力します。
- Name - 任意の名前を入力。
- Server name - 仮想SQL Server のエンドポイントとポートをカンマで区切って入力。例：tds.cdata.com,14333
- Database name - 接続したいCData Connect AI データソースのConnection Name を入力。例：Elasticsearch1
- User Name - CData Connect AI のユーザー名を入力。ユーザー名はCData Connect AI のインターフェースの右上に表示されています。例：test@cdata.com
- Password - Password（Azure Key Vault ではありません）を選択してSettings ページで生成したPAT を入力。
- 「Create」をクリックします。