SSIS で SQL Server から Elasticsearch へのデータフローを構築
SQL Server データベースは、エンタープライズレコードの保存に広く使用されています。このデータを他の場所に移動する必要がある場合がよくあります。CData SSIS Task for Elasticsearch を使用すると、Elasticsearch のデータを簡単に転送できます。この記事では、SQL Server から Elasticsearch にデータをエクスポートする方法を説明します。
Elasticsearch データ連携について
CData を使用すれば、Elasticsearch のライブデータへのアクセスと統合がこれまでになく簡単になります。お客様は CData の接続機能を以下の目的で利用しています:
- SQL エンドポイントと REST エンドポイントの両方にアクセスでき、接続を最適化し、Elasticsearch データの読み書きに関してより多くのオプションを提供します。
- v2.2 以降およびオープンソース Elasticsearch サブスクリプションを含む、ほぼすべての Elasticsearch インスタンスに接続できます。
- SCORE() 関数を明示的に要求することなく、常にクエリ結果の関連性スコアを受け取ることができます。これにより、サードパーティツールからのアクセスが簡素化され、クエリ結果のテキスト関連性のランキングを簡単に確認できます。
- 複数のインデックスを検索でき、クライアントマシンではなく Elasticsearch がクエリと結果の管理・処理を担当します。
ユーザーは、Crystal Reports、Power BI、Excel などの分析ツールと Elasticsearch データを統合し、当社のツールを活用して、Elasticsearch を含むすべてのデータソースへの単一のフェデレートアクセスレイヤーを実現しています。
CData の Elasticsearch ソリューションの詳細については、ナレッジベース記事をご覧ください:CData Elasticsearch Driver Features & Differentiators
はじめに
ソースとデスティネーションコンポーネントの追加
まず、新しい ADO.NET Source コントロールと新しい Elasticsearch Destination コントロールを Data Flow Task に追加します。
ADO.NET ソースの設定
以下の手順に従って、SQL Server インスタンスへの接続に必要なプロパティを指定します。
- ADO.NET Source を開き、新しい接続を追加します。ここでサーバーとデータベースの情報を入力します。
- Data access mode メニューで「Table or view」を選択し、Elasticsearch にエクスポートするテーブルまたはビューを選択します。
- ADO NET Source ウィザードを閉じ、デスティネーションコンポーネントに接続します。
Elasticsearch 用の新しい Connection Manager を作成
以下の手順に従って、Connection Manager で必要な接続プロパティを設定します。
- 新しい Connection Manager を作成します:Connection Manager ウィンドウで右クリックし、New Connection をクリックします。Add SSIS Connection Manager ダイアログが表示されます。
- メニューから CData Elasticsearch Connection Manager を選択します。
-
接続プロパティを設定します。
Elasticsearch 接続プロパティの取得・設定方法
接続するには、Server およびPort 接続プロパティを設定します。 認証には、User とPassword プロパティ、PKI (public key infrastructure)、またはその両方を設定します。 PKI を使用するには、SSLClientCert、SSLClientCertType、SSLClientCertSubject、およびSSLClientCertPassword プロパティを設定します。
CData 製品は、認証とTLS/SSL 暗号化にX-Pack Security を使用しています。TLS/SSL で接続するには、Server 値に'https://' を接頭します。Note: PKI を 使用するためには、TLS/SSL およびクライアント認証はX-Pack 上で有効化されていなければなりません。
接続されると、X-Pack では、設定したリルムをベースにユーザー認証およびロールの許可が実施されます。
Elasticsearch デスティネーションの設定
デスティネーションコンポーネントの Connection Manager で、SQL Server ソーステーブルから Elasticsearch デスティネーションテーブルへのマッピングと、Elasticsearch のデータに対して実行するアクションを定義します。この記事では、Orders エンティティを Elasticsearch に挿入します。
- Elasticsearch Destination をダブルクリックして、デスティネーションコンポーネントエディタを開きます。
- Connection Managers タブで、先ほど作成した Connection Manager を選択します。
-
Use a Table メニューで Orders を選択します。
Action メニューで Insert を選択します。
-
Column Mappings タブで、入力カラムからデスティネーションカラムへのマッピングを設定します。
プロジェクトの実行
これでプロジェクトを実行できます。 SSIS Task の実行が完了すると、SQL テーブルのデータが選択したテーブルにエクスポートされます。