Kafka をSSIS 経由でSQL サーバーにバックアップする

加藤龍彦
デジタルマーケティング

Kafka 用のCData ADO.NET プロバイダーを使用して簡単にSQL サーバーへデータをバックアップします。ここでは、Kafka をデータベースに入力する際、SSIS ワークフローを使用します。

Kafka 用のCData ADO.NET プロバイダーはKafka をバックアップ、レポート、フルテキスト検索、分析などを行うアプリケーションに接続します。

ここでは、SQL サーバー SSIS ワークフロー内でKafka 用のプロバイダーを使用して、Kafka をMicrosoft SQL サーバーデータベースに直接転送する方法を説明します。以下のアウトラインと同じ手順を、CData ADO.NET データプロバイダーにて使用することで、SSIS 経由でSQL サーバーを直接リモートデータに接続できます。

Visual Studio を開き、新しいIntegration サービスプロジェクトを追加します。
ツールボックスからControl Flow 画面へ、新しいData Flow タスクを追加します。
Data Flow 画面で、ツールボックスから［ADO.NET Source］と［OLE DB Destination］を追加します。
新しい接続を追加し、Kafka 2015 用の .NET プロバイダー\CData ADO.NET プロバイダーを選択します。
Connection Manager で、Kafka 用に接続の詳細を入力します。下は一般的な接続文字列です。
User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic;

Apache Kafka 接続プロパティの取得・設定方法

それでは、Apache Kafka に接続していきましょう。.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。これらのアセンブリはインストーラーにバンドルされており、CData 製品と一緒に自動的にインストールされます。別のインストール方法をご利用の場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0をインストールしてください。

Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。

デフォルトでは、CData 製品はデータソースとPLAINTEXT で通信しており、これはすべてのデータが暗号化なしで送信されることを意味します。通信を暗号化したい場合は、以下の設定を行ってください：
1. UseSSL をtrue に設定し、CData 製品がSSL 暗号化を使用するように構成します
2. SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします
Apache Kafka への認証

続いて、認証方法を設定しましょう。Apache Kafka データソースでは、以下の認証方法をサポートしています：
- Anonymous
- Plain
- SCRAM ログインモジュール
- SSL クライアント証明書
- Kerberos
Anonymous 認証

Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。このような接続はanonymous（匿名）と呼ばれます。

匿名認証を行うには、以下のプロパティを設定してください。
- AuthScheme：None
その他の認証方法については、ヘルプドキュメントをご確認ください。
DataReader editor を開き、次のインフォメーションを設定します。
- ADO.NET 接続マネージャー：Connection Manager のメニューで、先ほど作成した［Data Connection］を選択します。
- データアクセスモード：［SQL command］を選択します。
- SQL command テキスト：DataReader Source editor で、Component Properties タブを開き、下にあるようなSELECT command を入力します。
```
SELECT Id, Column1 FROM SampleTable_1 WHERE Column2 = '100'
```
DataReader editor を閉じ、DataReader Source の下の矢印をドラッグして、OLE DB Destination に接続します。
OLE DB Destination を開き、Destination Component Editor で次のインフォメーションを入力します。
- コネクションマネージャー：新しい接続を追加します。接続するサーバーおよびデータベースの情報を入力します。ここでは、SQLExpress は他のマシンで運用中です。
- データアクセスモード：データアクセスモードを［table or view］に設定し、データベースに入力するテーブルまたはビューを選択します。
Mappings 画面で必要なプロパティを設定します。
OLE DB Destination Editor を閉じ、プロジェクトを始動します。SSIS タスクの実行が完了すれば、 Kafka から取得したデータが、データベースに入力されます。