CData SSIS Components を使用して IBM Cloud Object Storage のデータを Databricks にマイグレーション

Cameron Leblanc
Cameron Leblanc
Technology Evangelist
CData SSIS Tasks for IBM Cloud Object Storage と Databricks を使用して、IBM Cloud Object Storage のデータを Databricks に簡単にプッシュできます。

Databricks は、大量のデータを簡単に処理、分析、可視化できる統合データ分析プラットフォームです。データエンジニアリング、データサイエンス、機械学習の機能を単一のプラットフォームに統合し、チームがコラボレーションしてデータからインサイトを得ることを容易にします。

CData SSIS Components は、SQL Server Integration Services を拡張し、さまざまなソースやデスティネーションからデータを簡単にインポート・エクスポートできるようにします。

この記事では、Databricks へのエクスポート時のデータ型マッピングの考慮事項を確認し、CData SSIS Components for IBM Cloud Object Storage と Databricks を使用してIBM Cloud Object Storage のデータを Databricks にマイグレーションする方法を説明します。

データ型マッピング

Databricks スキーマ CData スキーマ

int, integer, int32

int

smallint, short, int16

smallint

double, float, real

float

date

date

datetime, timestamp

datetime

time, timespan

time

string, varchar

長さ > 4000 の場合：nvarchar(max)、それ以外：nvarchar(length)

long, int64, bigint

bigint

boolean, bool

tinyint

decimal, numeric

decimal

uuid

nvarchar(length)

binary, varbinary, longvarbinary

binary(1000) または SQL Server 2000 以降は varbinary(max)

特別な考慮事項

  • String/VARCHAR: Databricks の String カラムは、カラムの長さによって異なるデータ型にマッピングされます。カラムの長さが 4000 を超える場合、カラムは nvarchar(max) にマッピングされます。それ以外の場合は、nvarchar(length) にマッピングされます。
  • DECIMAL: Databricks は最大 38 桁の精度の DECIMAL 型をサポートしていますが、それを超えるソースカラムはロードエラーを引き起こす可能性があります。

前提条件

プロジェクトの作成とコンポーネントの追加

  1. Visual Studio を開き、新しい Integration Services プロジェクトを作成します。
  2. Control Flow 画面に新しい Data Flow Task を追加し、Data Flow Task を開きます。
  3. Data Flow Task に CData IBM Cloud Object Storage Source コントロールと CData Databricks Destination コントロールを追加します。

IBM Cloud Object Storage ソースの設定

以下の手順に従って、IBM Cloud Object Storage への接続に必要なプロパティを指定します。

  1. CData IBM Cloud Object Storage Source をダブルクリックしてソースコンポーネントエディタを開き、新しい接続を追加します。
  2. CData IBM Cloud Object Storage Connection Manager で接続プロパティを設定し、接続をテストして保存します。

    Cloud Object Storage 接続プロパティの取得・設定方法

    Cloud Object Storage に接続する前に、Cloud Object Storage インスタンスを登録してCloud Object Storage API キーとCRN を取得していきます。

    Cloud Object Storage の新規インスタンスの登録

    IBM Cloud アカウントにCloud Object Storage がまだない場合は、以下の手順に従ってアカウントにSQL Query のインスタンスをインストールできます。

    1. IBM Cloud アカウントにログインします。
    2. Cloud Object Storage ページに移動して、インスタンス名を指定して「作成」をクリックします。Cloud Object Storage の新規インスタンスにリダイレクトされます。

    API キー

    API キーは以下の手順で取得できます。

    1. まずは、IBM Cloud アカウントにログインします。
    2. API キーページに移動します。
    3. 中央右隅のIBM Cloud APIキーの作成 をクリックして、新しいAPI キーを作成します。
    4. ポップアップウィンドウが表示されたら、API キーの名前を指定して作成をクリックします。ダッシュボードからはアクセスできなくなるため、API Key を控えておきましょう。

    Cloud Object Storage CRN

    デフォルトでは、CData 製品はCloud Object Storage CRN を自動で取得します。ただし、複数のアカウントがある場合は、CloudObjectStorageCRN を明示的に指定する必要があります。この値は、次の2つの方法で取得できます。

    • Services ビューをクエリする。これにより、IBM Cloud Object Storage インスタンスとそれぞれのCRN がリストされます。
    • IBM Cloud で直接CRN を見つける。これを行うには、IBM Cloud のダッシュボードに移動します。リソースリストで、ストレージからCloud Object Storage リソースを選択してCRN を取得します。

    IBM Cloud Object Storage への接続

    これで準備は完了です。以下の接続プロパティを設定してください。

    • InitiateOAuth：GETANDREFRESH に設定。InitiateOAuth を使うと、OAuth 認証を繰り返す必要がなく、さらに自動でアクセストークンを設定できます。
    • ApiKey：セットアップ中に控えたAPI キーを指定。
    • CloudObjectStorageCRN（オプション）：控えておいたCloud Object Storage のCRN に設定。Cloud Object Storage アカウントが複数ある場合のみ設定する必要があります。

    プロパティを設定したら、これで接続設定は完了です。

  3. 接続を保存後、「Table or view」を選択し、Databricks にエクスポートするテーブルまたはビューを選択して、CData IBM Cloud Object Storage Source Editor を閉じます。

Databricks デスティネーションの設定

IBM Cloud Object Storage Source を設定したら、Databricks 接続を設定してカラムをマッピングします。

  1. CData Databricks Destination をダブルクリックしてデスティネーションコンポーネントエディタを開き、新しい接続を追加します。
  2. CData Databricks Connection Manager で接続プロパティを設定し、接続をテストして保存します。Databricks クラスターに接続するには、以下のようにプロパティを設定します。

    注意：必要な値は、Databricks インスタンスで Clusters に移動し、目的のクラスターを選択して、Advanced Options の下にある JDBC/ODBC タブを選択することで確認できます。

    • Server：Databricks クラスターの Server Hostname を設定します。
    • HTTPPath：Databricks クラスターの HTTP Path を設定します。
    • Token：個人用アクセストークンを設定します（この値は、Databricks インスタンスの User Settings ページに移動し、Access Tokens タブを選択することで取得できます）。

    その他の便利な接続プロパティ

    • QueryPassthrough: True に設定すると、クエリは Databricks に直接渡されます。
    • ConvertDateTimetoGMT: True に設定すると、コンポーネントはローカルマシンの時刻ではなく、日時値を GMT に変換します。
    • UseUploadApi: このプロパティを true に設定すると、Bulk INSERT 操作で大量のデータがある場合にパフォーマンスが向上します。
    • UseCloudFetch: このオプションは、テーブルに 100 万件を超えるエントリがある場合にクエリ効率を向上させるために CloudFetch を使用するかどうかを指定します。
  3. 接続を保存後、Use a Table メニューでテーブルを選択し、Action メニューで Insert を選択します。
  4. Column Mappings タブで、入力カラムからデスティネーションカラムへのマッピングを設定します。

プロジェクトの実行

これでプロジェクトを実行できます。SSIS Task の実行が完了すると、SQL テーブルのデータが選択したテーブルにエクスポートされます。

はじめる準備はできましたか？

IBM Cloud Object Storage SSIS Component の無料トライアルをダウンロードしてお試しください：

 ダウンロード

詳細：

IBM Cloud Object Storage Icon IBM Cloud Object Storage SSIS Components お問い合わせ

パワフルなSSIS Source & Destination Components で、SQL Server とIBM Cloud Object Storage をSSIS ワークフローで連携。

IBM Cloud Object Storage Data Flow Components を使って、IBM Cloud Object Storage データを簡単に同期。データ同期、ローカルバックアップ、ワークフロー自動化に最適！

この記事の内容

関連記事