REST のデータをPowerShell でMySQL にレプリケーションする方法

CData Cmdlets for REST を使えば、PowerShell からREST のデータ データにリアルタイムで連携できます。データ同期などのタスクの連携にぴったりの製品です。 本記事では、PowerShell からCData Cmdlets for REST およびCData Cmdlets for MySQL を使って、同期スクリプトを作成して実行します。

まずは、PowerShell でREST への接続を行います。レプリケーションは4つのステップがあります。

データソースへの認証については、データプロバイダーのヘルプドキュメントの「はじめに」を参照してください: データプロバイダーはREST API を双方向データベーステーブルとして、XML/JSON ファイル（ローカルファイル、一般的なクラウドサービスに保存されているファイル、FTP サーバー）を読み取り専用のビューとしてモデル化します。HTTP Basic、Digest、NTLM、OAuth、FTP などの主要な認証スキームがサポートされています。認証についての詳細は、ヘルプドキュメントの「はじめに」を参照してください。

URI を設定し、認証値を指定したら、Format を"XML" または"JSON" に設定して、データ表現をデータ構造により厳密に一致させるようにDataModel を設定します。

DataModel プロパティは、データをどのようにテーブルに表現するかを制御するプロパティで、以下の基本的な設定を切り替えます。

• Document （デフォルト）：REST データのトップレベルのドキュメントビューをモデル化します。データプロバイダーはネストされたエレメントをデータの集計として返します。
• FlattenedDocuments：ネストされたドキュメントとその親を単一テーブルとして暗黙的に結合します。
• Relational：階層データから個々の関連テーブルを返します。テーブルには、親ドキュメントにリンクする主キーと外部キーが含まれます。

リレーショナル表現の構成について詳しくは、「REST データのモデル化」を参照してください。次の例で使用されているサンプルデータもあります。データには、人、所有している車、およびそれらの車で行われたさまざまなメンテナンスサービスのエントリが含まれています。The data includes entries for people, the cars they own, and various maintenance services performed on those cars.

REST のデータの取得

1. モジュールのインストール:

   Install-Module RESTCmdlets

2. REST への接続:

     $rest = Connect-REST  -DataModel $DataModel -URI $URI -Format $Format
     

3. 取得ターゲットのリソースの取得:

     $data = Select-REST -Connection $rest -Table "people"
     

   Invoke-REST cmdlet を使って、SQL-92 クエリを使用することもできます:

     $data = Invoke-REST -Connection $rest -Query 'SELECT * FROM people WHERE [ personal.name.last ] = @[ personal.name.last ]' -Params @{'@[ personal.name.last ]'='Roberts'}
     

4. 戻り値からカラム名のリストを保存します。

     $columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name
     

REST のデータをMySQL データベースにレプリケーション

カラム名を指定できるようにして、データをMySQL データベースにレプリケーションします。

1. モジュールのインストール:

   Install-Module MySQLCmdlets

2. MySQL DB に、MySQL Server 名、ユーザー、パスワード、レプリケーション先のデータベース名を指定して、接続します:

     $mysql = Connect-MySQL -User $User -Password $Password -Database $Database -Server $Server -Port $Port
     

3. REST、保存された値、そしてAdd-MySQL Cmdlet を使って、MySQL にデータを1レコードずつ挿入します。この例では、MySQL 側のテーブルは、REST のリソース（people）と同じテーブル名を持っている必要があります。

     $data | % {
       $row = $_
       $values = @()
       $columns | % {
         $col = $_
         $values += $row.$($col)
       }
       Add-MySQL -Connection $mysql -Table "people" -Columns $columns -Values $values
     }
     

次回以降のレプリケーションをシンプルに実現

• 一度PowerShell でREST とMySQL に接続したら、次からは1行のコマンドでレプリケーションを実施できます:

    Select-REST -Connection $rest -Table "people" | % {
      $row = $_
      $values = @()
      $columns | % {
        $col = $_
        $values += $row.$($col)
      }
      Add-MySQL -Connection $mysql -Table "people" -Columns $columns -Values $values
    }
    

• 別のPowerShell モジュールで、REST を別のデータベースに複製する場合、Select-REST cmdlet のデータから、カラム、接続およびテーブルを除外しておきましょう。これらのデータはデータ移動のときだけ必要となるためです。

    $columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name | ? {$_ -NotIn @('Columns','Connection','Table')}
    

おわりに

これで、REST のデータをMySQL に複製できました。分析、BI などでREST のデータをMySQL から使うことができるようになります。