RunMyProcess DSEC を使用して DigitalSuite Studio で Snowflake のデータ に接続
CData JDBC Driver for Snowflake は JDBC 標準を実装しており、BI からIDE まで幅広いアプリケーションから Snowflake への接続を可能にします。この記事では、Arkobi Digital RunMyProcess の DSEC から Snowflake のデータ に接続し、RunMyProcess で Snowflake に接続する方法を説明します。
Snowflake データ連携について
CData は、Snowflake のライブデータへのアクセスと統合を簡素化します。お客様は CData の接続機能を以下の目的で活用しています:
- Snowflake データを迅速かつ効率的に読み書きできます。
- 指定された Warehouse、Database、Schema のメタデータを動的に取得できます。
- OAuth、OKTA、Azure AD、Azure マネージド サービス ID、PingFederate、秘密鍵など、さまざまな方法で認証できます。
多くの CData ユーザーは、CData ソリューションを使用して、お気に入りのツールやアプリケーションから Snowflake にアクセスし、さまざまなシステムからデータを Snowflake にレプリケートして、包括的なウェアハウジングと分析を行っています。
CData ソリューションとの Snowflake 統合についての詳細は、ブログをご覧ください:https://jp.cdata.com/blog/snowflake-integrations
はじめに
EnterpriseConnect Agent のセットアップ
RunMyProcess ドキュメントの EnterpriseConnect ページに従って、EnterpriseConnect Agent を設定します。
JDBC Adapter のセットアップ
JDBC Adapter のセクションでは、JDBC を使用して RDBMS に接続する手順が説明されています。手順に従って JDBC.config ファイルを開きます。
- CData JDBC Driver for Snowflake 用の JSON エントリを作成します。例:
Snowflake = { "sqlDriver" : "...", "sqlSource" : "...", "sqlDriverPath" : "..." } - "sqlDriver" フィールドに CData JDBC Driver のクラス名を設定します。例:
cdata.jdbc.snowflake.SnowflakeDriver - "sqlSource" フィールドに Snowflake に接続するための JDBC URL を設定します。例:
jdbc:snowflake:User=Admin;Password=test123;Server=localhost;Database=Northwind;Warehouse=TestWarehouse;Account=Tester1;組み込みの接続文字列デザイナー
JDBC URL の作成には、Snowflake JDBC Driver に組み込まれている接続文字列デザイナーをご利用ください。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行します。
java -jar cdata.jdbc.snowflake.jar
接続プロパティを入力し、接続文字列をクリップボードにコピーします。
それでは、Snowflake データベースに接続していきましょう。認証に加えて、以下の接続プロパティを設定します。
- Url:お使いのSnowflake URL を指定します。例:https://orgname-myaccount.snowflakecomputing.com
- Legacy URL を使用する場合:https://myaccount.region.snowflakecomputing.com
- ご自身のURL は以下のステップで確認できます。
- Snowflake UI の左下にあるユーザー名をクリックします
- Account ID にカーソルを合わせます
- Copy Account URL アイコンをクリックして、アカウントURL をコピーします
- Database(オプション):CData 製品によって公開されるテーブルとビューを、特定のSnowflake データベースのものに制限したい場合に設定します
- Schema(オプション):CData 製品によって公開されるテーブルとビューを、特定のSnowflake データベーススキーマのものに制限したい場合に設定します
Snowflakeへの認証
CData 製品では、Snowflake ユーザー認証、フェデレーション認証、およびSSL クライアント認証をサポートしています。認証するには、User とPassword を設定し、AuthScheme プロパティで認証方法を選択してください。
キーペア認証
ユーザーアカウントに定義されたプライベートキーを使用してセキュアなトークンを作成し、キーペア認証で接続することも可能です。この方法で接続するには、AuthScheme をPRIVATEKEY に設定し、以下の値を設定してください。
- User:認証に使用するユーザーアカウント
- PrivateKey:プライベートキーを含む.pem ファイルへのパスなど、ユーザーに使用されるプライベートキー
- PrivateKeyType:プライベートキーを含むキーストアの種類(PEMKEY_FILE、PFXFILE など)
- PrivateKeyPassword:指定されたプライベートキーのパスワード
その他の認証方法については、ヘルプドキュメントの「Snowflakeへの認証」セクションをご確認ください。
- Url:お使いのSnowflake URL を指定します。例:https://orgname-myaccount.snowflakecomputing.com
- "sqlDriverPath" フィールドに CData JDBC Driver JAR ファイルの名前を設定します。例:
cdata.jdbc.snowflake.jar
JDBC.config ファイルの例
#DBAgent Configuration
Snowflake = {"sqlDriver" : "cdata.jdbc.snowflake.SnowflakeDriver", "sqlSource" = "jdbc:snowflake:User=Admin;Password=test123;Server=localhost;Database=Northwind;Warehouse=TestWarehouse;Account=Tester1;","sqlDriverPath" = "cdata.jdbc.snowflake.jar" }
JDBC ドライバー JAR ファイル(cdata.jdbc.snowflake.jar)を unified-adapter-[version].jar と同じディレクトリに配置します。
注意:CData ライセンスファイル(cdata.jdbc.snowflake.lic)も同じディレクトリに配置してください。ライセンスは製品がインストールされているマシンの一意の識別子に基づいて生成されるため、ファイルを別のマシンに配置する場合はオフラインアクティベーションが必要になります。
DigitalSuite EnterpriseConnect Agent の起動
Windows では、Windows サービスから RunMyProcess DigitalSuite EnterpriseConnect Agent を起動します。コマンドラインでアプリケーションを起動する場合は、RunMyProcess ドキュメントの Starting the EnterpriseConnect Agent を参照してください。
JDBC Adapter の起動
runAdapter.bat から JDBC Adapter を起動します。Adapter が起動したら、エージェントアドレス(例:127.0.0.1:8080)を通じてアプリケーションにアクセスできます。以下は Windows でコマンドを実行した例です。
... > java -Djava.util.logging.config.file=./log.properties -cp lib/* org.runmyprocess.sec2.AdapterHandler : 2021-06-09 14:37:58|INFO|correlationId=|Searching for config file... 2021-06-09 14:37:58|INFO|correlationId=|Adapter Handler started with [JDBC] configuration 2021-06-09 14:37:59|INFO|correlationId=|agent address: 127.0.0.1:8080 2021-06-09 14:38:00.251:INFO::ConnectionThread: Logging initialized @1820ms to org.eclipse.jetty.util.log.StdErrLog 2021-06-09 14:38:00|INFO|correlationId=|onConnect() websocket connection between Agent and Adapter established
DigitalSuite EnterpriseConnect Agent と JDBC Adapter が起動したら、ブラウザで http://localhost:(指定したポート番号)/ にアクセスして、以下のページを開きます。
Postman や cURL などのツールを使用して JDBC Adapter の接続確認を行います。ここでは Postman を使用して HTTP POST リクエストを送信します。
RequestHeader を以下のように設定します:
Content-Type application/json
RequestBody を以下のように設定します:
{
"protocol":"JDBC",
"data":{
"DBType":"Snowflake",
"sqlUsername":"",
"sqlPassword":"",
"sqlStatement":"SELECT * FROM Products"
}
}
JDBC.config ファイルに認証情報が含まれている場合、sqlUsername と sqlPassword は空のままにできます。テーブル名が不明な場合は、SELECT * FROM sys_tables リクエストを使用してテーブルの一覧を取得できます。
ステータスが 200 で、ボディに JSON 形式の Snowflake のデータ データが含まれていれば、リクエストは成功です。
DigitalSuite Studio で DSEC Agent を介して Snowflake に接続
DigitalSuite Studio プロジェクトを作成し、プロジェクト内に Provider を作成します。
- URL:JDBC Agent にアクセスするための URL(例:http:localhost:8080/)
- Authentication Scheme:Login/password
- Login:application.properties ファイルの agent.user の値
- Password:application.properties ファイルの agent.password の値
- Secured:チェックを入れる
- Use DigitalSuite EnterpriseConnect:チェックを入れる
- With domain:application.properties ファイルの agent.domain の値
次に、Provider 内に Connector を作成します。
- Connector URL:空のままにする
- Architecture:REST/XML-RPC
- Method:POST
- Result format:JSON
- Accept media type:application/json
- Character set:Automatic
- Content:JDBC Adapter で使用した Request body と同じ内容
- Content type: application/json
JDBC Adapter で Request body として使用した JSON データ:
{
"protocol":"JDBC",
"data":{
"DBType":"Snowflake",
"sqlUsername":"",
"sqlPassword":"",
"sqlStatement":"SELECT * FROM Products"
}
}
Launch Test を開いてテストを実行します。右側のペインの Result に Snowflake のデータ データが表示されれば、テストは成功です。
これで、DSEC を介して RunMyProcess DigitalSuite Studio で Snowflake のデータ を使用できるようになりました。
サポートされる SQL コマンドの詳細については、ヘルプドキュメントの「SQL Compliance」セクションを参照してください。テーブルの詳細については、「Data Model」セクションを参照してください。