RunMyProcess DSEC を使用して DigitalSuite Studio で Amazon Athena のデータ に接続
CData JDBC Driver for Amazon Athena は JDBC 標準を実装しており、BI からIDE まで幅広いアプリケーションから Amazon Athena への接続を可能にします。この記事では、Arkobi Digital RunMyProcess の DSEC から Amazon Athena のデータ に接続し、RunMyProcess で Amazon Athena に接続する方法を説明します。
Amazon Athena データ連携について
CData は、Amazon Athena のライブデータにアクセスし、統合するための最も簡単な方法を提供します。お客様は CData の接続機能を以下の目的で使用しています:
- IAM 認証情報、アクセスキー、インスタンスプロファイルなど、さまざまな方法で安全に認証できます。多様なセキュリティニーズに対応し、認証プロセスを簡素化します。
- 詳細なエラーメッセージにより、セットアップを効率化し、問題を迅速に解決できます。
- サーバーサイドでのクエリ実行により、パフォーマンスを向上させ、クライアントリソースへの負荷を最小限に抑えます。
ユーザーは、Tableau、Power BI、Excel などの分析ツールと Athena を統合し、お気に入りのツールから詳細な分析を行うことができます。
CData を使用した Amazon Athena のユニークなユースケースについては、ブログ記事をご覧ください:https://jp.cdata.com/blog/amazon-athena-use-cases
はじめに
EnterpriseConnect Agent のセットアップ
RunMyProcess ドキュメントの EnterpriseConnect ページに従って、EnterpriseConnect Agent を設定します。
JDBC Adapter のセットアップ
JDBC Adapter のセクションでは、JDBC を使用して RDBMS に接続する手順が説明されています。手順に従って JDBC.config ファイルを開きます。
- CData JDBC Driver for Amazon Athena 用の JSON エントリを作成します。例:
AmazonAthena = { "sqlDriver" : "...", "sqlSource" : "...", "sqlDriverPath" : "..." } - "sqlDriver" フィールドに CData JDBC Driver のクラス名を設定します。例:
cdata.jdbc.amazonathena.AmazonAthenaDriver - "sqlSource" フィールドに Amazon Athena に接続するための JDBC URL を設定します。例:
jdbc:amazonathena:AccessKey='a123';SecretKey='s123';Region='IRELAND';Database='sampledb';S3StagingDirectory='s3://bucket/staging/';組み込みの接続文字列デザイナー
JDBC URL の作成には、Amazon Athena JDBC Driver に組み込まれている接続文字列デザイナーをご利用ください。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行します。
java -jar cdata.jdbc.amazonathena.jar
接続プロパティを入力し、接続文字列をクリップボードにコピーします。
Amazon Athena 接続プロパティの取得・設定方法
それでは、早速Athena に接続していきましょう。
データに接続するには、以下の接続パラメータを指定します。
- DataSource:接続するAmazon Athena データソース。
- Database:接続するAmazon Athena データベース。
- AWSRegion:Amazon Athena データがホストされているリージョン。
- S3StagingDirectory:クエリの結果を保存するS3 フォルダ。
Database またはDataSource が設定されていない場合、CData 製品はAmazon Athena の利用可能なデータソースからすべてのデータベースのリスト化を試みます。そのため、両方のプロパティを設定することでCData 製品のパフォーマンスが向上します。
Amazon Athena の認証設定
CData 製品は幅広い認証オプションに対応しています。詳しくはヘルプドキュメントの「はじめに」を参照してみてください。
AWS キーを取得
IAM ユーザーの認証情報を取得するには、以下のステップお試しください。
- IAM コンソールにサインインします。
- ナビゲーションペインでユーザーを選択します。
- ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してからセキュリティ認証情報タブに移動します。
AWS ルートアカウントの資格情報を取得するには、以下のステップをお試しください。
- ルートアカウントの認証情報を使用してAWS 管理コンソールにサインインします。
- アカウント名または番号を選択します。
- 表示されたメニューでMy Security Credentials を選択します。
- ルートアカウントのアクセスキーを管理または作成するには、Continue to Security Credentials をクリックし、[Access Keys]セクションを展開します。
その他の認証オプションについては、ヘルプドキュメントの「Amazon Athena への認証」を参照してください。
- "sqlDriverPath" フィールドに CData JDBC Driver JAR ファイルの名前を設定します。例:
cdata.jdbc.amazonathena.jar
JDBC.config ファイルの例
#DBAgent Configuration
AmazonAthena = {"sqlDriver" : "cdata.jdbc.amazonathena.AmazonAthenaDriver", "sqlSource" = "jdbc:amazonathena:AccessKey='a123';SecretKey='s123';Region='IRELAND';Database='sampledb';S3StagingDirectory='s3://bucket/staging/';","sqlDriverPath" = "cdata.jdbc.amazonathena.jar" }
JDBC ドライバー JAR ファイル(cdata.jdbc.amazonathena.jar)を unified-adapter-[version].jar と同じディレクトリに配置します。
注意:CData ライセンスファイル(cdata.jdbc.amazonathena.lic)も同じディレクトリに配置してください。ライセンスは製品がインストールされているマシンの一意の識別子に基づいて生成されるため、ファイルを別のマシンに配置する場合はオフラインアクティベーションが必要になります。
DigitalSuite EnterpriseConnect Agent の起動
Windows では、Windows サービスから RunMyProcess DigitalSuite EnterpriseConnect Agent を起動します。コマンドラインでアプリケーションを起動する場合は、RunMyProcess ドキュメントの Starting the EnterpriseConnect Agent を参照してください。
JDBC Adapter の起動
runAdapter.bat から JDBC Adapter を起動します。Adapter が起動したら、エージェントアドレス(例:127.0.0.1:8080)を通じてアプリケーションにアクセスできます。以下は Windows でコマンドを実行した例です。
... > java -Djava.util.logging.config.file=./log.properties -cp lib/* org.runmyprocess.sec2.AdapterHandler : 2021-06-09 14:37:58|INFO|correlationId=|Searching for config file... 2021-06-09 14:37:58|INFO|correlationId=|Adapter Handler started with [JDBC] configuration 2021-06-09 14:37:59|INFO|correlationId=|agent address: 127.0.0.1:8080 2021-06-09 14:38:00.251:INFO::ConnectionThread: Logging initialized @1820ms to org.eclipse.jetty.util.log.StdErrLog 2021-06-09 14:38:00|INFO|correlationId=|onConnect() websocket connection between Agent and Adapter established
DigitalSuite EnterpriseConnect Agent と JDBC Adapter が起動したら、ブラウザで http://localhost:(指定したポート番号)/ にアクセスして、以下のページを開きます。
Postman や cURL などのツールを使用して JDBC Adapter の接続確認を行います。ここでは Postman を使用して HTTP POST リクエストを送信します。
RequestHeader を以下のように設定します:
Content-Type application/json
RequestBody を以下のように設定します:
{
"protocol":"JDBC",
"data":{
"DBType":"AmazonAthena",
"sqlUsername":"",
"sqlPassword":"",
"sqlStatement":"SELECT * FROM Customers"
}
}
JDBC.config ファイルに認証情報が含まれている場合、sqlUsername と sqlPassword は空のままにできます。テーブル名が不明な場合は、SELECT * FROM sys_tables リクエストを使用してテーブルの一覧を取得できます。
ステータスが 200 で、ボディに JSON 形式の Amazon Athena のデータ データが含まれていれば、リクエストは成功です。
DigitalSuite Studio で DSEC Agent を介して Amazon Athena に接続
DigitalSuite Studio プロジェクトを作成し、プロジェクト内に Provider を作成します。
- URL:JDBC Agent にアクセスするための URL(例:http:localhost:8080/)
- Authentication Scheme:Login/password
- Login:application.properties ファイルの agent.user の値
- Password:application.properties ファイルの agent.password の値
- Secured:チェックを入れる
- Use DigitalSuite EnterpriseConnect:チェックを入れる
- With domain:application.properties ファイルの agent.domain の値
次に、Provider 内に Connector を作成します。
- Connector URL:空のままにする
- Architecture:REST/XML-RPC
- Method:POST
- Result format:JSON
- Accept media type:application/json
- Character set:Automatic
- Content:JDBC Adapter で使用した Request body と同じ内容
- Content type: application/json
JDBC Adapter で Request body として使用した JSON データ:
{
"protocol":"JDBC",
"data":{
"DBType":"AmazonAthena",
"sqlUsername":"",
"sqlPassword":"",
"sqlStatement":"SELECT * FROM Customers"
}
}
Launch Test を開いてテストを実行します。右側のペインの Result に Amazon Athena のデータ データが表示されれば、テストは成功です。
これで、DSEC を介して RunMyProcess DigitalSuite Studio で Amazon Athena のデータ を使用できるようになりました。
サポートされる SQL コマンドの詳細については、ヘルプドキュメントの「SQL Compliance」セクションを参照してください。テーブルの詳細については、「Data Model」セクションを参照してください。