CloverDX(旧CloverETL)で Amazon Athena のデータ に接続
CData JDBC Driver for Amazon Athena を使用すると、CloverDX(旧CloverETL)のデータ変換コンポーネントで Amazon Athena をソースおよびデスティネーションとして扱えます。この記事では、JDBC Driver for Amazon Athena を使用して、フラットファイルへのシンプルな転送を設定する方法を説明します。
Amazon Athena データ連携について
CData は、Amazon Athena のライブデータにアクセスし、統合するための最も簡単な方法を提供します。お客様は CData の接続機能を以下の目的で使用しています:
- IAM 認証情報、アクセスキー、インスタンスプロファイルなど、さまざまな方法で安全に認証できます。多様なセキュリティニーズに対応し、認証プロセスを簡素化します。
- 詳細なエラーメッセージにより、セットアップを効率化し、問題を迅速に解決できます。
- サーバーサイドでのクエリ実行により、パフォーマンスを向上させ、クライアントリソースへの負荷を最小限に抑えます。
ユーザーは、Tableau、Power BI、Excel などの分析ツールと Athena を統合し、お気に入りのツールから詳細な分析を行うことができます。
CData を使用した Amazon Athena のユニークなユースケースについては、ブログ記事をご覧ください:https://jp.cdata.com/blog/amazon-athena-use-cases
はじめに
JDBC データソースとして Amazon Athena に接続
- Amazon Athena のデータ への接続を作成します。新規のCloverDX グラフで、Outline ペインの「Connections」ノードを右クリックし、「Connections」->「Create Connection」をクリックします。Database Connection ウィザードが表示されます。
- プラスアイコンをクリックし、JAR からドライバーをロードします。インストールディレクトリのlib サブフォルダを参照し、cdata.jdbc.amazonathena.jar ファイルを選択します。
- JDBC URL を入力します。
Amazon Athena 接続プロパティの取得・設定方法
それでは、早速Athena に接続していきましょう。
データに接続するには、以下の接続パラメータを指定します。
- DataSource:接続するAmazon Athena データソース。
- Database:接続するAmazon Athena データベース。
- AWSRegion:Amazon Athena データがホストされているリージョン。
- S3StagingDirectory:クエリの結果を保存するS3 フォルダ。
Database またはDataSource が設定されていない場合、CData 製品はAmazon Athena の利用可能なデータソースからすべてのデータベースのリスト化を試みます。そのため、両方のプロパティを設定することでCData 製品のパフォーマンスが向上します。
Amazon Athena の認証設定
CData 製品は幅広い認証オプションに対応しています。詳しくはヘルプドキュメントの「はじめに」を参照してみてください。
AWS キーを取得
IAM ユーザーの認証情報を取得するには、以下のステップお試しください。
- IAM コンソールにサインインします。
- ナビゲーションペインでユーザーを選択します。
- ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してからセキュリティ認証情報タブに移動します。
AWS ルートアカウントの資格情報を取得するには、以下のステップをお試しください。
- ルートアカウントの認証情報を使用してAWS 管理コンソールにサインインします。
- アカウント名または番号を選択します。
- 表示されたメニューでMy Security Credentials を選択します。
- ルートアカウントのアクセスキーを管理または作成するには、Continue to Security Credentials をクリックし、[Access Keys]セクションを展開します。
その他の認証オプションについては、ヘルプドキュメントの「Amazon Athena への認証」を参照してください。
組み込みの接続文字列デザイナー
JDBC URL の構築には、Amazon Athena JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから実行します。
java -jar cdata.jdbc.amazonathena.jar
接続プロパティを入力し、接続文字列をクリップボードにコピーします。
一般的なJDBC URL は次のようになります:
jdbc:amazonathena:AccessKey='a123';SecretKey='s123';Region='IRELAND';Database='sampledb';S3StagingDirectory='s3://bucket/staging/';
DBInputTable コンポーネントで Amazon Athena のデータ をクエリ
- Palette の「Readers」から「DBInputTable」をジョブフローにドラッグし、ダブルクリックして設定エディターを開きます。
- 「DB connection」プロパティで、ドロップダウンメニューから Amazon Athena JDBC データソースを選択します。
- SQL クエリを入力します。例:
SELECT Name, TotalDue FROM Customers
クエリの出力をUniversalDataWriter に書き込む
- 「Writers」から「UniversalDataWriter」をジョブフローにドラッグします。
- UniversalDataWriter をダブルクリックして設定エディターを開き、ファイルURL を追加します。
- DBInputTable を右クリックし、「Extract Metadata」をクリックします。
- DBInputTable の出力ポートをUniversalDataWriter に接続します。
- UniversalDataWriter の「Select Metadata」メニューで、Customers テーブルを選択します。(このメニューはUniversalDataWriter の入力ポートを右クリックしても開けます。)
- 「Run」をクリックして、ファイルに書き込みます。