Informatica Cloud で Amazon Athena のデータ を連携
Informatica Cloud は、クラウド上で抽出、変換、ロード(ETL)タスクを実行できるツールです。Cloud Secure Agent と CData JDBC Driver for Amazon Athena を組み合わせることで、Informatica Cloud から直接 Amazon Athena のデータ にリアルタイムでアクセスできます。本記事では、Cloud Secure Agent のダウンロードと登録、JDBC ドライバーを介した Amazon Athena への接続、そして Informatica Cloud のプロセスで使用可能なマッピングの作成方法をご紹介します。
Amazon Athena データ連携について
CData は、Amazon Athena のライブデータにアクセスし、統合するための最も簡単な方法を提供します。お客様は CData の接続機能を以下の目的で使用しています:
- IAM 認証情報、アクセスキー、インスタンスプロファイルなど、さまざまな方法で安全に認証できます。多様なセキュリティニーズに対応し、認証プロセスを簡素化します。
- 詳細なエラーメッセージにより、セットアップを効率化し、問題を迅速に解決できます。
- サーバーサイドでのクエリ実行により、パフォーマンスを向上させ、クライアントリソースへの負荷を最小限に抑えます。
ユーザーは、Tableau、Power BI、Excel などの分析ツールと Athena を統合し、お気に入りのツールから詳細な分析を行うことができます。
CData を使用した Amazon Athena のユニークなユースケースについては、ブログ記事をご覧ください:https://jp.cdata.com/blog/amazon-athena-use-cases
はじめに
Informatica Cloud Secure Agent
JDBC ドライバー経由で Amazon Athena のデータ に接続するには、Cloud Secure Agent をインストールします。
- Informatica Cloud の Administrator ページに移動します
- Runtime Environments タブを選択します
- 「Download Secure Agent」をクリックします
- Install Token をメモしておきます
- クライアントマシンでインストーラを実行し、ユーザー名と Install Token を使って Cloud Secure Agent を登録します
NOTE: Cloud Secure Agent のすべてのサービスが起動するまでに、しばらく時間がかかる場合があります。
Amazon Athena JDBC Driver への接続
Cloud Secure Agent のインストールと起動が完了したら、JDBC ドライバーを介して Amazon Athena に接続する準備が整いました。
Secure Agent マシンへの JDBC ドライバーの追加
- Secure Agent マシンの以下のディレクトリに移動します:
%Secure Agent installation directory%/ext/connectors/thirdparty/
- 設定するマッピングの種類に応じて、フォルダを作成しドライバーの JAR ファイル(cdata.jdbc.amazonathena.jar)を追加します。
マッピングの場合は、以下のフォルダを作成してドライバーの JAR ファイルを追加します:
informatica.jdbc_v2/common
アドバンスドモードのマッピングの場合は、以下のフォルダも作成してドライバーの JAR ファイルを追加します:
informatica.jdbc_v2/spark
- Secure Agent を再起動します。
Informatica Cloud での Amazon Athena への接続
ドライバーの JAR ファイルをインストールしたら、Informatica Cloud で Amazon Athena への接続を設定します。Connections タブをクリックし、New Connection をクリックして、以下のプロパティを入力します:- Connection Name: 接続に名前を付けます(例:CData Amazon Athena Connection)
- Type:「JDBC_V2」を選択します
- Runtime Environment: Secure Agent をインストールしたランタイム環境を選択します
- JDBC Driver Class Name: JDBC ドライバークラス名を入力します:cdata.jdbc.amazonathena.AmazonAthenaDriver
- JDBC Connection URL: Amazon Athena の JDBC URL を設定します。URL は以下のようになります:
jdbc:amazonathena:AccessKey='a123';SecretKey='s123';Region='IRELAND';Database='sampledb';S3StagingDirectory='s3://bucket/staging/';
Amazon Athena 接続プロパティの取得・設定方法
それでは、早速Athena に接続していきましょう。
データに接続するには、以下の接続パラメータを指定します。
- DataSource:接続するAmazon Athena データソース。
- Database:接続するAmazon Athena データベース。
- AWSRegion:Amazon Athena データがホストされているリージョン。
- S3StagingDirectory:クエリの結果を保存するS3 フォルダ。
Database またはDataSource が設定されていない場合、CData 製品はAmazon Athena の利用可能なデータソースからすべてのデータベースのリスト化を試みます。そのため、両方のプロパティを設定することでCData 製品のパフォーマンスが向上します。
Amazon Athena の認証設定
CData 製品は幅広い認証オプションに対応しています。詳しくはヘルプドキュメントの「はじめに」を参照してみてください。
AWS キーを取得
IAM ユーザーの認証情報を取得するには、以下のステップお試しください。
- IAM コンソールにサインインします。
- ナビゲーションペインでユーザーを選択します。
- ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してからセキュリティ認証情報タブに移動します。
AWS ルートアカウントの資格情報を取得するには、以下のステップをお試しください。
- ルートアカウントの認証情報を使用してAWS 管理コンソールにサインインします。
- アカウント名または番号を選択します。
- 表示されたメニューでMy Security Credentials を選択します。
- ルートアカウントのアクセスキーを管理または作成するには、Continue to Security Credentials をクリックし、[Access Keys]セクションを展開します。
その他の認証オプションについては、ヘルプドキュメントの「Amazon Athena への認証」を参照してください。
組み込みの接続文字列デザイナー
JDBC URL の作成には、Amazon Athena JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。.jar ファイルをダブルクリックするか、コマンドラインから実行してください。
java -jar cdata.jdbc.amazonathena.jar接続プロパティを入力し、接続文字列をクリップボードにコピーします。
- Username: プレースホルダー値を設定します(Amazon Athena はユーザー名を必要としないため)
- Password: プレースホルダー値を設定します(Amazon Athena はパスワードを必要としないため)
Amazon Athena のデータ のマッピングを作成
Amazon Athena への接続を設定したら、Informatica の任意のプロセスで Amazon Athena のデータ にアクセスできます。以下の手順では、Amazon Athena から別のデータターゲットへのマッピングを作成する方法を説明します。
- Data Integration ページに移動します
- New.. をクリックし、Mappings タブから Mapping を選択します
- Source Object をクリックし、Source タブで Connection を選択し、Source Type を設定します
- 「Select」をクリックして、マッピングするテーブルを選択します
- Fields タブで、マッピングする Amazon Athena テーブルのフィールドを選択します
- Target オブジェクトをクリックし、Target ソース、テーブル、フィールドを設定します。Field Mapping タブで、ソースフィールドをターゲットフィールドにマッピングします。
マッピングの設定が完了すると、Informatica Cloud でサポートされている任意の接続先と Amazon Athena のデータ のリアルタイム連携を開始できます。CData JDBC Driver for Amazon Athena の30日間無償トライアルをダウンロードして、Informatica Cloud で Amazon Athena のデータ の活用を今すぐ始めましょう。