SnapLogic を使用して Amazon Athena を外部サービスと連携

Jerod Johnson
Jerod Johnson
Senior Technology Evangelist
CData JDBC Driver を SnapLogic で使用して、Amazon Athena を外部サービスと連携する方法を説明します。

SnapLogic は、ノーコードでデータ連携フローを作成できる iPaaS(Integration Platform as a Service)です。CData JDBC Driver と組み合わせることで、Amazon Athena を含む250を超える SaaS、ビッグデータ、NoSQL ソースのリアルタイムデータに SnapLogic ワークフローからアクセスできます。

CData JDBC Driver は、最適化されたデータ処理機能を内蔵しており、リアルタイム Amazon Athena のデータ とのやり取りにおいて比類ないパフォーマンスを発揮します。外部ツールから複雑な SQL クエリが発行されると、ドライバーはフィルタや集計などのサポートされている SQL 操作を Amazon Athena に直接プッシュし、サポートされていない操作(多くの場合、SQL 関数や JOIN 操作)は内蔵の SQL エンジンを使用してクライアント側で処理します。動的なメタデータクエリ機能により、ネイティブデータ型を使用して Amazon Athena のデータ を操作できます。

Amazon Athena データ連携について

CData は、Amazon Athena のライブデータにアクセスし、統合するための最も簡単な方法を提供します。お客様は CData の接続機能を以下の目的で使用しています:

  • IAM 認証情報、アクセスキー、インスタンスプロファイルなど、さまざまな方法で安全に認証できます。多様なセキュリティニーズに対応し、認証プロセスを簡素化します。
  • 詳細なエラーメッセージにより、セットアップを効率化し、問題を迅速に解決できます。
  • サーバーサイドでのクエリ実行により、パフォーマンスを向上させ、クライアントリソースへの負荷を最小限に抑えます。

ユーザーは、Tableau、Power BI、Excel などの分析ツールと Athena を統合し、お気に入りのツールから詳細な分析を行うことができます。

CData を使用した Amazon Athena のユニークなユースケースについては、ブログ記事をご覧ください:https://jp.cdata.com/blog/amazon-athena-use-cases


はじめに


SnapLogic から Amazon Athena に接続

SnapLogic から Amazon Athena のデータ に接続するには、CData Amazon Athena JDBC Driver をダウンロードしてインストールします。インストールウィザードに従って進めてください。インストールが完了すると、JAR ファイルはインストールディレクトリ(デフォルトでは C:/Program Files/CData/CData JDBC Driver for Amazon Athena/lib)に配置されます。

Amazon Athena JDBC Driver のアップロード

インストール後、Manager タブから SnapLogic 内の場所(例:projects/Jerod Johnson)に JDBC JAR ファイルをアップロードします。

接続の設定

JDBC Driver をアップロードしたら、Amazon Athena への接続を作成します。

  1. Designer タブに移動します
  2. Snaps から「JDBC」を展開し、「Generic JDBC - Select」snap をデザイナーにドラッグします
  3. Add Account をクリック(または既存のアカウントを選択)し、「Continue」をクリックします
  4. 次のフォームで、JDBC 接続プロパティを設定します:
    • JDBC JARs に、先ほどアップロードした JAR ファイルを追加します
    • JDBC Driver Classcdata.jdbc.amazonathena.AmazonAthenaDriver に設定します
    • JDBC URL を Amazon Athena JDBC Driver の JDBC 接続文字列に設定します。例:

      jdbc:amazonathena:AccessKey='a123';SecretKey='s123';Region='IRELAND';Database='sampledb';S3StagingDirectory='s3://bucket/staging/';RTK=XXXXXX;

      注意:RTK はトライアルキーまたは製品キーです。詳細についてはサポートチームまでお問い合わせください。

      組み込みの接続文字列デザイナー

      JDBC URL の構築には、Amazon Athena JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。

      java -jar cdata.jdbc.amazonathena.jar

      接続プロパティを入力し、接続文字列をクリップボードにコピーします。

      Amazon Athena 接続プロパティの取得・設定方法

      それでは、早速Athena に接続していきましょう。

      データに接続するには、以下の接続パラメータを指定します。

      • DataSource:接続するAmazon Athena データソース。
      • Database:接続するAmazon Athena データベース。
      • AWSRegion:Amazon Athena データがホストされているリージョン。
      • S3StagingDirectory:クエリの結果を保存するS3 フォルダ。

      Database またはDataSource が設定されていない場合、CData 製品はAmazon Athena の利用可能なデータソースからすべてのデータベースのリスト化を試みます。そのため、両方のプロパティを設定することでCData 製品のパフォーマンスが向上します。

      Amazon Athena の認証設定

      CData 製品は幅広い認証オプションに対応しています。詳しくはヘルプドキュメントの「はじめに」を参照してみてください。

      AWS キーを取得

      IAM ユーザーの認証情報を取得するには、以下のステップお試しください。

      1. IAM コンソールにサインインします。
      2. ナビゲーションペインでユーザーを選択します。
      3. ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してからセキュリティ認証情報タブに移動します。

      AWS ルートアカウントの資格情報を取得するには、以下のステップをお試しください。

      1. ルートアカウントの認証情報を使用してAWS 管理コンソールにサインインします。
      2. アカウント名または番号を選択します。
      3. 表示されたメニューでMy Security Credentials を選択します。
      4. ルートアカウントのアクセスキーを管理または作成するには、Continue to Security Credentials をクリックし、[Access Keys]セクションを展開します。

      その他の認証オプションについては、ヘルプドキュメントの「Amazon Athena への認証」を参照してください。

  5. 接続プロパティを入力したら、「Validate」をクリックし、「Apply」をクリックします

Amazon Athena のデータ の読み取り

接続の検証と適用後に開くフォームで、クエリを設定します。

  • Schema name を「AmazonAthena」に設定します
  • Table name を Amazon Athena のテーブルに設定します。スキーマ名を使用して、例:「AmazonAthena」.「Customers」(ドロップダウンで利用可能なテーブルの一覧を確認できます)
  • テーブルから使用する各項目の Output fields を追加します

Generic JDBC - Select snap を保存します。

接続とクエリを設定したら、snap の末尾をクリックしてデータをプレビューします(下図でハイライト表示)。

結果が期待通りであることを確認したら、追加の snap を使用して Amazon Athena のデータ を別のエンドポイントに送信できます。

Amazon Athena のデータ を外部サービスにパイプ

この記事では、データを Google スプレッドシートに読み込みます。サポートされている任意の snap を使用するか、別の CData JDBC Driver と Generic JDBC snap を使用して、外部サービスにデータを移動できます。

  1. 「Worksheet Writer」snap を「Generic JDBC - Select」snap の末尾にドロップします。
  2. Google Sheets に接続するためのアカウントを追加します
  3. Worksheet Writer snap を設定して、Amazon Athena のデータ を Google スプレッドシートに書き込みます

これで、完全に設定されたパイプラインを実行して、Amazon Athena からデータを抽出し、Google スプレッドシートにプッシュできます。

外部データを Amazon Athena にパイプ

上記の通り、SnapLogic で Amazon Athena 用の JDBC Driver を使用して Amazon Athena にデータを書き込むこともできます。まず、Generic JDBC - Insert または Generic JDBC - Update snap をダッシュボードに追加します。

  1. 既存の「Account」(接続)を選択するか、新しいものを作成します
  2. クエリを設定します:
    • Schema name を「AmazonAthena」に設定します
    • Table name を Amazon Athena のテーブルに設定します。スキーマ名を使用して、例:「AmazonAthena」.「Customers」(ドロップダウンで利用可能なテーブルの一覧を確認できます)
  3. Generic JDBC - Insert/Update snap を保存します

これで、Amazon Athena にデータを書き込み、新しいレコードを挿入したり既存のレコードを更新したりする snap が設定されました。

詳細情報と無料トライアル

CData JDBC Driver for Amazon Athena を使用することで、SnapLogic で Amazon Athena のデータ を外部サービスと連携するパイプラインを作成できます。Amazon Athena への接続の詳細については、CData JDBC Driver for Amazon Athena ページをご覧ください。CData JDBC Driver for Amazon Athena の30日間無料トライアルをダウンロードして、今すぐお試しください。

はじめる準備はできましたか?

Amazon Athena Driver の無料トライアルをダウンロードしてお試しください:

 ダウンロード

詳細:

Amazon Athena Icon Amazon Athena JDBC Driver お問い合わせ

Amazon Athena 連携のパワフルなJava アプリケーションを素早く作成して配布。