Azure App サービスでAmazon Athena IFTTT フローをトリガー
Azure Logic Apps は ノーコードでアプリを構築できるクラウドサービスです。さらにCData Connect AI と連携することで、ノーコードアプリ開発用のAmazon Athena のデータへのクラウドベースのアクセスをノーコードで追加できます。本記事では、CData Connect AI 経由でAzure Logic Apps からAmazon Athena 連携を実現する方法を紹介します。
Amazon Athena データ連携について
CData は、Amazon Athena のライブデータにアクセスし、統合するための最も簡単な方法を提供します。お客様は CData の接続機能を以下の目的で使用しています:
- IAM 認証情報、アクセスキー、インスタンスプロファイルなど、さまざまな方法で安全に認証できます。多様なセキュリティニーズに対応し、認証プロセスを簡素化します。
- 詳細なエラーメッセージにより、セットアップを効率化し、問題を迅速に解決できます。
- サーバーサイドでのクエリ実行により、パフォーマンスを向上させ、クライアントリソースへの負荷を最小限に抑えます。
ユーザーは、Tableau、Power BI、Excel などの分析ツールと Athena を統合し、お気に入りのツールから詳細な分析を行うことができます。
CData を使用した Amazon Athena のユニークなユースケースについては、ブログ記事をご覧ください:https://jp.cdata.com/blog/amazon-athena-use-cases
はじめに
Connect AI を構成
Azure Logic Apps でAmazon Athena のデータを操作するには、Connect AI からAmazon Athena に接続し、コネクションにユーザーアクセスを提供してAmazon Athena のデータのOData エンドポイントを作成する必要があります。
Amazon Athena に接続したら、目的のテーブルのOData エンドポイントを作成します。
(オプション)新しいConnect AI ユーザーの追加
必要であれば、Connect AI 経由でAmazon Athena に接続するユーザーを作成します。
- 「Users」ページに移動し、 Invite Users をクリックします。
- 新しいユーザーのE メールアドレスを入力して、 Send をクリックしてユーザーを招待します。
- 「Users」ページからユーザーを確認および編集できます。
パーソナルアクセストークン(PAT)の追加
OAuth 認証をサポートしていないサービス、アプリケーション、プラットフォーム、またはフレームワークから接続する場合は、認証に使用するパーソナルアクセストークン(PAT)を作成できます。きめ細かなアクセス管理を行うために、サービスごとに個別のPAT を作成するのがベストプラクティスです。
- Connect AI アプリの右上にあるユーザー名をクリックし、「User Profile」をクリックします。
- 「User Profile」ページで「Access Token」セクションにスクロールし、 Create PAT をクリックします。
- PAT の名前を入力して Create をクリックします。
- パーソナルアクセストークン(PAT)は作成時にしか表示されないため、必ずコピーして安全に保存してください。
Connect AI からAmazon Athena に接続
CData Connect AI では、簡単なクリック操作ベースのインターフェースでデータソースに接続できます。
- Connect AI にログインし、 Add Connection をクリックします。
- 「Add Connection」パネルから「Amazon Athena」を選択します。
-
必要な認証プロパティを入力し、Amazon Athena に接続します。
Amazon Athena 接続プロパティの取得・設定方法
それでは、早速Athena に接続していきましょう。
データに接続するには、以下の接続パラメータを指定します。
- DataSource:接続するAmazon Athena データソース。
- Database:接続するAmazon Athena データベース。
- AWSRegion:Amazon Athena データがホストされているリージョン。
- S3StagingDirectory:クエリの結果を保存するS3 フォルダ。
Database またはDataSource が設定されていない場合、CData 製品はAmazon Athena の利用可能なデータソースからすべてのデータベースのリスト化を試みます。そのため、両方のプロパティを設定することでCData 製品のパフォーマンスが向上します。
Amazon Athena の認証設定
CData 製品は幅広い認証オプションに対応しています。詳しくはヘルプドキュメントの「はじめに」を参照してみてください。
AWS キーを取得
IAM ユーザーの認証情報を取得するには、以下のステップお試しください。
- IAM コンソールにサインインします。
- ナビゲーションペインでユーザーを選択します。
- ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してからセキュリティ認証情報タブに移動します。
AWS ルートアカウントの資格情報を取得するには、以下のステップをお試しください。
- ルートアカウントの認証情報を使用してAWS 管理コンソールにサインインします。
- アカウント名または番号を選択します。
- 表示されたメニューでMy Security Credentials を選択します。
- ルートアカウントのアクセスキーを管理または作成するには、Continue to Security Credentials をクリックし、[Access Keys]セクションを展開します。
その他の認証オプションについては、ヘルプドキュメントの「Amazon Athena への認証」を参照してください。
- Create & Test をクリックします。
- 「Add Amazon Athena Connection」ページの「Permissions」タブに移動し、ユーザーベースのアクセス許可を更新します。
Connect AI にAmazon Athena OData エンドポイントを追加する
Amazon Athena に接続したら、目的のテーブルのOData エンドポイントを作成します。
- OData ページに移動し、 Add をクリックして新しいOData エンドポイントを作成します。
- Amazon Athena 接続(例:AmazonAthena1)を選択し、Next をクリックします。
- 使用するテーブルを選択し、「Confirm」をクリックします。
コネクションとOData エンドポイントを設定したら、Azure Logic Apps からAmazon Athena のデータに接続できます。
Logic App でAmazon Athena にアクセス
Logic App でCData Connect AI を使用し、Amazon Athena の周りにプロセスフローを作成できます。HTTP + Swagger アクションは、Amazon Athena に対して実行する操作を定義するためのウィザードを提供します。以下のステップでは、Logic App でAmazon Athena を取得する方法を説明しています。
テーブルにレコードの作成日を含むカラムがある場合は、以下のステップに従って新しいレコードのカラム値をチェックする関数を作成できます。それ以外の場合は、[Create a Logic App]セクションにスキップし、フィルタに一致するエンティティにメールを送信します。
新しいAmazon Athena エンティティを確認
特定の新しいAmazon Athena エンティティを見つけるために、インターバルの開始日時の値を取得する関数を作成できます。
- [Azure Portal]で、[New]->[Function App]->[Create]と進みます。
- 名前を入力し、サブスクリプション、リソースグループ、App Service プラン、そしてストレージアカウントを選択します。
- Function App を選択し、Webhook + API シナリオを選択します。
- 言語を選択します。この記事では、JavaScript を使用します。
- 以下のコードを追加し、JSON オブジェクトで前の時間を返します。
module.exports = function (context, data) { var d = new Date(); d.setHours(d.getHours()-1); // Response of the function to be used later. context.res = { body: { start: d } }; context.done(); };
トリガーにAmazon Athena を追加
以下のステップに従って、フィルタに一致する結果をAmazon Athena で検索するトリガーを作成します。上記の関数を作成した場合は、返されたインターバルの開始後に作成されたオブジェクトを検索できます。
- Azure Portal で[New]をクリックし、[Web + Mobile]セクションで[Logic App]を選択してリソースグループとApp Service プランを選択します。
- これで、Logic App Designer で使用可能なウィザードが使用できます。このウィザードには、Logic App の設定ブレードからアクセスできます。Blank Logic App templateを選択します。
- Amazon Athena オブジェクトをポーリングするRecurrence アクションを追加します。この記事では、一時間ごとにポーリングします。タイムゾーンを選択します。デフォルトはUTC です。
- 関数アクションを追加します。[Add Action]ダイアログのメニューを展開し、リジョンにAzure 関数を表示するオプションを選択します。先に作成したFunction App を選択し、インターバル開始を返す関数を選択します。
- からの中括弧のペア({})を入力し、からのペイロードオブジェクトを関数に渡します。
- HTTP + Swagger アクションを追加し、CData Connect AI のOData エンドポイントを入力します。
http://MySite:MyPort/api.rsc/@MyAuthtoken/$oas
- [Return Customers]操作を選択します。
各プロパティの説明を使用して、取得する列やフィルターなどの追加パラメータを指定します。以下はフィルタの一例です。
CustomerId eq '12345'
getInterval 関数から返された日時値を使用するには、Customers テーブルの日時列で[ge]演算子を使用し、ダイアログでBody パラメータを選択します。日時値を囲むには、クォーテーションを使用する必要があることに注意して下さい。
[Code View]に切り替え、$filter 式を変更してインターバルの開始を含むプロパティを抽出します。'@{body('MyFunc')['MyProp']' 構文を使用します。
"getAllAccount": { "inputs": { "method": "get", "queries": { "$filter":"CreatedDate ge '@{body('getInterval')['start']}'" }, "uri": "https://MySite:MyPort/api.rsc/@MyAuthtoken/Customers" }
これで、ワークフローのデータソースおよび宛先としてAmazon Athena にアクセスできます。
新しレコードをメールで送信
以下のステップに従って、新しいCustomers エンティティを含むレポートをメールで送信します。
- [Logic Apps Designer]で[SMTP - Send Email]アクションを追加します。
- SMTP サーバーに必要な情報を構成します。
- From、To、Subject、Body を構成します。返されたAmazon Athena 列からパラメータを追加できます。
[Save]をクリックし、[Run]をクリックして過去一時間に作成されたAmazon Athena レコードに関する電子メール通知を送信します。
クラウドアプリケーションからAmazon Athena のデータへのライブ接続
Azure Logic Apps からAmazon Athena のリアルタイムデータに直接接続できるようになりました。これで、Amazon Athena のデータを複製せずにより多くの接続とアプリを作成できます。
クラウドアプリケーションから直接100を超えるSaaS 、ビッグデータ、NoSQL ソースへのリアルタイムデータアクセスを取得するには、CData Connect AI を参照してください。