Azure Data Factory を使用してAmazon Athena のデータをインポート

古川えりか
コンテンツスペシャリスト

CData Connect AI を使用してAzure Data Factory からAmazon Athena に接続し、リアルタイムAmazon Athena のデータをインポートします。

Azure Data Factory（ADF）は、フルマネージドのサーバーレスデータ統合サービスです。 CData Connect AI と組み合わせると、ADF はデータフローでAmazon Athena のデータにクラウドベースで即座にアクセスできます。この記事では、Connect AI を使用してAmazon Athena に接続し、ADF でAmazon Athena のデータにアクセスする方法を紹介します。

Amazon Athena データ連携について

CData は、Amazon Athena のライブデータにアクセスし、統合するための最も簡単な方法を提供します。お客様は CData の接続機能を以下の目的で使用しています：

IAM 認証情報、アクセスキー、インスタンスプロファイルなど、さまざまな方法で安全に認証できます。多様なセキュリティニーズに対応し、認証プロセスを簡素化します。
詳細なエラーメッセージにより、セットアップを効率化し、問題を迅速に解決できます。
サーバーサイドでのクエリ実行により、パフォーマンスを向上させ、クライアントリソースへの負荷を最小限に抑えます。

ユーザーは、Tableau、Power BI、Excel などの分析ツールと Athena を統合し、お気に入りのツールから詳細な分析を行うことができます。

CData を使用した Amazon Athena のユニークなユースケースについては、ブログ記事をご覧ください：https://jp.cdata.com/blog/amazon-athena-use-cases

はじめに

Connect AI からAmazon Athena への接続

CData Connect AI では、直感的なクリック操作ベースのインターフェースを使ってデータソースに接続できます。

Connect AI にログインし、 Add Connection をクリックします。

Add Connection パネルで「Amazon Athena」を選択します。

必要な認証プロパティを入力し、Amazon Athena に接続します。
Amazon Athena 接続プロパティの取得・設定方法

それでは、早速Athena に接続していきましょう。

データに接続するには、以下の接続パラメータを指定します。
- DataSource：接続するAmazon Athena データソース。
- Database：接続するAmazon Athena データベース。
- AWSRegion：Amazon Athena データがホストされているリージョン。
- S3StagingDirectory：クエリの結果を保存するS3 フォルダ。
Database またはDataSource が設定されていない場合、CData 製品はAmazon Athena の利用可能なデータソースからすべてのデータベースのリスト化を試みます。そのため、両方のプロパティを設定することでCData 製品のパフォーマンスが向上します。
Amazon Athena の認証設定

CData 製品は幅広い認証オプションに対応しています。詳しくはヘルプドキュメントの「はじめに」を参照してみてください。

AWS キーを取得

IAM ユーザーの認証情報を取得するには、以下のステップお試しください。
1. IAM コンソールにサインインします。
2. ナビゲーションペインでユーザーを選択します。
3. ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してからセキュリティ認証情報タブに移動します。
AWS ルートアカウントの資格情報を取得するには、以下のステップをお試しください。
1. ルートアカウントの認証情報を使用してAWS 管理コンソールにサインインします。
2. アカウント名または番号を選択します。
3. 表示されたメニューでMy Security Credentials を選択します。
4. ルートアカウントのアクセスキーを管理または作成するには、Continue to Security Credentials をクリックし、［Access Keys］セクションを展開します。
その他の認証オプションについては、ヘルプドキュメントの「Amazon Athena への認証」を参照してください。
Create & Test をクリックします。
Add Amazon Athena Connection ページのPermissions タブに移動し、ユーザーベースのアクセス許可を更新します。

パーソナルアクセストークンの取得

OAuth 認証をサポートしていないサービス、アプリケーション、プラットフォーム、またはフレームワークから接続する場合は、認証に使用するパーソナルアクセストークン（PAT）を作成できます。きめ細かなアクセス管理を行うために、サービスごとに個別のPAT を作成するのがベストプラクティスです。

Connect AI アプリの右上にあるユーザー名をクリックし、「User Profile」をクリックします。
User Profile ページでPersonal Access Token セクションにスクロールし、 Create PAT をクリックします。
PAT の名前を入力して Create をクリックします。

パーソナルアクセストークンは作成時にしか表示されないため、必ずコピーして安全に保存してください。

接続設定が完了すると、Azure Data Factory からAmazon Athena のデータへ接続できるようになります。

Azure Data Factory からリアルタイムAmazon Athena のデータにアクセス

Azure Data Factory からCData Connect AI の仮想SQL Server API への接続を確立するには、以下の手順を実行します。

Azure Data Factory にログインします。

まだData Factory を作成していない場合は、「New -> Dataset」をクリックします。

検索バーにSQL Server と入力し、表示されたら選択します。次の画面で、サーバーの名前を入力します。 Linked service フィールドで「New」を選択します。

接続設定を入力します。
- Name - 任意の名前を入力。
- Server name - 仮想SQL Server のエンドポイントとポートをカンマで区切って入力。例：tds.cdata.com,14333
- Database name - 接続したいCData Connect AI データソースのConnection Name を入力。例：AmazonAthena1
- User Name - CData Connect AI のユーザー名を入力。ユーザー名はCData Connect AI のインターフェースの右上に表示されています。例：test@cdata.com
- Password - Password（Azure Key Vault ではありません）を選択してSettings ページで生成したPAT を入力。
- 「Create」をクリックします。