ODBC 経由で R から Amazon Athena のデータ を分析
純粋な R スクリプトと標準 SQL で Amazon Athena のデータ にアクセスできます。CData ODBC ドライバ for Amazon Athena と RODBC パッケージを使用すると、R からリモート Amazon Athena のデータ を操作できます。CData ドライバを使用することで、業界で実績のある標準に準拠したドライバを活用し、人気のオープンソース言語 R でデータにアクセスできます。この記事では、ドライバを使用して Amazon Athena のデータ に SQL クエリを実行し、R で Amazon Athena のデータ を可視化する方法を説明します。
Amazon Athena データ連携について
CData は、Amazon Athena のライブデータにアクセスし、統合するための最も簡単な方法を提供します。お客様は CData の接続機能を以下の目的で使用しています:
- IAM 認証情報、アクセスキー、インスタンスプロファイルなど、さまざまな方法で安全に認証できます。多様なセキュリティニーズに対応し、認証プロセスを簡素化します。
- 詳細なエラーメッセージにより、セットアップを効率化し、問題を迅速に解決できます。
- サーバーサイドでのクエリ実行により、パフォーマンスを向上させ、クライアントリソースへの負荷を最小限に抑えます。
ユーザーは、Tableau、Power BI、Excel などの分析ツールと Athena を統合し、お気に入りのツールから詳細な分析を行うことができます。
CData を使用した Amazon Athena のユニークなユースケースについては、ブログ記事をご覧ください:https://jp.cdata.com/blog/amazon-athena-use-cases
はじめに
R をインストール
マルチスレッドや管理コードによるドライバのパフォーマンス向上は、マルチスレッド対応の Microsoft R Open や、BLAS/LAPACK ライブラリにリンクした R を実行することで補完できます。この記事では Microsoft R Open(MRO)を使用します。
Amazon Athena にODBC データソースとして接続
Amazon Athena への接続情報と、Windows および Linux 環境での DSN 設定手順を説明します。
Amazon Athena 接続プロパティの取得・設定方法
それでは、早速Athena に接続していきましょう。
データに接続するには、以下の接続パラメータを指定します。
- DataSource:接続するAmazon Athena データソース。
- Database:接続するAmazon Athena データベース。
- AWSRegion:Amazon Athena データがホストされているリージョン。
- S3StagingDirectory:クエリの結果を保存するS3 フォルダ。
Database またはDataSource が設定されていない場合、CData 製品はAmazon Athena の利用可能なデータソースからすべてのデータベースのリスト化を試みます。そのため、両方のプロパティを設定することでCData 製品のパフォーマンスが向上します。
Amazon Athena の認証設定
CData 製品は幅広い認証オプションに対応しています。詳しくはヘルプドキュメントの「はじめに」を参照してみてください。
AWS キーを取得
IAM ユーザーの認証情報を取得するには、以下のステップお試しください。
- IAM コンソールにサインインします。
- ナビゲーションペインでユーザーを選択します。
- ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してからセキュリティ認証情報タブに移動します。
AWS ルートアカウントの資格情報を取得するには、以下のステップをお試しください。
- ルートアカウントの認証情報を使用してAWS 管理コンソールにサインインします。
- アカウント名または番号を選択します。
- 表示されたメニューでMy Security Credentials を選択します。
- ルートアカウントのアクセスキーを管理または作成するには、Continue to Security Credentials をクリックし、[Access Keys]セクションを展開します。
その他の認証オプションについては、ヘルプドキュメントの「Amazon Athena への認証」を参照してください。
DSN を設定する際に、Max Rows 接続プロパティも設定することをお勧めします。これにより返される行数が制限され、レポートやビジュアライゼーションの設計時のパフォーマンス向上に役立ちます。
Windows
まだ設定していない場合は、ODBC DSN(データソース名)で接続プロパティを指定します。これはドライバーインストールの最後のステップです。Microsoft ODBC データソースアドミニストレーターを使用して、ODBC DSN を作成・設定できます。
Linux
Linux 環境で CData ODBC Driver for Amazon Athena をインストールする場合、ドライバーのインストール時にシステム DSN が事前定義されます。システムデータソースファイル(/etc/odbc.ini)を編集して、必要な接続プロパティを定義することで DSN を変更できます。
/etc/odbc.ini
[CData AmazonAthena Source] Driver = CData ODBC Driver for Amazon Athena Description = My Description AccessKey = 'a123' SecretKey = 's123' Region = 'IRELAND' Database = 'sampledb' S3StagingDirectory = 's3://bucket/staging/'
これらの設定ファイルの使用方法の詳細については、ヘルプドキュメント(インストール済みまたはオンライン)を参照してください。
RODBC パッケージを読み込む
ドライバを使用するには、RODBC パッケージをダウンロードします。RStudio で、[ツール] -> [パッケージのインストール]をクリックし、[パッケージ]ボックスに RODBC と入力します。
RODBC パッケージをインストールした後、以下の行でパッケージを読み込みます。
library(RODBC)
注意:この記事では RODBC バージョン 1.3-12 を使用しています。Microsoft R Open を使用すると、Microsoft の MRAN リポジトリのチェックポイント機能を使用して同じバージョンでテストできます。 checkpoint コマンドを使用すると、MRAN リポジトリでホストされている CRAN リポジトリのスナップショットからパッケージをインストールできます。2016年1月1日のスナップショットにはバージョン 1.3-12 が含まれています。
library(checkpoint)
checkpoint("2016-01-01")
Amazon Athena のデータ にODBC データソースとして接続
以下の行で R から DSN に接続できます。
conn <- odbcConnect("CData AmazonAthena Source")
スキーマの検出
ドライバは Amazon Athena API をリレーショナルテーブル、ビュー、ストアドプロシージャとしてモデル化します。以下の行でテーブルの一覧を取得できます。
sqlTables(conn)
SQL クエリを実行
sqlQuery 関数を使用して、Amazon Athena API でサポートされている任意の SQL クエリを実行できます。
customers <- sqlQuery(conn, "SELECT Name, TotalDue FROM Customers", believeNRows=FALSE, rows_at_time=1)
以下のコマンドでデータビューアウィンドウに結果を表示できます。
View(customers)
Amazon Athena のデータ をプロット
これで、CRAN リポジトリで利用可能なデータビジュアライゼーションパッケージを使用して Amazon Athena のデータ を分析できます。組み込みのバープロット関数を使用して、シンプルな棒グラフを作成できます。
par(las=2,ps=10,mar=c(5,15,4,2)) barplot(customers$TotalDue, main="Amazon Athena Customers", names.arg = customers$Name, horiz=TRUE)