AWS Lambda でリアルタイムAmazon S3 のデータにアクセス

AWS Lambda は、新しい情報やイベントに素早く応答するアプリケーションを構築できるコンピューティングサービスです。CData JDBC Driver for Amazon S3 と組み合わせることで、AWS Lambda 関数からリアルタイムAmazon S3 のデータを操作できます。この記事では、Eclipse で構築した AWS Lambda 関数からAmazon S3 のデータに接続してクエリを実行する方法を説明します。

なお、この記事の執筆時点（2022年6月）では、AWS Toolkit for Eclipse がサポートする最新バージョンは Eclipse 2019-12 および Java 8 となっています。

最適化されたデータ処理機能を組み込んだ CData JDBC ドライバは、リアルタイムAmazon S3 のデータとのインタラクションにおいて卓越したパフォーマンスを発揮します。Amazon S3 に対して複雑な SQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされている SQL 操作を直接Amazon S3にプッシュし、サポートされていない操作（主に SQL 関数や JOIN 操作）は組み込みの SQL エンジンを使用してクライアント側で処理します。さらに、動的メタデータクエリ機能により、ネイティブのデータ型を使用してAmazon S3 のデータの操作・分析が可能です。

接続プロパティの設定と接続文字列の構築

Amazon S3 リクエストを認可するには、管理者アカウントまたはカスタム権限を持つIAM ユーザーの認証情報を入力します。AccessKey をアクセスキーID に設定します。SecretKey をシークレットアクセスキーに設定します。

Note: AWS アカウント管理者として接続できますが、AWS サービスにアクセスするにはIAM ユーザー認証情報を使用することをお勧めします。

尚、CData 製品はAmazon S3 のファイルの一覧表示やユーザー管理情報の取得用です。S3 に保管されているExcel、CSV、JSON などのファイル内のデータを読み込みたい場合には、Excel Driver、CSV Driver、JSON Driver をご利用ください。

アクセスキーの取得

IAM ユーザーの資格情報を取得するには：

1. IAM コンソールにサインインします。
2. ナビゲーションペインで「ユーザー」を選択します。
3. ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してから「セキュリティ認証情報」タブを選択します。

AWS ルートアカウントの資格情報を取得するには：

1. ルートアカウントの資格情報を使用してAWS 管理コンソールにサインインします。
2. アカウント名または番号を選択し、表示されたメニューで「My Security Credentials」を選択します。
3. 「Continue to Security Credentials」をクリックし、「Access Keys」セクションを展開して、ルートアカウントのアクセスキーを管理または作成します。

AWS ロールとして認証

多くの場合、認証にはAWS ルートユーザーのダイレクトなセキュリティ認証情報ではなく、IAM ロールを使用することをお勧めします。RoleARN を指定することでAWS ロールを代わりに使用できます。これにより、CData 製品は指定されたロールの資格情報を取得しようと試みます。

（すでにEC2 インスタンスなどで接続されているのではなく）AWS に接続している場合は、ロールを引き受けるIAM ユーザーのAccessKey とSecretKey を追加で指定する必要があります。AWS ルートユーザーのAccessKey および SecretKey を指定する場合、ロールは使用できません。

SSO 認証

SSO 認証を必要とするユーザーおよびロールには、RoleARN およびPrincipalArn 接続プロパティを指定してください。各Identity Provider に固有のSSOProperties を指定し、AccessKey とSecretKey を空のままにする必要があります。これにより、CData 製品は一時的な認証資格情報を取得するために、リクエストでSSO 認証情報を送信します。

NOTE: AWS Lambda 関数で JDBC ドライバーを使用するには、ライセンス（製品版または試用版）とランタイムキー（RTK）が必要です。ライセンス（または試用版）の取得については、弊社営業チームまでお問い合わせください。

組み込みの接続文字列デザイナー

JDBC URL の構築には、Amazon S3 JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。

java -jar cdata.jdbc.amazons3.jar

接続プロパティ（RTK を含む）を入力し、接続文字列をクリップボードにコピーします。

AWS Lambda 関数の作成

1. CData JDBC Driver for Amazon S3 のインストーラーをダウンロードし、パッケージを解凍して JAR ファイルを実行してドライバーをインストールします。

2. AWS Toolkit for Eclipse を使用して、Eclipse で新しい AWS Lambda Java プロジェクトを作成します。詳細な手順は AWS のチュートリアル（amazon.com）を参照してください。

   この記事では、テーブル名を入力として渡せるように、プロジェクトのInput Type を「Custom」に設定します。

   
3. CData JDBC Driver for Amazon S3 の JAR ファイル（cdata.jdbc.amazons3.jar）をビルドパスに追加します。このファイルは INSTALL_PATH\lib\ にあります。
4. Java クラスに以下の import 文を追加します。

   import java.sql.Connection;
   import java.sql.DriverManager;
   import java.sql.ResultSet;
   import java.sql.ResultSetMetaData;
   import java.sql.SQLException;
   import java.sql.Statement;
   

5. handleRequest メソッドの本体を以下のコードに置き換えます。DriverManager.getConnection メソッド呼び出し内の接続文字列は、実際の値に置き換えてください。

   String query = "SELECT * FROM " + input;
   
   try {
   	Class.forName("cdata.jdbc.amazons3.AmazonS3Driver");
   } catch (ClassNotFoundException ex) {
   	context.getLogger().log("Error: class not found");
   }
   
   Connection connection = null;
   
   try {
   	connection = DriverManager.getConnection("jdbc:cdata:amazons3:RTK=52465...;AccessKey=a123;SecretKey=s123;");
   } catch (SQLException ex) {
   	context.getLogger().log("Error getting connection: " + ex.getMessage());
   } catch (Exception ex) {
   	context.getLogger().log("Error: " + ex.getMessage());
   }
   
   if(connection != null)
   {
   	context.getLogger().log("Connected Successfully!\n");
   }
   
   ResultSet resultSet = null;
   try
   {
   	//executing query
   	Statement stmt = connection.createStatement();
   	resultSet = stmt.executeQuery(query);
   
   	ResultSetMetaData metaData = resultSet.getMetaData();
   	int numCols = metaData.getColumnCount();
   
   	//printing the results
   	while(resultSet.next())
   	{
   		for(int i = 1; i <= numCols; i++)
   		{
   			System.out.printf("%-25s", (resultSet.getObject(i) != null) ? resultSet.getObject(i).toString().replaceAll("\n", "") : null );
   		}
   		System.out.print("\n");
   	}
   }
   catch (SQLException ex)
   {
   	System.out.println("SQL Exception: " + ex.getMessage());
   }
   catch (Exception ex)
   {
   	System.out.println("General exception: " + ex.getMessage());
   }
   
   String output = "query: " + query + " complete";
   return output;
   

Lambda 関数のデプロイと実行

Eclipse で関数をビルドしたら、アップロードして実行する準備が整います。この記事では出力を AWS ログに書き込んでいますが、これをテンプレートとして、AWS Lambda 関数でAmazon S3 のデータを操作する独自のカスタムビジネスロジックを実装できます。

1. パッケージを右クリックして、Amazon Web Services -> Upload function to AWS Lambda を選択します。
2. 関数に名前を付け、IAM ロールを選択し、タイムアウト値を関数が完了するのに十分な値に設定します（クエリの結果サイズによって異なります）。
3. パッケージを右クリックして、Amazon Web Services -> Run function on AWS Lambda を選択し、クエリ対象のAmazon S3オブジェクト名（例：「ObjectsACL」）を入力します。
4. ジョブの実行後、CloudWatch ログで出力を確認できます。

無償トライアル・詳細情報

CData JDBC Driver for Amazon S3 の30日間の無償トライアルをダウンロードして、AWS Lambda でリアルタイムAmazon S3 のデータを活用してみてください。ご不明な点があれば、サポートチームまでお気軽にお問い合わせください。