Dremio でAmazon S3 のデータに外部ソースとして接続

CData JDBC Driver for Amazon S3 はJDBC 標準を実装しており、Dremio を含むさまざまなアプリケーションでリアルタイムのAmazon S3 のデータを扱えるようにします。Dremio は、データレイク上でのセルフサービス型インタラクティブ分析を実現するために設計されたデータレイクハウスプラットフォームです。CData JDBC ドライバーを使用することで、エンタープライズデータレイクの一部としてリアルタイムAmazon S3 のデータを活用できます。この記事では、Dremio でAmazon S3 のデータに外部ソースとして接続する方法について説明します。

CData JDBC Driver を使用すると、Dremio でリアルタイムAmazon S3 のデータへの高速アクセスが可能になります。ドライバーをインストールしてAmazon S3 で認証すれば、データレイク内でAmazon S3 のデータにすぐにアクセスできます。ネイティブのデータ型を使用してAmazon S3 のデータを表示し、複雑なフィルタ、集計、その他の操作を自動的に処理することで、CData JDBC Driver はAmazon S3 のデータへのシームレスなアクセスを提供します。

前提条件

この記事では、Docker を使用して Dremio を実行することを想定しています。以下のようなコマンドで Dremio サービスを含む Docker コンテナを作成できます。

docker run -d --name dremio -p 9047:9047 -p 31010:31010 dremio/dremio-oss

ここで、dremio はコンテナの名前、9047 は Dremio Web インターフェース用のコンテナポート、31010 は Dremio クエリサービスにマッピングされるポートです。dremio/dremio-oss は使用するイメージを指定します。

ARP コネクタのビルド

CData JDBC Driver を Dremio で使用するには、Advanced Relation Pushdown（ARP）コネクタをビルドする必要があります。GitHub でソースコードを確認するか、ZIP ファイル（GitHub.com）を直接ダウンロードできます。ファイルをコピーまたは展開したら、コネクタのルートディレクトリ（pom.xml ファイルがあるディレクトリ）から以下のコマンドを実行してコネクタをビルドします。

mvn clean install

NOTE：CData ARP コネクタは Java 11 でコンパイルするようにビルドされています。Java 11 をインストールし、正しいバージョンを使用していることを確認してください。以下のようなコマンドで Java バージョンを更新できます。

sudo update-alternatives --config java

コネクタ用の JAR ファイルが（target ディレクトリに）ビルドされたら、ARP コネクタと JDBC Driver を Dremio インスタンスにコピーする準備が整いました。

コネクタと JDBC Driver のインストール

ARP コネクタを %DREMIO_HOME%/jars/ に、Amazon S3 用の JDBC Driver を %DREMIO_HOME%/jars/3rdparty にインストールします。以下のようなコマンドを使用できます。

ARP コネクタ

docker cp PATH\TO\dremio-amazons3-plugin-{DREMIO_VERSION}.jar dremio_image_name:/opt/dremio/jars/

Amazon S3 用 JDBC Driver

docker cp PATH\TO\cdata.jdbc.amazons3.jar dremio_image_name:/opt/dremio/jars/3rdparty/

Amazon S3 への接続

これで、Dremio の外部ソースオプションに Amazon S3 が表示されるようになりました。ビルドした ARP コネクタは、JDBC URL を使用してAmazon S3 のデータに接続します。JDBC Driver には、接続文字列を作成できるビルトインの接続文字列デザイナーがあります（以下を参照）。

ビルトイン接続文字列デザイナー

JDBC URL の構成については、Amazon S3 JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行します。

java -jar cdata.jdbc.amazons3.jar

接続プロパティを入力し、接続文字列をクリップボードにコピーします。

Amazon S3 リクエストを認可するには、管理者アカウントまたはカスタム権限を持つIAM ユーザーの認証情報を入力します。AccessKey をアクセスキーID に設定します。SecretKey をシークレットアクセスキーに設定します。

Note: AWS アカウント管理者として接続できますが、AWS サービスにアクセスするにはIAM ユーザー認証情報を使用することをお勧めします。

尚、CData 製品はAmazon S3 のファイルの一覧表示やユーザー管理情報の取得用です。S3 に保管されているExcel、CSV、JSON などのファイル内のデータを読み込みたい場合には、Excel Driver、CSV Driver、JSON Driver をご利用ください。

アクセスキーの取得

IAM ユーザーの資格情報を取得するには：

1. IAM コンソールにサインインします。
2. ナビゲーションペインで「ユーザー」を選択します。
3. ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してから「セキュリティ認証情報」タブを選択します。

AWS ルートアカウントの資格情報を取得するには：

1. ルートアカウントの資格情報を使用してAWS 管理コンソールにサインインします。
2. アカウント名または番号を選択し、表示されたメニューで「My Security Credentials」を選択します。
3. 「Continue to Security Credentials」をクリックし、「Access Keys」セクションを展開して、ルートアカウントのアクセスキーを管理または作成します。

AWS ロールとして認証

多くの場合、認証にはAWS ルートユーザーのダイレクトなセキュリティ認証情報ではなく、IAM ロールを使用することをお勧めします。RoleARN を指定することでAWS ロールを代わりに使用できます。これにより、CData 製品は指定されたロールの資格情報を取得しようと試みます。

（すでにEC2 インスタンスなどで接続されているのではなく）AWS に接続している場合は、ロールを引き受けるIAM ユーザーのAccessKey とSecretKey を追加で指定する必要があります。AWS ルートユーザーのAccessKey および SecretKey を指定する場合、ロールは使用できません。

SSO 認証

SSO 認証を必要とするユーザーおよびロールには、RoleARN およびPrincipalArn 接続プロパティを指定してください。各Identity Provider に固有のSSOProperties を指定し、AccessKey とSecretKey を空のままにする必要があります。これにより、CData 製品は一時的な認証資格情報を取得するために、リクエストでSSO 認証情報を送信します。

NOTE：Dremio で JDBC Driver を使用するには、ライセンス（正式版または評価版）とランタイムキー（RTK）が必要です。このライセンス（または評価版）の取得については、営業チームにお問い合わせください。

ランタイムキー（RTK）を JDBC URL に追加します。最終的に、以下のような JDBC URL になります。

jdbc:amazons3:RTK=5246...;AccessKey=a123;SecretKey=s123;

Amazon S3 に外部ソースとしてアクセス

Amazon S3 を外部ソースとして追加するには、新しいソースを追加するためにクリックし、AmazonS3 を選択します。JDBC URL をコピーして、New AmazonS3 Source ウィザードに貼り付けます。

接続を保存すれば、Dremio でリアルタイムAmazon S3 のデータをクエリする準備が整い、Amazon S3 のデータをデータレイクに簡単に取り込むことができます。

詳細情報と無償トライアル

Dremio で CData JDBC Driver for Amazon S3 を使用すると、リアルタイムAmazon S3 のデータをデータレイクに取り込むことができます。Amazon S3 への接続の詳細については、CData JDBC Driver for Amazon S3 ページをご覧ください。CData JDBC Driver for Amazon S3 の30日間無償トライアルをダウンロードして、今すぐ始めましょう。