Apache Camel を使用してAirtable のデータと連携
Apache Camel は、データを消費または生成するさまざまなシステムを統合できる、オープンソースの統合フレームワークです。CData JDBC Driver for Airtable と組み合わせることで、リアルタイムAirtable のデータと連携するCamel ルートを使用するJava アプリを作成できます。この記事では、Airtable のデータをJSON ファイルに接続、クエリ、及びルーティングするアプリをNetBeans で作成する方法について説明します。
ビルトインの最適化されたデータ処理により、CData JDBC Driver は、リアルタイムAirtable のデータとやり取りする際に比類のないパフォーマンスを提供します。Airtable に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作をAirtable に直接プッシュし、組み込まれたSQL エンジンを利用してサポートされていない操作(主にSQL 関数とJOIN 操作)をクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブデータソース型を使用してAirtable のデータを操作および分析することができます。
新しいMaven/Java プロジェクトを作成する
以下の手順に従って、新しいJava プロジェクトを作成し、適切な依存関係を追加します。
- NetBeans を開き、新しいプロジェクトを作成します。
- カテゴリリストからMaven を選択し、プロジェクトリストからJava Application を選択して、「Next」をクエリします。
- プロジェクトに名前を付け、他のプロパティを調整して「Finish」をクリックします。
- ソースパッケージで新しいJava クラス(ここではApp.java を使用)を作成し、クラスにmain メソッドを追加します。
プロジェクトの依存関係を追加する
プロジェクトが作成されたら、アプリからリアルタイムAirtable のデータを操作するために必要な依存関係を追加できるようになります。まだMaven を環境にインストールしていない場合、CData JDBC ドライバのJAR ファイルをプロジェクトに追加するのに必要なため、インストールしてください。
Maven を使用してCData JDBC Driver for Airtable をインストールする
- Airtable 用のCData JDBC Driver をダウンロードしてパッケージを解凍し、JAR を実行してドライバーをインストールします。
- Maven を使用し、コネクタとしてJDBC Driver をインストールします。
mvn install:install-file -Dfile="C:\Program Files\CData\CData JDBC Driver for Airtable 2019\lib\cdata.jdbc.airtable.jar" -DgroupId="org.cdata.connectors" -DartifactId="cdata-airtable-connector" -Dversion="19" -Dpackaging=jar
JDBC Driver をインストールしたら、プロジェクトに依存関係を追加できます。依存関係を追加するには、pom.xml を編集するか、依存関係にあるフォルダを右クリックして「Add Dependency」をクリックします。各依存関係のプロパティは以下の通りですが、「Add Dependency」ウィザードの「Query」ボックスに依存関係の名前を入力することで使用可能なライブラリを検索できます。
必要な依存関係
| Dependency | Group ID | Artifact ID | Version |
|---|---|---|---|
| camel-core | org.apache.camel | camel-core | 3.0.0 |
| camel-jackson | org.apache.camel | camel-jackson | 3.0.0 |
| camel-jdbc | org.apache.camel | camel-jdbc | 3.0.0 |
| camel-jsonpath | org.apache.camel | camel-jsonpath | 3.0.0 |
| cdata-airtable-connector | org.cdata.connectors | cdata-salesforce-connector | 19 |
| commons-dbcp2 | org.apache.commons | commons-dbcp2 | 2.7.0 |
| slf4j-log4j12 | org.slf4j | slf4j-log4j12 | 1.7.30 |
| log4j | org.apache.logging.log4j | log4j | 2.12.1 |
Camel を使用してJava アプリでAirtable のデータにアクセスする
必要な依存関係を追加したら、Java DSL(Domain Specific Language)を使用してリアルタイムAirtable のデータにアクセスできるルートを作成できます。以下はコードの一部です。サンプルプロジェクト(zip ファイル)をダウンロードして以下を実行してください。(TODO コメントに注意してください。)
必要なクラスをメインクラスにインポートすることから始めます。
import org.apache.camel.CamelContext; import org.apache.camel.builder.RouteBuilder; import org.apache.camel.impl.DefaultCamelContext; import org.apache.camel.support.SimpleRegistry; import org.apache.commons.dbcp2.BasicDataSource; import org.apache.log4j.BasicConfigurator;
次に、main メソッドでロギングを構成し、新しいBasicDataSource を作成してレジストリに追加し、新しいCamelContext を作成して、最後にコンテクストへのルートに追加します。この例では、Airtable のデータをJSON ファイルにルーティングします。
ロギングを構成する
BasicConfigurator.configure();
BasicDataSource を作成する
BasicDataSource を作成し、ドライバークラス名(cdata.jdbc.salesforce.SalesforceDriver)とURL(必要な接続プロパティを使用)を設定します。
Airtable への接続
それでは、Airtable に接続していきましょう。CData 製品は、Airtable にテーブルとビューを要求します。 Schema プロパティ(オプション)を使用すると、表示されるテーブルおよびビューを特定のベースに制限できます。 特定のベースに制限したい場合は、このプロパティを使用するスキーマの名前に設定してください。(これはAirtable のBase 名に相当します。)
すべてのAirtable Bases に加えて、DataModelInformation という名前の静的スキーマもご利用いただけます。 このスキーマでは、Bases、Tables、Users のような静的テーブルをクエリできます。 DisplayObjectIds がTrue に設定されている場合、Schema の値は名前ではなくAirtable Base id に設定する必要があります。
Airtableへの認証
続いて、認証方法を設定しましょう。個人用アクセストークンまたはOAuth PKCE のいずれかを使用してAirtable に認証できます。
個人用アクセストークン
個人用アクセストークンをまだ生成していない場合は、以下のステップで生成してみましょう。
- ユーザーアカウントにログインします
- "https://airtable.com/create/tokens" に移動します
- Create new token をクリックします
- Scopes で、Add a scope をクリックして以下の各スコープを追加します
- data.records:read
- data.records:write
- schema.bases:read
- Access で、トークンにアクセス権を付与するすべてのワークスペースとベースを追加します
- Create token をクリックしてトークンを生成します。生成されたトークンは一度しか表示されませんので、必ずコピーして保存してください
次に、以下の設定を行います。
- AuthScheme:PersonalAccessToken
- Token:先ほど生成した個人用アクセストークンの値
OAuth PKCE については、 href="/kb/help/" target="_blank">ヘルプドキュメントの「はじめに」をご確認ください。
BasicDataSource basic = new BasicDataSource();
basic.setDriverClassName("cdata.jdbc.airtable.AirtableDriver");
basic.setUrl("jdbc:airtable:APIKey=keymz3adb53RqsU;BaseId=appxxN2fe34r3rjdG7;TableNames=TableA,...;ViewNames=TableA.ViewA,...;");
CData JDBC ドライバには、接続URL の構成に役立つ組み込みの接続文字列デザイナーが含まれています。
組み込みの接続文字列デザイナ
JDBC URL の構築については、Airtable JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインからjar ファイルを実行します。
java -jar cdata.jdbc.airtable.jar
接続プロパティを入力し、接続文字列をクリップボードにコピーします。
BasicDataSource をレジストリに追加し、CamelContext を作成する
SimpleRegistry reg = new SimpleRegistry();
reg.bind("myDataSource", basic);
CamelContext context = new DefaultCamelContext(reg);
CamelContext にルーティングを追加する
以下のルーティングでは、timer コンポーネントを使用して一度実行し、SQL クエリをJDBC Driver に渡します。結果はJSON として整理され、(きれいに印刷できるようにフォーマットされて)file コンポーネントに渡され、JSON ファイルとしてディスクに書き込まれます。
context.addRoutes(new RouteBuilder() {
@Override
public void configure() {
from("timer://foo?repeatCount=1")
.setBody(constant("SELECT * FROM Account LIMIT 10"))
.to("jdbc:myDataSource")
.marshal().json(true)
.to("file:C:\\Users\\USER\\Documents?fileName=account.json");
}
});
CamelContext ライフサイクルを管理する
ルートを定義したら、CamelContext を開始してライフサイクルを始めます。この例では、10 秒待機してからコンテクストをシャットダウンします。
context.start(); Thread.sleep(10000); context.stop();
無償トライアル、サンプルプロジェクト、テクニカルサポート
これで、Camel を使用してAirtable からJSON ファイルにデータをルーティングするJava アプリケーションを使用できるようになりました。CData JDBC Driver for Airtable の30日の無償評価版と、サンプルプロジェクトをダウンロードして(TODO コメントに注意して)、Apache Camel でリアルタイムAirtable のデータの操作を開始します。ご不明な点があれば、サポートチームにお問い合わせください。