HDFS のデータをDataSpider Servista の連携先として使う方法

DataSpider Servista は、異なるシステムのデータやアプリケーションをノンプログラミングで「つなぐ」データインテグレーションプラットフォームです。

CData JDBC ドライバはDataSpider Servista において、JDBC データソースとして利用することが可能です。通常のJDBC の検索・更新などのアイコンを使って、標準SQL でSaaS/Web DB のデータを扱うことを可能にします。 この記事では、DataSpider で CData JDBC Driverを利用してHDFS のデータに外部データとしてSQL でアクセスする方法を紹介します。

CData JDBC Driver for HDFS をDataSpider にコネクタとして登録

1. JDBC Driver をDataSpider と同じサーバーにインストール
2. DataSpider の外部JDBCドライバのパスにCData JDBC ドライバのcdata.jdbc.hdfs.jar とcdata.jdbc.hdfs.lic を配置
   DataSpider 側：DataSpiderServista\server\plugin\data_processing\modules\jdbc_adapter
   

3. グローバルリソースのプロパティで、ドライバクラス名およびURL を入力。
   
   • 接続名：任意
   • 種別：デフォルト
   • 接続タイプ：接続タイプ：JDBC（JDBC接続設定）
   • ドライバクラス名：cdata.jdbc.hdfs.HDFSDriver
   • URL：jdbc:hdfs:Host=sandbox-hdp.hortonworks.com;Port=50070;Path=/user/root;User=root;

4. HDFS 接続プロパティの取得・設定方法

   HDFS への認証には、次の接続プロパティを設定します。

   • Host：HDFS インスタンスのホストに設定。
   • Port：HDFS インスタンスのポートに設定。デフォルトのポートは"9870" です。

DataSpider でHDFS のデータを連携利用する

あとは通常のRDB コンポーネントのように、HDFS のデータを扱うことが可能です。ツールパレットのJDBC からSQL 実行やストアドプロシージャ実行コンポーネントが使用できます。

例えばHDFS のデータの取得であれば、検索系SQL実行処理を使って、SELECT 文でHDFS のデータを抽出することができます。

このようにCData JDBC ドライバを使って、簡単にDataSpider でHDFS のデータ データをノーコードで連携利用することができます。

CData JDBC Driver for HDFS 30日の無償評価版 をダウンロードして、お試しください。