Ruby でHive のデータ連携アプリを構築

CData ODBC Driver for ApacheHive を使うと、簡単にRuby アプリケーションにリアルタイムHive のデータを連携・統合できます。 この記事では、Hive のデータにリアルタイムに連携するRuby アプリケーションを構築して、クエリを実行し、結果を表示してみます。

CData ODBC ドライバとは？

CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。

1. Hive をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレミスデータソースに対応
2. 多様なアプリケーション、ツールにHive のデータを連携
3. ノーコードでの手軽な接続設定
4. 標準 SQL での柔軟なデータ読み込み・書き込み

CData ODBC ドライバでは、1.データソースとしてHive の接続を設定、2.Ruby 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

CData ODBC ドライバのインストールとHive への接続設定

まずは、本記事右側のサイドバーからApacheHive ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

通常はCData ODBC ドライバのインストール後にODBC DSN 接続ウィザードが立ち上がり、設定を行うことができます。 もしODBC DSN 接続が未済の場合には、Microsoft ODBC データソースアドミニストレータでODBC DSN を作成および設定することができます。

Apache Hive への接続を確立するには以下を指定します。

• Server：HiveServer2 をホストするサーバーのホスト名またはIP アドレスに設定。
• Port：HiveServer2 インスタンスへの接続用のポートに設定。
• TransportMode：Hive サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
• AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。
• CData 製品においてTLS/SSL を有効化するには、UseSSL をTrue に設定します

Ruby および必要なGem のインストール

Ruby をまだインストールしていない場合は、Ruby インストールページを参考にインストールしてください。 Ruby をインストールしたら、次にruby-dbi、dbd-odbc、ruby-odbc gems をインストールします。

gem install dbi
gem install dbd-odbc
gem install ruby-odbc

Hive のデータに連携するRuby アプリケーションの作成

Ruby ファイル (例: ApacheHiveSelect.rb) を作成し、テキストエディタで開きます。ファイルに次のコードをコピーします:

#connect to the DSN
require 'DBI'
cnxn = DBI.connect('DBI:ODBC:CData ApacheHive Source','','')

#execute a SELECT query and store the result set
resultSet = cnxn.execute("SELECT City, CompanyName FROM Customers")

#display the names of the columns
resultSet.column_names.each do |name|
  print name, "\t"
end
puts

#display the results
while row = resultSet.fetch do
  (0..resultSet.column_names.size - 1).each do |n|
    print row[n], "\t"
  end
  puts
end
resultSet.finish

#close the connection
cnxn.disconnect if cnxn

これで、Ruby からHive のデータへ接続できるようになります。簡単にコマンドラインからファイルを叩いて接続を確認してみましょう。

ruby ApacheHiveSelect.rb

Hive からRuby へのデータ連携には、ぜひCData ODBC ドライバをご利用ください

このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。