Azure Databricks でDB2 のデータに接続してデータ処理を行う方法

Jerod Johnson
Jerod Johnson
Senior Technology Evangelist
CData JDBC Driver、Azure、Databricks を使用して、リアルタイムDB2 のデータのデータエンジニアリングとデータサイエンスを実行。

Databricks は、Apache Spark によるデータ処理機能を提供するクラウドベースのサービスです。CData JDBC ドライバと組み合わせることで、Databricks を使用してリアルタイムDB2 のデータのデータエンジニアリングとデータサイエンスを実行できます。この記事では、Azure で CData JDBC ドライバをホストし、Databricks からリアルタイムDB2 のデータに接続してデータを処理する方法を説明します。

最適化されたデータ処理機能を組み込んだ CData JDBC ドライバは、リアルタイムDB2 のデータとのインタラクションにおいて卓越したパフォーマンスを発揮します。DB2 に対して複雑な SQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされている SQL 操作を直接DB2にプッシュし、サポートされていない操作（主に SQL 関数や JOIN 操作）は組み込みの SQL エンジンを使用してクライアント側で処理します。動的メタデータクエリ機能により、ネイティブのデータ型を使用してDB2 のデータの操作・分析が可能です。

CData JDBC ドライバを Azure にインストール

Databricks でリアルタイムDB2 のデータを操作するには、Azure Data Lake Storage（ADLS）を通じてドライバーをインストールします。（以前のバージョンの記事で説明していた DBFS を介した接続方法は非推奨となっていますが、廃止日は公開されていません。）

  1. JDBC JAR ファイルを任意の Blob コンテナにアップロードします（例：「databrickslibraries」ストレージアカウントの「jdbcjars」コンテナ）。
  2. ストレージアカウントから「セキュリティとネットワーク」を展開し、「アクセスキー」をクリックしてアカウントキーを取得します。使用するキーを表示してコピーしてください。
  3. コンテナに移動し、JAR を保存している特定のコンテナを開き、JDBC JAR ファイルのエントリを選択して JAR ファイルの URL を取得します。ファイルの詳細が開き、URL をクリップボードにコピーするボタンがあります。この値は以下のようになります（「blob」の部分はストレージアカウントの種類によって異なる場合があります）： 
    https://databrickslibraries.blob.core.windows.net/jdbcjars/cdata.jdbc.salesforce.jar
  4. Databricks クラスターの「Configuration」タブで「Edit」ボタンをクリックし、「Advanced options」を展開します。そこで、以下の Spark オプション（JAR URL のドメイン名から派生）に、コピーしたアカウントキーを値として追加し、「Confirm」をクリックします： spark.hadoop.fs.azure.account.key.databrickslibraries.blob.core.windows.net
  5. Databricks クラスターの「Libraries」タブで「Install new」をクリックし、ADLS オプションを選択します。ドライバー JAR の ABFSS URL（これも JAR URL のドメイン名から派生）を指定し、「Install」をクリックします。ABFSS URL は以下のようになります： 
    abfss://jdbcjars@databrickslibraries.blob.core.windows.net/cdata.jdbc.salesforce.jar

Databricks からDB2に接続

JAR ファイルがインストールされたら、Databricks でリアルタイムDB2 のデータを操作する準備が整いました。まず、ワークスペースで新しいノートブックを作成します。ワークブックに名前を付け、言語として Python が選択されていることを確認し（デフォルトで選択されているはずです）、「Connect」をクリックして「General Compute」から JDBC ドライバーをインストールしたクラスターを選択します（デフォルトで選択されているはずです）。

DB2への接続を設定

JDBC ドライバのクラスを参照し、JDBC URL で使用する接続文字列を構築してDB2に接続します。また、JDBC URL に RTK プロパティを設定する必要があります（Beta ドライバーを使用している場合を除く）。このプロパティの設定方法については、インストールに含まれるライセンスファイルを参照してください。

driver = "cdata.jdbc.db2.DB2Driver"
url = "jdbc:db2:RTK=5246...;Server=10.0.1.2;Port=50000;User=admin;Password=admin;Database=test;"

組み込みの接続文字列デザイナー

JDBC URL の構築には、DB2 JDBC Driver に組み込まれている接続文字列デザイナーを使用できます。JAR ファイルをダブルクリックするか、コマンドラインから JAR ファイルを実行してください。

java -jar cdata.jdbc.db2.jar

接続プロパティを入力し、接続文字列をクリップボードにコピーします。

DB2 に接続するには以下のプロパティを設定します。

  • Server: DB2 を実行するサーバー名。
  • Port: DB2 サーバーのポート。
  • Database: DB2 データベース名。

接続の準備ができたら、認証スキームを選択し、以下で説明するように適切なプロパティを設定します。

CData 製品 は、DB2 への認証に4つの異なるスキームをサポートします。DB2 ユーザー資格情報（デフォルト）、暗号化されたユーザー資格情報、IBM Identity and Access Management（IAM）認証、および Kerberos です。

DB2 ユーザー資格情報

ユーザー資格情報を使用して認証するには、次のプロパティを設定します。
  • AuthScheme：USRIDPWD。
  • User：データベースへのアクセス権を持つユーザーのユーザー名。
  • Password：データベースへのアクセス権を持つユーザーのパスワード。

暗号化されたユーザー資格情報

サーバーがセキュア認証に対応しており、暗号化されたユーザー資格情報を使用して認証を行いたい場合は、このプロパティを設定します。
  • AuthScheme：EUSRIDPWD

IAM、Kerberos で認証したい場合は、ヘルプドキュメントの「はじめに」セクションを参照してください。

パスワード方式によるSSH 接続

パスワード方式によるSSH接続時に必要なプロパティ一覧を以下に示します。

  • User: DB2 のユーザ
  • Password: DB2 のパスワード
  • Database: DB2 の接続先データベース
  • Server: DB2 のサーバー
  • Port: DB2 のポート
  • UserSSH: "true"
  • SSHAuthMode: "Password"
  • SSHPort: SSH のポート
  • SSHServer: SSH サーバー
  • SSHUser: SSH ユーザー
  • SSHPassword: SSH パスワード

接続文字列形式では以下のようになります。

Server=10.0.1.2;Port=50000;User=admin;Password=admin;Database=testUseSSH=true;SSHAuthMode=Password;SSHPort=22;SSHServer=ssh-server;SSHUser=root;SSHPassword=sshpasswd;

公開鍵認証方式方式によるSSH 接続

公開鍵認証によるSSH接続時に必要なプロパティ一覧を以下に示します。

  • User: DB2 のユーザ
  • Password: DB2 のパスワード
  • Database: DB2 の接続先データベース
  • Server: DB2 のサーバー
  • Port: DB2 のポート
  • UserSSH: "true"
  • SSHAuthMode: "Public_Key"
  • SSHClientCertType: キーストアの種類
  • SSHPort: SSH のポート
  • SSHServer: SSH サーバー
  • SSHUser: SSH ユーザー
  • SSHClientCert: 秘密鍵ファイルのパス

接続文字列形式では以下のようになります。

Server=10.0.1.2;Port=50000;User=admin;Password=admin;Database=test;UseSSH=true;SSHAuthMode=Public_Key;SSHClientCertType=PUBLIC_KEY_FILE;SSHPort=22;SSHServer=ssh-server;SSHUser=root;SSHClientCert=C:\Keys\key.pem;

DB2 のデータの読み込み

接続を設定したら、CData JDBC ドライバと接続情報を使用してDB2 のデータをデータフレームとして読み込むことができます。

remote_table = spark.read.format ( "jdbc" ) \
	.option ( "driver" , driver) \
	.option ( "url" , url) \
	.option ( "dbtable" , "Orders") \
	.load ()

DB2 のデータの表示

読み込んだDB2 のデータを display 関数で確認してみましょう。

display (remote_table.select ("OrderName"))

Azure Databricks でDB2 のデータを分析

Databricks SparkSQL でデータを処理したい場合は、読み込んだデータを一時ビューとして登録します。

remote_table.createOrReplaceTempView ( "SAMPLE_VIEW" )

以下の SparkSQL で分析用のDB2 のデータを取得できます。

result = spark.sql("SELECT SAMPLE_VIEW.Freight, Customers.ContactName FROM Customers INNER JOIN SAMPLE_VIEW ON Customers.CustomerId=SAMPLE_VIEW.CustomerId")

DB2 からのデータは、対象のノートブック内でのみ利用可能です。他のユーザーと共有したい場合は、テーブルとして保存してください。

remote_table.write.format ( "parquet" ) .saveAsTable ( "SAMPLE_TABLE" )

CData JDBC Driver for IBM DB2 の30日間の無償トライアルをダウンロードして、Azure Databricks でリアルタイムDB2 のデータを活用してみてください。ご不明な点があれば、サポートチームまでお気軽にお問い合わせください。

はじめる準備はできましたか？

IBM DB2 Driver の無料トライアルをダウンロードしてお試しください：

 ダウンロード

詳細：

IBM DB2 Icon IBM DB2 JDBC Driver お問い合わせ

IBM DB2 連携のパワフルなJava アプリケーションを素早く作成して配布。

この記事の内容

関連記事