Databricks ADO.NET Provider
カスタム .NET アプリケーションおよび SSAS 向けに、ADO.NET を通じて Databricks に SQL ベースでアクセスできます。
Databricks ADO.NET Data Provider を使用すると、.NET アプリケーションから Databricks に簡単に接続できます。 Databricks 連携のパワフルな.NET アプリケーションを素早く作成して配布。
Databricks .NET Connectivity Features
- Databricks レイクハウスへ SQL アクセス
- Databricks ODBC Driver でライブの Databricks データに接続し、リアルタイムにデータアクセス
- SQL クエリでのデータ集計と複雑な JOIN を完全サポート
- TLS 1.2、SHA-256、ECC などの最新暗号化技術による安全な接続。
- Databricks Connector を介して、主要な BI、レポーティング、ETL ツールやカスタムアプリケーションとシームレスに統合。
Target Service, API
当ドライバは、Runtime Versions 9.1 から 13.X までのすべての Databricks バージョンをサポートしており、Pro および Classic Databricks SQL バージョンの両方に対応しています。任意のクラウドプラットフォーム (AWS、Azure、GCP) でホストされている Databricks クラスタと互換性があります。
Schema, Data Model
Databricks データをリレーショナルテーブルとしてモデル化し、動的なメタデータ検出を行います。ドライバはテーブル定義、データ型、リレーションシップを自動的に検出します。Databricks Delta テーブルをサポートし、ワークスペースオブジェクトへのアクセスを提供します。
Key Objects
Databricks Clusters、Jobs、Workspace ファイル、Notebooks、Delta テーブル、Views、Databases。Databricks メタストア内のマネージドテーブルと外部テーブルの両方へのアクセスを提供します。
Operations
ANSI SQL-92 サポートによる完全な CRUD 操作。フィルタ、集計、その他の SQL 操作を最適なパフォーマンスのために Databricks に直接プッシュダウンします。複雑な JOIN をサポートし、未サポートの操作はクライアント側で処理します。Spark SQL 統合による効率的なバッチ操作とデータ処理を実現します。
Authentication
Personal Access Token 認証、OAuth 2.0 (M2M および U2M)、OAuth トークンパススルー、Azure Service Principal、Azure AD 認証をサポートします。また、ローカルアプリケーション向けの OAuth 2.0 ブラウザベース認証もサポートしています。
Databricks ADO.NET Provider でできること
SQL Server Analysis Service (SSAS) の多次元キューブから Databricks を使用できます。分析データモデリングを維持しながら、クラウドおよびオンプレミスを含むあらゆるソースにアクセスできます。
Databricks ADO.NET Provider により、開発者は使い慣れた SQL と Entity Framework を使用して Databricks に接続するアプリケーションを構築できます。ミッションクリティカルなアプリケーションに Databricks を統合したり、簡単なサイドバイサイドアプリケーションを作成したりできます。
.NET ベースのレポーティングおよび分析ツールから Databricks に接続できます：
Databricks への標準 ADO.NET アクセス
Databricks ADO.NET Provider は、任意の .NET アプリケーションから Databricks データにアクセスする 最も自然な方法を提供します。従来のデータベースにアクセスするのと同じように、Databricks Data Provider オブジェクトを使用して 接続とデータアクセスを行います。Visual Studio サーバーエクスプローラー、使い慣れたクラスを通じたコード、 DataGridView、GridView、DataSet などのデータコントロールで Databricks Data Provider を使用できます。
CData ADO.NET Provider for Databricks は、データアクセスの複雑さを隠蔽し、強力なセキュリティ機能、 スマートキャッシュ、バッチ処理、ソケット管理などを提供します。
DataAdapter、DataSet、DataTable などの使用
Databricks Data Provider は、SQL Server や OLEDB 用のネイティブ .NET データプロバイダーと同じ ADO.NET アーキテクチャを持ち、 DatabricksConnection、DatabricksCommand、DatabricksDataAdapter、DatabricksDataReader、 DatabricksDataSource、DatabricksParameter などを含みます。 これにより、使い慣れた簡単な方法で Databricks データにアクセスできるようになりました。
例：
using (DatabricksConnection conn = new DatabricksConnection("...")) {
string select = "SELECT * FROM Cluster";
DatabricksCommand cmd = new DatabricksCommand(select, conn);
DatabricksDataAdapter adapter = new DatabricksDataAdapter(cmd);
using (adapter) {
DataTable table = new DataTable();
adapter.Fill(table);
...
}
}
読み取り専用ではない：完全な更新/CRUD サポート
Databricks Data Provider は読み取り専用機能を超えて、作成、読み取り、更新、削除（CRUD）操作を 完全にサポートします。エンドユーザーは、データベーステーブルを操作するのと同じくらい簡単に、 Databricks Data Provider が提供するデータを操作できます。
using (DatabricksConnection connection = new DatabricksConnection(connectionString)) {
DatabricksDataAdapter dataAdapter = new DatabricksDataAdapter(
"SELECT Id, Where FROM Cluster", connection);
dataAdapter.UpdateCommand = new DatabricksCommand(
"UPDATE Cluster SET Where = @Where " +
"WHERE Id = @ID", connection);
dataAdapter.UpdateCommand.Parameters.AddWithValue("@Where", "Where");
dataAdapter.UpdateCommand.Parameters.AddWithValue("@Id", "80000173-1387137645");
DataTable ClusterTable = new DataTable();
dataAdapter.Fill(ClusterTable);
DataRow firstrow = ClusterTable.Rows[0];
firstrow["Where"] = "New Location";
dataAdapter.Update(ClusterTable);
}
ADO.NET Provider パフォーマンス
従来のリモートアクセス方式では、パフォーマンスのボトルネックがアプリケーションに致命的な影響を与える可能性があります。 社内利用、商用プロジェクト、Web アプリケーション、モバイルアプリケーションなど、用途に関係なく、 パフォーマンスの低下はプロジェクトの失敗につながりかねません。リモートソースからのデータアクセスには、 これらの問題を引き起こす可能性があります。一般的な問題には以下が含まれます：
- ネットワーク接続 - 遅いネットワーク接続とレイテンシの問題は、モバイルアプリケーションでよく見られます。
- サービス遅延 - サーバーのハードウェアまたはソフトウェアの更新によるサービス中断が原因で発生する遅延。
- 大量データ - 意図的または意図しない大量データのリクエスト。
- 切断 - ネットワーク接続の完全な喪失。
CData ADO.NET Provider for Databricks は、パフォーマンスを大幅に向上させ、アプリケーションのボトルネックを劇的に削減できる 強力なスマートキャッシュ技術をサポートすることで、これらの問題を解決します。
スマートキャッシュ
スマートキャッシュは、クエリされたデータをローカルデータベースに保存することで機能する設定可能なオプションです。 スマートキャッシュを有効にすると、リモートソースから取得したデータのレプリカを含む永続的なローカルキャッシュデータベースが作成されます。 キャッシュデータベースは小さく、軽量で、非常に高速であり、永続ストレージとして複数の接続で共有できます。
CData の ADO.NET Provider でのキャッシュは高度に設定可能で、以下のオプションがあります：
- 自動キャッシュ - すべてのリクエストでデータの自動ローカルキャッシュを維持します。プロバイダーは SELECT クエリを実行するたびに自動的にキャッシュデータベースにデータをロードします。クエリによって返された各行は、 キャッシュデータベース内の対応するテーブルに必要に応じて挿入または更新されます。
- 明示的キャッシュ - オンデマンドでのみキャッシュします。開発者は、キャッシュに保存するデータと 更新のタイミングを正確に決定します。明示的キャッシュは、CACHE ステートメントの明示的な実行を使用して、 キャッシュ内容を完全に制御できます。
- キャッシュなし - すべてのリクエストはライブデータのみにアクセスし、ローカルキャッシュファイルは作成されません。
この強力なキャッシュ機能により、アプリケーションのパフォーマンスが向上し、追加のローカルストレージや データのシリアル化/デシリアル化のコードを書くことなく、切断後も限定的な機能を継続できます。
ADO.NET Provider のキャッシュとキャッシュのベストプラクティスの詳細については、 付属のヘルプファイルをご覧ください。
Visual Studio 統合 & サーバーエクスプローラー
新しい Databricks ADO.NET Provider の操作は簡単です。フルマネージド .NET Data Provider として、Databricks Data Provider は Visual Studio 開発環境および任意の .NET アプリケーションとシームレスに統合します。
ADO.NET Data Provider として、Databricks ADO.NET Provider を使用して Visual Studio サーバーエクスプローラーから 直接 Databricks データにアクセスし、探索できます。
簡単です。標準の ADO.NET アダプターとして、開発者は標準のデータベースに接続するのと同じように サーバーエクスプローラーを Databricks ADO.NET Provider に接続できます。
- サーバーエクスプローラーから新しいデータ接続を追加し、Databricks データソースを選択
- Databricks アカウントデータにアクセスするための基本的な接続プロパティを設定
利用可能なすべてのデータを探索！Databricks ADO.NET Provider により、Visual Studio からライブの Databricks データに簡単にアクセスできます。
- 接続を設定した後、Databricks データソースが提供するフィード、ビュー、サービスを探索します。
- これらの構造は、開発者が Visual Studio 内から直接操作できるライブの Databricks データを返します！
開発者統合：Databricks へのデータバインド
Web、デスクトップ、モバイル .NET アプリケーションと Databricks の接続は、SQL Server を操作するのと同じです。 コードを書かずに Databricks ADO.NET Provider をアプリケーションに統合することも可能です。
開発者は、好みの方法で Databricks ADO.NET Provider にアクセスできます。Visual Studio の Winforms または Webforms デザイナーを通じて視覚的に、またはコードから直接アクセスできます。
- オブジェクトのスマートタグを設定することで、Databricks データソースをフォームコンポーネントに直接接続できます。
- サーバーエクスプローラーから新しいデータ接続を追加し、Databricks データソースを選択します。次に、
オブジェクトに接続するフィード、ビュー、またはサービスを選択します。
完了！SQL Server に接続するのと同じです。
- オブジェクトがデータソースにバインドされると、アプリケーションは完全な読み取り/書き込み（CRUD）サポートで
Databricks データと簡単にやり取りできます。
人気の ADO 動画：
