Apache Spark ADO.NET Provider

カスタム .NET アプリケーションおよび SSAS 向けに、ADO.NET を通じて Spark に SQL ベースでアクセスできます。

無料トライアルをダウンロード今すぐ購入

その他のテクノロジー

Spark ADO.NET Data Provider を使用すると、.NET アプリケーションから Spark data に簡単に接続できます。 Apache Spark 連携のパワフルな.NET アプリケーションを素早く作成して配布。

Spark

Spark .NET Connectivity Features

SQL を Spark SQL にマッピングし、Apache Spark への直接的な標準 SQL-92 アクセスを実現
DataBricks Enterprise Platform に完全対応
Apache Spark SQL ODBC Driver でライブの Apache Spark SQL データに接続し、リアルタイムにデータアクセス
SQL クエリでのデータ集計と複雑な JOIN を完全サポート
TLS 1.2、SHA-256、ECC などの最新暗号化技術による安全な接続。
Spark Connector を介して、主要な BI、レポーティング、ETL ツールやカスタムアプリケーションとシームレスに統合。

Target Service, API

本ドライバは Spark SQL 経由で Apache Spark に接続します。ビッグデータ処理です。

Schema, Data Model

Spark のテーブルと DataFrame をモデル化します。さまざまなデータソースをサポートします。

Key Objects

Databases、Tables、および Views です。Spark SQL カタログアクセスを提供します。

Operations

Spark SQL クエリをサポートします。さまざまなフォーマットへの読み取り/書き込みが可能です。直接的な Spark ジョブ制御はありません。

Authentication

デプロイメントにより異なります。セキュアクラスターには Kerberos を使用します。

30 日間の無料トライアルを今すぐ開始

Spark ADO.NET ダウンロード

Spark ADO.NET Provider でできること

SSAS Cube

SQL Server Analysis Service (SSAS) の多次元キューブから Spark を使用できます。分析データモデリングを維持しながら、クラウドおよびオンプレミスを含むあらゆるソースにアクセスできます。

カスタム .NET アプリケーション

Spark ADO.NET Provider により、開発者は使い慣れた SQL と Entity Framework を使用して Spark に接続するアプリケーションを構築できます。ミッションクリティカルなアプリケーションに Spark を統合したり、簡単なサイドバイサイドアプリケーションを作成したりできます。

ローコード開発プラットフォーム

ADO.NET 準拠のローコード開発ツールから接続できます：

レポーティングツール

.NET ベースのレポーティングおよび分析ツールから Spark に接続できます：

Spark への標準 ADO.NET アクセス

Apache Spark ADO.NET Provider は、任意の .NET アプリケーションから Spark データにアクセスする最も自然な方法を提供します。従来のデータベースにアクセスするのと同じように、Apache Spark Data Provider オブジェクトを使用して接続とデータアクセスを行います。Visual Studio サーバーエクスプローラー、使い慣れたクラスを通じたコード、 DataGridView、GridView、DataSet などのデータコントロールで Apache Spark Data Provider を使用できます。

CData ADO.NET Provider for Apache Spark は、データアクセスの複雑さを隠蔽し、強力なセキュリティ機能、スマートキャッシュ、バッチ処理、ソケット管理などを提供します。

DataAdapter、DataSet、DataTable などの使用

Apache Spark Data Provider は、SQL Server や OLEDB 用のネイティブ .NET データプロバイダーと同じ ADO.NET アーキテクチャを持ち、 SparkConnection、SparkCommand、SparkDataAdapter、SparkDataReader、 SparkDataSource、SparkParameter などを含みます。これにより、使い慣れた簡単な方法で Spark データにアクセスできるようになりました。

例：

using (SparkConnection conn = new SparkConnection("...")) {
	string select = "SELECT * FROM ApacheSpark";
	SparkCommand cmd = new SparkCommand(select, conn);
	SparkDataAdapter adapter = new SparkDataAdapter(cmd);
	using (adapter) {
		DataTable table = new DataTable();
		adapter.Fill(table);
		...
	}
}

読み取り専用ではない：完全な更新/CRUD サポート

Apache Spark Data Provider は読み取り専用機能を超えて、作成、読み取り、更新、削除（CRUD）操作を完全にサポートします。エンドユーザーは、データベーステーブルを操作するのと同じくらい簡単に、 Apache Spark Data Provider が提供するデータを操作できます。

using (SparkConnection connection = new SparkConnection(connectionString)) {
	SparkDataAdapter dataAdapter = new SparkDataAdapter(
	"SELECT Id, Where FROM ApacheSpark", connection);

	dataAdapter.UpdateCommand = new SparkCommand(
		"UPDATE ApacheSpark SET Where = @Where " +
		"WHERE Id = @ID", connection);

	dataAdapter.UpdateCommand.Parameters.AddWithValue("@Where", "Where");
	dataAdapter.UpdateCommand.Parameters.AddWithValue("@Id", "80000173-1387137645");

	DataTable ApacheSparkTable = new DataTable();
	dataAdapter.Fill(ApacheSparkTable);

	DataRow firstrow = ApacheSparkTable.Rows[0];
	firstrow["Where"] = "New Location";

	dataAdapter.Update(ApacheSparkTable);
}

ADO.NET Provider パフォーマンス

従来のリモートアクセス方式では、パフォーマンスのボトルネックがアプリケーションに致命的な影響を与える可能性があります。社内利用、商用プロジェクト、Web アプリケーション、モバイルアプリケーションなど、用途に関係なく、パフォーマンスの低下はプロジェクトの失敗につながりかねません。リモートソースからのデータアクセスには、これらの問題を引き起こす可能性があります。一般的な問題には以下が含まれます：

ネットワーク接続 - 遅いネットワーク接続とレイテンシの問題は、モバイルアプリケーションでよく見られます。
サービス遅延 - サーバーのハードウェアまたはソフトウェアの更新によるサービス中断が原因で発生する遅延。
大量データ - 意図的または意図しない大量データのリクエスト。
切断 - ネットワーク接続の完全な喪失。

CData ADO.NET Provider for Apache Spark は、パフォーマンスを大幅に向上させ、アプリケーションのボトルネックを劇的に削減できる強力なスマートキャッシュ技術をサポートすることで、これらの問題を解決します。

スマートキャッシュ

スマートキャッシュは、クエリされたデータをローカルデータベースに保存することで機能する設定可能なオプションです。スマートキャッシュを有効にすると、リモートソースから取得したデータのレプリカを含む永続的なローカルキャッシュデータベースが作成されます。キャッシュデータベースは小さく、軽量で、非常に高速であり、永続ストレージとして複数の接続で共有できます。

CData の ADO.NET Provider でのキャッシュは高度に設定可能で、以下のオプションがあります：

自動キャッシュ - すべてのリクエストでデータの自動ローカルキャッシュを維持します。プロバイダーは SELECT クエリを実行するたびに自動的にキャッシュデータベースにデータをロードします。クエリによって返された各行は、キャッシュデータベース内の対応するテーブルに必要に応じて挿入または更新されます。
明示的キャッシュ - オンデマンドでのみキャッシュします。開発者は、キャッシュに保存するデータと更新のタイミングを正確に決定します。明示的キャッシュは、CACHE ステートメントの明示的な実行を使用して、キャッシュ内容を完全に制御できます。
キャッシュなし - すべてのリクエストはライブデータのみにアクセスし、ローカルキャッシュファイルは作成されません。

この強力なキャッシュ機能により、アプリケーションのパフォーマンスが向上し、追加のローカルストレージやデータのシリアル化/デシリアル化のコードを書くことなく、切断後も限定的な機能を継続できます。

ADO.NET Provider のキャッシュとキャッシュのベストプラクティスの詳細については、付属のヘルプファイルをご覧ください。

Visual Studio 統合 & サーバーエクスプローラー

新しい Apache Spark ADO.NET Provider の操作は簡単です。フルマネージド .NET Data Provider として、Apache Spark Data Provider は Visual Studio 開発環境および任意の .NET アプリケーションとシームレスに統合します。

ADO.NET Data Provider として、Apache Spark ADO.NET Provider を使用して Visual Studio サーバーエクスプローラーから直接 Apache Spark SQL データにアクセスし、探索できます。

簡単です。標準の ADO.NET アダプターとして、開発者は標準のデータベースに接続するのと同じようにサーバーエクスプローラーを Apache Spark ADO.NET Provider に接続できます。

サーバーエクスプローラーから新しいデータ接続を追加し、Apache Spark SQL データソースを選択
Apache Spark SQL アカウントデータにアクセスするための基本的な接続プロパティを設定

利用可能なすべてのデータを探索！Apache Spark ADO.NET Provider により、Visual Studio からライブの Apache Spark SQL データに簡単にアクセスできます。

接続を設定した後、Apache Spark SQL データソースが提供するフィード、ビュー、サービスを探索します。
これらの構造は、開発者が Visual Studio 内から直接操作できるライブの Apache Spark SQL データを返します！

開発者統合：Spark へのデータバインド

Web、デスクトップ、モバイル .NET アプリケーションと Apache Spark SQL の接続は、SQL Server を操作するのと同じです。コードを書かずに Apache Spark ADO.NET Provider をアプリケーションに統合することも可能です。

開発者は、好みの方法で Apache Spark ADO.NET Provider にアクセスできます。Visual Studio の Winforms または Webforms デザイナーを通じて視覚的に、またはコードから直接アクセスできます。

オブジェクトのスマートタグを設定することで、Apache Spark SQL データソースをフォームコンポーネントに直接接続できます。
サーバーエクスプローラーから新しいデータ接続を追加し、Apache Spark SQL データソースを選択します。次に、オブジェクトに接続するフィード、ビュー、またはサービスを選択します。

完了！SQL Server に接続するのと同じです。

オブジェクトがデータソースにバインドされると、アプリケーションは完全な読み取り/書き込み（CRUD）サポートで Apache Spark SQL データと簡単にやり取りできます。