HDFS ADO.NET Data Provider を使用すると、.NET アプリケーションから HDFS data に簡単に接続できます。 HDFS データに連携する.NET アプリケーションを素早く、簡単に開発できる便利なドライバー。
HDFS
HDFS .NET Connectivity Features
- Hadoop Distributed File System データへ SQL アクセス
- SQL ストアドプロシージャを使用してファイルの作成、データの追加、権限の設定などのアクションを実行
- Apache HDFS ODBC Driver でライブの Apache HDFS データに接続し、リアルタイムにデータアクセス
- SQL クエリでのデータ集計と複雑な JOIN を完全サポート
- 既存の Apache HDFS データに基づいてテーブルスキーマを自動生成、または必要なコンテンツをより細かく制御するために手動で生成
- HDFS Connector を介して、主要な BI、レポーティング、ETL ツールやカスタムアプリケーションとシームレスに統合。
対象サービス、API
当ドライバは Hadoop Distributed File System に接続します。ビッグデータファイルストレージ。
スキーマ、データモデル
HDFS ディレクトリおよびファイルをテーブルとしてモデル化します。様々なファイルフォーマットをサポートします。
主要オブジェクト
ファイル、ディレクトリ、メタデータ。Hadoop ファイルシステムアクセス。
操作
HDFS に対する読み取りおよび書き込み操作。ファイルフォーマット解析。WebHDFS サポート。
認証
Kerberos またはシンプル認証。NameNode 接続が必要です。
HDFS ADO.NET Provider でできること
SQL Server Analysis Service (SSAS) の多次元キューブから HDFS を使用できます。分析データモデリングを維持しながら、クラウドおよびオンプレミスを含むあらゆるソースにアクセスできます。
HDFS ADO.NET Provider により、開発者は使い慣れた SQL と Entity Framework を使用して HDFS に接続するアプリケーションを構築できます。ミッションクリティカルなアプリケーションに HDFS を統合したり、簡単なサイドバイサイドアプリケーションを作成したりできます。
.NET ベースのレポーティングおよび分析ツールから HDFS に接続できます：
HDFS への標準 ADO.NET アクセス
HDFS ADO.NET Provider は、任意の .NET アプリケーションから HDFS データにアクセスする 最も自然な方法を提供します。従来のデータベースにアクセスするのと同じように、HDFS Data Provider オブジェクトを使用して 接続とデータアクセスを行います。Visual Studio サーバーエクスプローラー、使い慣れたクラスを通じたコード、 DataGridView、GridView、DataSet などのデータコントロールで HDFS Data Provider を使用できます。
CData ADO.NET Provider for HDFS は、データアクセスの複雑さを隠蔽し、強力なセキュリティ機能、 スマートキャッシュ、バッチ処理、ソケット管理などを提供します。
DataAdapter、DataSet、DataTable などの使用
HDFS Data Provider は、SQL Server や OLEDB 用のネイティブ .NET データプロバイダーと同じ ADO.NET アーキテクチャを持ち、 HDFSConnection、HDFSCommand、HDFSDataAdapter、HDFSDataReader、 HDFSDataSource、HDFSParameter などを含みます。 これにより、使い慣れた簡単な方法で HDFS データにアクセスできるようになりました。
例：
using (HDFSConnection conn = new HDFSConnection("...")) {
string select = "SELECT * FROM HDFSData";
HDFSCommand cmd = new HDFSCommand(select, conn);
HDFSDataAdapter adapter = new HDFSDataAdapter(cmd);
using (adapter) {
DataTable table = new DataTable();
adapter.Fill(table);
...
}
}
ADO.NET Provider パフォーマンス
従来のリモートアクセス方式では、パフォーマンスのボトルネックがアプリケーションに致命的な影響を与える可能性があります。 社内利用、商用プロジェクト、Web アプリケーション、モバイルアプリケーションなど、用途に関係なく、 パフォーマンスの低下はプロジェクトの失敗につながりかねません。リモートソースからのデータアクセスには、 これらの問題を引き起こす可能性があります。一般的な問題には以下が含まれます：
- ネットワーク接続 - 遅いネットワーク接続とレイテンシの問題は、モバイルアプリケーションでよく見られます。
- サービス遅延 - サーバーのハードウェアまたはソフトウェアの更新によるサービス中断が原因で発生する遅延。
- 大量データ - 意図的または意図しない大量データのリクエスト。
- 切断 - ネットワーク接続の完全な喪失。
CData ADO.NET Provider for HDFS は、パフォーマンスを大幅に向上させ、アプリケーションのボトルネックを劇的に削減できる 強力なスマートキャッシュ技術をサポートすることで、これらの問題を解決します。
スマートキャッシュ
スマートキャッシュは、クエリされたデータをローカルデータベースに保存することで機能する設定可能なオプションです。 スマートキャッシュを有効にすると、リモートソースから取得したデータのレプリカを含む永続的なローカルキャッシュデータベースが作成されます。 キャッシュデータベースは小さく、軽量で、非常に高速であり、永続ストレージとして複数の接続で共有できます。
CData の ADO.NET Provider でのキャッシュは高度に設定可能で、以下のオプションがあります：
- 自動キャッシュ - すべてのリクエストでデータの自動ローカルキャッシュを維持します。プロバイダーは SELECT クエリを実行するたびに自動的にキャッシュデータベースにデータをロードします。クエリによって返された各行は、 キャッシュデータベース内の対応するテーブルに必要に応じて挿入または更新されます。
- 明示的キャッシュ - オンデマンドでのみキャッシュします。開発者は、キャッシュに保存するデータと 更新のタイミングを正確に決定します。明示的キャッシュは、CACHE ステートメントの明示的な実行を使用して、 キャッシュ内容を完全に制御できます。
- キャッシュなし - すべてのリクエストはライブデータのみにアクセスし、ローカルキャッシュファイルは作成されません。
この強力なキャッシュ機能により、アプリケーションのパフォーマンスが向上し、追加のローカルストレージや データのシリアル化/デシリアル化のコードを書くことなく、切断後も限定的な機能を継続できます。
ADO.NET Provider のキャッシュとキャッシュのベストプラクティスの詳細については、 付属のヘルプファイルをご覧ください。
Visual Studio 統合 & サーバーエクスプローラー
新しい HDFS ADO.NET Provider の操作は簡単です。フルマネージド .NET Data Provider として、HDFS Data Provider は Visual Studio 開発環境および任意の .NET アプリケーションとシームレスに統合します。
ADO.NET Data Provider として、HDFS ADO.NET Provider を使用して Visual Studio サーバーエクスプローラーから 直接 Apache HDFS データにアクセスし、探索できます。
簡単です。標準の ADO.NET アダプターとして、開発者は標準のデータベースに接続するのと同じように サーバーエクスプローラーを HDFS ADO.NET Provider に接続できます。
- サーバーエクスプローラーから新しいデータ接続を追加し、Apache HDFS データソースを選択
- Apache HDFS アカウントデータにアクセスするための基本的な接続プロパティを設定
利用可能なすべてのデータを探索！HDFS ADO.NET Provider により、Visual Studio からライブの Apache HDFS データに簡単にアクセスできます。
- 接続を設定した後、Apache HDFS データソースが提供するフィード、ビュー、サービスを探索します。
- これらの構造は、開発者が Visual Studio 内から直接操作できるライブの Apache HDFS データを返します！
開発者統合：HDFS へのデータバインド
Web、デスクトップ、モバイル .NET アプリケーションと Apache HDFS の接続は、SQL Server を操作するのと同じです。 コードを書かずに HDFS ADO.NET Provider をアプリケーションに統合することも可能です。
開発者は、好みの方法で HDFS ADO.NET Provider にアクセスできます。Visual Studio の Winforms または Webforms デザイナーを通じて視覚的に、またはコードから直接アクセスできます。
- オブジェクトのスマートタグを設定することで、Apache HDFS データソースをフォームコンポーネントに直接接続できます。
- サーバーエクスプローラーから新しいデータ接続を追加し、Apache HDFS データソースを選択します。次に、
オブジェクトに接続するフィード、ビュー、またはサービスを選択します。
完了！SQL Server に接続するのと同じです。
- オブジェクトがデータソースにバインドされると、アプリケーションは完全な読み取り/書き込み（CRUD）サポートで
Apache HDFS データと簡単にやり取りできます。
人気の ADO 動画：
