Parquet ADO.NET Data Provider を使用すると、.NET アプリケーションから Parquet data に簡単に接続できます。 Parquet データに連携する.NET アプリケーションを素早く、簡単に開発できる便利なドライバー。
Parquet
Parquet .NET Connectivity Features
- Apache Parquet データへ SQL アクセス
- Apache Parquet ODBC Driver でライブの Apache Parquet データに接続し、リアルタイムにデータアクセス
- SQL クエリでのデータ集計と複雑な JOIN を完全サポート
- TLS 1.2、SHA-256、ECC などの最新暗号化技術による安全な接続。
- 既存の Apache Parquet データに基づいてテーブルスキーマを自動生成、または必要なコンテンツをより細かく制御するために手動で生成
- Parquet Connector を介して、主要な BI、レポーティング、ETL ツールやカスタムアプリケーションとシームレスに統合。
Target Service, API
本ドライバは Apache Parquet ファイルへの SQL アクセスを提供します。ローカルファイル、ネットワークパス、およびクラウドストレージロケーション (S3、Azure Blob など) をサポートします。
Schema, Data Model
Parquet ファイルのメタデータからスキーマを自動的に推論します。ネストされた構造や配列を含む複合型をサポートします。
Key Objects
Parquet ファイルはテーブルとして公開されます。ディレクトリ内の各ファイルまたはファイルセットがクエリ可能なテーブルになります。パーティション化されたデータセットをサポートします。
Operations
Parquet データに対する読み取り専用の SQL クエリをサポートします。最適なパフォーマンスのために述語プッシュダウンを使用したフィルタリング、プロジェクション、および集計をサポートします。
Authentication
ファイルシステムまたはクラウドストレージ認証を使用します。クラウドストレージの場合、AWS 資格情報、Azure 資格情報、または Google Cloud 資格情報をサポートします。
Parquet ADO.NET Provider でできること
SQL Server Analysis Service (SSAS) の多次元キューブから Parquet を使用できます。分析データモデリングを維持しながら、クラウドおよびオンプレミスを含むあらゆるソースにアクセスできます。
Parquet ADO.NET Provider により、開発者は使い慣れた SQL と Entity Framework を使用して Parquet に接続するアプリケーションを構築できます。ミッションクリティカルなアプリケーションに Parquet を統合したり、簡単なサイドバイサイドアプリケーションを作成したりできます。
.NET ベースのレポーティングおよび分析ツールから Parquet に接続できます：
Parquet への標準 ADO.NET アクセス
Parquet ADO.NET Provider は、任意の .NET アプリケーションから Parquet データにアクセスする 最も自然な方法を提供します。従来のデータベースにアクセスするのと同じように、Parquet Data Provider オブジェクトを使用して 接続とデータアクセスを行います。Visual Studio サーバーエクスプローラー、使い慣れたクラスを通じたコード、 DataGridView、GridView、DataSet などのデータコントロールで Parquet Data Provider を使用できます。
CData ADO.NET Provider for Parquet は、データアクセスの複雑さを隠蔽し、強力なセキュリティ機能、 スマートキャッシュ、バッチ処理、ソケット管理などを提供します。
DataAdapter、DataSet、DataTable などの使用
Parquet Data Provider は、SQL Server や OLEDB 用のネイティブ .NET データプロバイダーと同じ ADO.NET アーキテクチャを持ち、 ParquetConnection、ParquetCommand、ParquetDataAdapter、ParquetDataReader、 ParquetDataSource、ParquetParameter などを含みます。 これにより、使い慣れた簡単な方法で Parquet データにアクセスできるようになりました。
例：
using (ParquetConnection conn = new ParquetConnection("...")) {
string select = "SELECT * FROM ParquetData";
ParquetCommand cmd = new ParquetCommand(select, conn);
ParquetDataAdapter adapter = new ParquetDataAdapter(cmd);
using (adapter) {
DataTable table = new DataTable();
adapter.Fill(table);
...
}
}
ADO.NET Provider パフォーマンス
従来のリモートアクセス方式では、パフォーマンスのボトルネックがアプリケーションに致命的な影響を与える可能性があります。 社内利用、商用プロジェクト、Web アプリケーション、モバイルアプリケーションなど、用途に関係なく、 パフォーマンスの低下はプロジェクトの失敗につながりかねません。リモートソースからのデータアクセスには、 これらの問題を引き起こす可能性があります。一般的な問題には以下が含まれます：
- ネットワーク接続 - 遅いネットワーク接続とレイテンシの問題は、モバイルアプリケーションでよく見られます。
- サービス遅延 - サーバーのハードウェアまたはソフトウェアの更新によるサービス中断が原因で発生する遅延。
- 大量データ - 意図的または意図しない大量データのリクエスト。
- 切断 - ネットワーク接続の完全な喪失。
CData ADO.NET Provider for Parquet は、パフォーマンスを大幅に向上させ、アプリケーションのボトルネックを劇的に削減できる 強力なスマートキャッシュ技術をサポートすることで、これらの問題を解決します。
スマートキャッシュ
スマートキャッシュは、クエリされたデータをローカルデータベースに保存することで機能する設定可能なオプションです。 スマートキャッシュを有効にすると、リモートソースから取得したデータのレプリカを含む永続的なローカルキャッシュデータベースが作成されます。 キャッシュデータベースは小さく、軽量で、非常に高速であり、永続ストレージとして複数の接続で共有できます。
CData の ADO.NET Provider でのキャッシュは高度に設定可能で、以下のオプションがあります：
- 自動キャッシュ - すべてのリクエストでデータの自動ローカルキャッシュを維持します。プロバイダーは SELECT クエリを実行するたびに自動的にキャッシュデータベースにデータをロードします。クエリによって返された各行は、 キャッシュデータベース内の対応するテーブルに必要に応じて挿入または更新されます。
- 明示的キャッシュ - オンデマンドでのみキャッシュします。開発者は、キャッシュに保存するデータと 更新のタイミングを正確に決定します。明示的キャッシュは、CACHE ステートメントの明示的な実行を使用して、 キャッシュ内容を完全に制御できます。
- キャッシュなし - すべてのリクエストはライブデータのみにアクセスし、ローカルキャッシュファイルは作成されません。
この強力なキャッシュ機能により、アプリケーションのパフォーマンスが向上し、追加のローカルストレージや データのシリアル化/デシリアル化のコードを書くことなく、切断後も限定的な機能を継続できます。
ADO.NET Provider のキャッシュとキャッシュのベストプラクティスの詳細については、 付属のヘルプファイルをご覧ください。
Visual Studio 統合 & サーバーエクスプローラー
新しい Parquet ADO.NET Provider の操作は簡単です。フルマネージド .NET Data Provider として、Parquet Data Provider は Visual Studio 開発環境および任意の .NET アプリケーションとシームレスに統合します。
ADO.NET Data Provider として、Parquet ADO.NET Provider を使用して Visual Studio サーバーエクスプローラーから 直接 Apache Parquet データにアクセスし、探索できます。
簡単です。標準の ADO.NET アダプターとして、開発者は標準のデータベースに接続するのと同じように サーバーエクスプローラーを Parquet ADO.NET Provider に接続できます。
- サーバーエクスプローラーから新しいデータ接続を追加し、Apache Parquet データソースを選択
- Apache Parquet アカウントデータにアクセスするための基本的な接続プロパティを設定
利用可能なすべてのデータを探索！Parquet ADO.NET Provider により、Visual Studio からライブの Apache Parquet データに簡単にアクセスできます。
- 接続を設定した後、Apache Parquet データソースが提供するフィード、ビュー、サービスを探索します。
- これらの構造は、開発者が Visual Studio 内から直接操作できるライブの Apache Parquet データを返します！
開発者統合：Parquet へのデータバインド
Web、デスクトップ、モバイル .NET アプリケーションと Apache Parquet の接続は、SQL Server を操作するのと同じです。 コードを書かずに Parquet ADO.NET Provider をアプリケーションに統合することも可能です。
開発者は、好みの方法で Parquet ADO.NET Provider にアクセスできます。Visual Studio の Winforms または Webforms デザイナーを通じて視覚的に、またはコードから直接アクセスできます。
- オブジェクトのスマートタグを設定することで、Apache Parquet データソースをフォームコンポーネントに直接接続できます。
- サーバーエクスプローラーから新しいデータ接続を追加し、Apache Parquet データソースを選択します。次に、
オブジェクトに接続するフィード、ビュー、またはサービスを選択します。
完了！SQL Server に接続するのと同じです。
- オブジェクトがデータソースにバインドされると、アプリケーションは完全な読み取り/書き込み（CRUD）サポートで
Apache Parquet データと簡単にやり取りできます。
人気の ADO 動画：
