Azure Data Lake Storage Python Connector
 

Azure Data Lake Storage Python Connector

Python から Azure Data Lake Storage への SQL ベースアクセス

Python ベースのデータアクセス、可視化、ORM、ETL、AI/ML、カスタムアプリを Azure Data Lake Storage と簡単に接続！


  無料トライアルをダウンロード   今すぐ購入

その他の Microsoft Azure テクノロジー

その他の Microsoft Azure ドライバー


Azure Data Lake Storage Logo

Azure Data Lake Storage データ連携用のPython コネクタライブラリ。Azure Data Lake Storage データをpandas、SQLAlchemy、Dash、petl などの人気のPython ツールにシームレスに統合。 使いやすい Python Database API（DB-API）モジュールで、Azure Data Lake Storage データを Python およびあらゆる Python ベースアプリケーションに接続できます。

機能

  • Azure Data Lake 運用データへ SQL アクセス
  • Gen1 および Gen2 インスタンスに対応
  • Azure Data Lake Storage ODBC Driver でライブの Azure Data Lake Storage データに接続し、リアルタイムにデータアクセス
  • SQL クエリでのデータ集計と複雑な JOIN を完全サポート
  • TLS 1.2、SHA-256、ECC などの最新暗号化技術による安全な接続。
  • Azure Data Lake Storage Connector を介して、主要な BI、レポーティング、ETL ツールやカスタムアプリケーションとシームレスに統合。

仕様

  • Azure Data Lake Storage 連携用のPython Database API (DB-API) モジュール。
  • 使い慣れたSQL でAzure Data Lake Storage データにアクセス。Azure Data Lake Storage に使い慣れたPython Database Connectivity でデータ連携。
  • Pandas、SQLAlchemy、Dash、petl などの人気のPython ツールにシームレスに統合。
  • データ、パラメータ、メタデータの完全な Unicode サポート。


CData Python Connectors の動作を確認！

CData Python Connectors に搭載された強力なデータ統合機能をビデオでご覧ください。

Python Connector の概要ビデオを見る

Azure Data Lake Storage との Python 接続

Python を通じて、サポートされるあらゆるデータソースへのフル機能で一貫した SQL アクセス


  • ユニバーサル Python Azure Data Lake Storage 接続

    一般的な Python ベースのフレームワークから Azure Data Lake Storage データに簡単に接続できます：


    • データ分析/可視化：Jupyter Notebook、pandas、Matplotlib
    • ORM：SQLAlchemy、SQLObject、Storm
    • Web アプリケーション：Dash、Django
    • ETL：Apache Airflow、Luigi、Bonobo、Bubbles、petl
  • 人気ツールとの統合

    Azure Data Lake Storage Connector は、Anaconda、Visual Studio Python IDE、PyCharm などの人気のデータサイエンスおよび開発ツールとシームレスに統合できます。

  • レプリケーションとキャッシュ

    レプリケーションおよびキャッシュコマンドにより、Oracle、SQL Server、Google Cloud SQL などのローカルおよびクラウドデータストアへのデータコピーが簡単に行えます。レプリケーションコマンドには、キャッシュデータのインテリジェントな増分更新を可能にする多くの機能が含まれています。

  • 文字列、日付、数値 SQL 関数

    Azure Data Lake Storage Connector には、列の値を目的の結果に変換できる 50 以上の関数ライブラリが含まれています。一般的な例として、Regex、JSON、XML 処理関数があります。

  • 協調クエリ処理

    Python Connector は、必要に応じて追加のクライアントサイド処理により Azure Data Lake Storage の機能を強化し、SUM、AVG、MAX、MIN などのデータの分析サマリーを可能にします。

  • 簡単にカスタマイズ・設定可能

    Azure Data Lake Storage Connector が公開するデータモデルは、新しいビルドを必要とせずに、テーブル/列の追加や削除、データ型の変更などを簡単にカスタマイズできます。これらのカスタマイズは、編集しやすい人間が読めるスキーマファイルを使用して実行時にサポートされます。

  • エンタープライズクラスの安全な接続

    すべてのクライアント・サーバー通信に対する TLS/SSL データ暗号化など、標準的なエンタープライズクラスのセキュリティ機能を搭載しています。

Python で Azure Data Lake Storage に接続

CData Python Connector は、Database API（DB-API）インターフェースを活用して、幅広い標準的な Python データツールから Azure Data Lake Storage を簡単に操作できるようにします。Python でのデータへの接続と操作は、データソースに関係なく、基本的なパターンに従います：

  • Azure Data Lake Storage への接続プロパティを設定
  • Azure Data Lake Storage にクエリを実行してデータを取得または更新
  • Azure Data Lake Storage データを Python データツールに接続


Python で Azure Data Lake Storage に接続する

Python からデータに接続するには、拡張機能をインポートして接続を作成します：

import cdata. as mod
conn = mod.connect("User=user@domain.com; Password=password;")

#Create cursor and iterate over results
cur = conn.cursor()
cur.execute("SELECT * FROM ADLSData")

rs = cur.fetchall()

for row in rs:
print(row)

拡張機能をインポートすれば、使い慣れた Python モジュールやツールキットを使用して エンタープライズデータを操作でき、ビジネスを推進するアプリを迅速に構築できます。

pandas で Azure Data Lake Storage データを可視化

Azure Data Lake Storage Python Connector のデータ中心のインターフェースにより、pandas や SQLAlchemy などの 人気ツールと簡単に統合して、リアルタイムでデータを可視化できます。 

engine = create_engine("///Password=password&User=user")

df = pandas.read_sql("SELECT * FROM ADLSData", engine)

df.plot()
plt.show()

人気の Python 動画：

Python Connectors、Jupyter Notebook、pandas