Apache Spark Python Connector

Python で Spark に接続

CData Python Connector は、Database API（DB-API）インターフェースを活用して、幅広い標準的な Python データツールから Spark を簡単に操作できるようにします。Python でのデータへの接続と操作は、データソースに関係なく、基本的なパターンに従います：

• Spark への接続プロパティを設定
• Spark にクエリを実行してデータを取得または更新
• Spark データを Python データツールに接続

Python で Spark に接続する

Python からデータに接続するには、拡張機能をインポートして接続を作成します：

import cdata. as mod
conn = mod.connect("User=user@domain.com; Password=password;")

#Create cursor and iterate over results
cur = conn.cursor()
cur.execute("SELECT * FROM ApacheSpark")

rs = cur.fetchall()

for row in rs:
print(row)

拡張機能をインポートすれば、使い慣れた Python モジュールやツールキットを使用して エンタープライズデータを操作でき、ビジネスを推進するアプリを迅速に構築できます。

pandas で Spark データを可視化

Spark Python Connector のデータ中心のインターフェースにより、pandas や SQLAlchemy などの 人気ツールと簡単に統合して、リアルタイムでデータを可視化できます。

engine = create_engine("///Password=password&User=user")

df = pandas.read_sql("SELECT * FROM ApacheSpark", engine)

df.plot()
plt.show()

読み取り専用ではない：完全な更新/CRUD サポート

Spark Connector は読み取り専用機能を超えて、作成、読み取り、更新、削除（CRUD）操作を 完全にサポートします。エンドユーザーは、データベーステーブルを操作するのと同じくらい簡単に、 Spark Connector が提供するデータを操作できます。