SQLAlchemy ORM を使用して Python で Snowflake のデータ にアクセスする方法
Python の豊富なモジュールエコシステムを活用することで、迅速に作業を開始し、システムを効果的に統合できます。CData Python Connector for Snowflake と SQLAlchemy ツールキットを使用して、Snowflake に接続された Python アプリケーションやスクリプトを構築できます。この記事では、SQLAlchemy を使用して Snowflake のデータ に接続し、クエリ、更新、削除、挿入を実行する方法を説明します。
CData Python Connector は最適化されたデータ処理機能を内蔵しており、Python からリアルタイムの Snowflake のデータ を操作する際に比類のないパフォーマンスを提供します。Snowflake に対して複雑な SQL クエリを発行すると、CData Connector はフィルタや集計などのサポートされている SQL 操作を直接 Snowflake にプッシュし、サポートされていない操作(多くの場合 SQL 関数や JOIN 操作)は組み込みの SQL エンジンを使用してクライアント側で処理します。
Snowflake データ連携について
CData は、Snowflake のライブデータへのアクセスと統合を簡素化します。お客様は CData の接続機能を以下の目的で活用しています:
- Snowflake データを迅速かつ効率的に読み書きできます。
- 指定された Warehouse、Database、Schema のメタデータを動的に取得できます。
- OAuth、OKTA、Azure AD、Azure マネージド サービス ID、PingFederate、秘密鍵など、さまざまな方法で認証できます。
多くの CData ユーザーは、CData ソリューションを使用して、お気に入りのツールやアプリケーションから Snowflake にアクセスし、さまざまなシステムからデータを Snowflake にレプリケートして、包括的なウェアハウジングと分析を行っています。
CData ソリューションとの Snowflake 統合についての詳細は、ブログをご覧ください:https://jp.cdata.com/blog/snowflake-integrations
はじめに
Snowflake のデータ への接続
Snowflake のデータ への接続は、他のリレーショナルデータソースへの接続と同様です。必要な接続プロパティを使用して接続文字列を作成します。この記事では、接続文字列を create_engine 関数のパラメータとして渡します。
それでは、Snowflake データベースに接続していきましょう。認証に加えて、以下の接続プロパティを設定します。
- Url:お使いのSnowflake URL を指定します。例:https://orgname-myaccount.snowflakecomputing.com
- Legacy URL を使用する場合:https://myaccount.region.snowflakecomputing.com
- ご自身のURL は以下のステップで確認できます。
- Snowflake UI の左下にあるユーザー名をクリックします
- Account ID にカーソルを合わせます
- Copy Account URL アイコンをクリックして、アカウントURL をコピーします
- Database(オプション):CData 製品によって公開されるテーブルとビューを、特定のSnowflake データベースのものに制限したい場合に設定します
- Schema(オプション):CData 製品によって公開されるテーブルとビューを、特定のSnowflake データベーススキーマのものに制限したい場合に設定します
Snowflakeへの認証
CData 製品では、Snowflake ユーザー認証、フェデレーション認証、およびSSL クライアント認証をサポートしています。認証するには、User とPassword を設定し、AuthScheme プロパティで認証方法を選択してください。
キーペア認証
ユーザーアカウントに定義されたプライベートキーを使用してセキュアなトークンを作成し、キーペア認証で接続することも可能です。この方法で接続するには、AuthScheme をPRIVATEKEY に設定し、以下の値を設定してください。
- User:認証に使用するユーザーアカウント
- PrivateKey:プライベートキーを含む.pem ファイルへのパスなど、ユーザーに使用されるプライベートキー
- PrivateKeyType:プライベートキーを含むキーストアの種類(PEMKEY_FILE、PFXFILE など)
- PrivateKeyPassword:指定されたプライベートキーのパスワード
その他の認証方法については、ヘルプドキュメントの「Snowflakeへの認証」セクションをご確認ください。
以下の手順に従って SQLAlchemy をインストールし、Python オブジェクトを通じて Snowflake にアクセスしてみましょう。
必要なモジュールのインストール
pip ユーティリティを使用して、SQLAlchemy ツールキットと SQLAlchemy ORM パッケージをインストールします。
pip install sqlalchemy pip install sqlalchemy.orm
適切なモジュールをインポートします。
from sqlalchemy import create_engine, String, Column from sqlalchemy.ext.declarative import declarative_base from sqlalchemy.orm import sessionmaker
Python での Snowflake のデータ のモデリング
これで接続文字列を使用して接続できます。create_engine 関数を使用して、Snowflake のデータ を操作するための Engine を作成します。
注意: 接続文字列のプロパティに特殊文字が含まれている場合は、URL エンコードする必要があります。詳細については、SQL Alchemy ドキュメントを参照してください。
engine = create_engine("snowflake:///?User=Admin&Password=test123&Server=localhost&Database=Northwind&Warehouse=TestWarehouse&Account=Tester1")
Snowflake のデータ のマッピングクラスの宣言
接続を確立したら、ORM でモデル化するテーブルのマッピングクラスを宣言します(この記事では、Products テーブルをモデル化します)。sqlalchemy.ext.declarative.declarative_base 関数を使用して、一部またはすべてのフィールド(カラム)を定義した新しいクラスを作成します。
base = declarative_base() class Products(base): __tablename__ = "Products" Id = Column(String,primary_key=True) ProductName = Column(String) ...
Snowflake のデータ のクエリ
マッピングクラスを準備したら、セッションオブジェクトを使用してデータソースにクエリを実行できます。Engine をセッションにバインドした後、セッションの query メソッドにマッピングクラスを渡します。
query メソッドの使用
engine = create_engine("snowflake:///?User=Admin&Password=test123&Server=localhost&Database=Northwind&Warehouse=TestWarehouse&Account=Tester1")
factory = sessionmaker(bind=engine)
session = factory()
for instance in session.query(Products).filter_by(Id="1"):
print("Id: ", instance.Id)
print("ProductName: ", instance.ProductName)
print("---------")
別の方法として、適切なテーブルオブジェクトと execute メソッドを使用することもできます。以下のコードはアクティブな session で動作します。
execute メソッドの使用
Products_table = Products.metadata.tables["Products"]
for instance in session.execute(Products_table.select().where(Products_table.c.Id == "1")):
print("Id: ", instance.Id)
print("ProductName: ", instance.ProductName)
print("---------")
JOIN、集計、制限などのより複雑なクエリの例については、拡張機能のヘルプドキュメントを参照してください。
Snowflake のデータ の挿入
Snowflake のデータ を挿入するには、マッピングクラスのインスタンスを定義し、アクティブな session に追加します。セッションの commit 関数を呼び出して、追加されたすべてのインスタンスを Snowflake にプッシュします。
new_rec = Products(Id="placeholder", Id="1") session.add(new_rec) session.commit()
Snowflake のデータ の更新
Snowflake のデータ を更新するには、フィルタクエリで目的のレコードを取得します。次に、フィールドの値を変更し、セッションの commit 関数を呼び出して、変更されたレコードを Snowflake にプッシュします。
updated_rec = session.query(Products).filter_by(SOME_ID_COLUMN="SOME_ID_VALUE").first() updated_rec.Id = "1" session.commit()
Snowflake のデータ の削除
Snowflake のデータ を削除するには、フィルタクエリで目的のレコードを取得します。次に、アクティブな session でレコードを削除し、セッションの commit 関数を呼び出して、指定されたレコード(行)に対して削除操作を実行します。
deleted_rec = session.query(Products).filter_by(SOME_ID_COLUMN="SOME_ID_VALUE").first() session.delete(deleted_rec) session.commit()
無料トライアルと詳細情報
CData Python Connector for Snowflake の30日間の無料トライアルをダウンロードして、Snowflake のデータ に接続する Python アプリとスクリプトの構築を始めましょう。ご質問がありましたら、サポートチームまでお問い合わせください。