Entity Framework 6 からHDFS のデータに連携

Entity Framework はobject-relational mapping フレームワークで、データをオブジェクトとして扱うために使われます。Visual Studio のADO.NET Entity Data Model ウィザードを実行するとEntity Model を作成できますが、このモデルファーストアプローチでは、データソースに変更があった場合やエンティティ操作をより制御したい場合は不都合があります。この記事では、CData ADO.NET Provider を使いコードファーストアプローチでHDFS にアクセスします。

1. Visual Studio を起動し、新しいWindows Form アプリケーションを作成します。ここでは、.NET 4.5 のC# プロジェクトを使います。
2. Visual Studio の ［パッケージ マネージャー コンソール］から'Install-Package EntityFramework' コマンドを実行し、最新のEntity Framework をインストールします。
3. プロジェクトのApp.config ファイルを修正して、HDFS Entity Framework 6 アセンブリおよびコネクションストリングへの参照を追加します。

   HDFS 接続プロパティの取得・設定方法

   HDFS への認証には、次の接続プロパティを設定します。

   • Host：HDFS インスタンスのホストに設定。
   • Port：HDFS インスタンスのポートに設定。デフォルトのポートは"9870" です。

   
   <configuration>
      ... <connectionStrings>
       <add name="HDFSContext" connectionString="Offline=False;Host=sandbox-hdp.hortonworks.com;Port=50070;Path=/user/root;User=root;" providerName="System.Data.CData.HDFS" />
     </connectionStrings>
     <entityFramework>
       <providers>
          ... <provider invariantName="System.Data.CData.HDFS" type="System.Data.CData.HDFS.HDFSProviderServices, System.Data.CData.HDFS.Entities.EF6" />
       </providers>
     <entityFramework>
   </configuration>
   </code>
   

4. インストールディレクトリの［lib］ > 4.0 サブフォルダにあるSystem.Data.CData.HDFS.Entities.EF6.dll を設定し、プロジェクトを作成してEntity Framework 6 を使うためのセットアップを完了します。
5. この時点でプロジェクトを作成し、すべてが正しく動作していることを確認してください。これで、Entity Framework を使ってコーディングを開始できます。
6. プロジェクトに新しい.cs ファイルを追加し、そこにクラスを追加します。これがデータベースのコンテキストとなり、DbContext クラスを拡張します。この例では、クラス名はHDFSContext です。以下のサンプルコードは、OnModelCreating メソッドをオーバーライドして次の変更を加えます：
   • PluralizingTableNameConvention をModelBuilder Conventions から削除。
   • MigrationHistory テーブルへのリクエストを削除。

   
   using System.Data.Entity;
   using System.Data.Entity.Infrastructure;
   using System.Data.Entity.ModelConfiguration.Conventions;
   class HDFSContext :DbContext {
   	public HDFSContext() { }
   	protected override void OnModelCreating(DbModelBuilder modelBuilder) {  // To remove the requests to the Migration History table
   		Database.SetInitializer<HDFSContext>(null); // To remove the plural names modelBuilder.Conventions.Remove<PluralizingTableNameConvention>();
   	}
   }
   

7. もう一つ.cs ファイルを作成し、ファイル名を呼び出そうとしているHDFS のエンティティ、例えばFiles にします。このファイルでは、エンティティとエンティティ設定の両方を定義します。以下に例を示します。

   
   using System.Data.Entity.ModelConfiguration;
   using System.ComponentModel.DataAnnotations.Schema;
   public class Files {
   	[DatabaseGeneratedAttribute(DatabaseGeneratedOption.Identity)]
   	public System.String Id { get; set; }
   	public System.String FileId { get; set; }
   }
   public class FilesMap :EntityTypeConfiguration<Files> {
   	public FilesMap() {
   		this.ToTable("Files");
   		this.HasKey(Files => Files.Id);
   		this.Property(Files => Files.FileId);
   	}
   }
   

8. エンティティの作成が済んだので、コンテキストクラスにエンティティを追加します：

   
   public DbSet<Files> Files { set; get; }
   

9. コンテキストとエンティティの作成が完了したら、別クラスでデータをクエリできます。例：

   HDFSContext context = new HDFSContext();
   context.Configuration.UseDatabaseNullSemantics = true;
   var query = from line in context.Files select line;