Elasticsearch へLogstash 経由でAdobe Analytics のデータをロードする方法

加藤龍彦
加藤龍彦
デジタルマーケティング
全文検索サービスElasticsearch のETL モジュール「Logstash」とCData JDBC ドライバを使って、Adobe Analytics のデータを簡単にロードする方法をご紹介。

Elasticsearch は、人気の分散型全文検索エンジンです。データを一元的に格納することで、超高速検索や、関連性の細かな調整、パワフルな分析が大規模に、手軽に実行可能になります。Elasticsearch にはデータのローディングを行うパイプラインツール「Logstash」があります。CData Drivers を利用することができるので、30日の無償評価版をダウンロードしてあらゆるデータソースを簡単にElasticsearch に取り込んで検索・分析を行うことができます。

この記事では、CData Driver for AdobeAnalytics を使って、Adobe Analytics のデータをLogstash 経由でElasticsearch にロードする手順を説明します。

Elasticsearch Logstash でCData JDBC Driver for AdobeAnalytics を使用

  • CData JDBC Driver for AdobeAnalytics をLogstash が稼働するマシンにインストールします。
  • 以下のパスにJDBC Driver がインストールされます（2022J の部分はご利用される製品バージョンによって異なります）。後ほどこのパスを使います。この.jar ファイル（製品版の場合は.lic ファイルも）をLogstash に配置します。
    C:\Program Files\CData\CData JDBC Driver for AdobeAnalytics 2022J\lib\cdata.jdbc.adobeanalytics.jar
  • 次に、Logstash とCData JDBC ドライバをつなぐ、JDBC Input Plugin をインストールします。JDBC Plugin は最新のLogstash だとデフォルトでついてきますが、バージョンによっては追加する必要があります。
    https://www.elastic.co/guide/en/logstash/5.4/plugins-inputs-jdbc.html
  • CData JDBC ドライバの.jar ファイルと.lic ファイルを、Logstashの「/logstash-core/lib/jars/」に移動します。

Logstash でElasticsearch にAdobe Analytics のデータを送る

それでは、Logstash でElasticsearch にAdobe Analytics のデータの転送を行うための設定ファイルを作成していきます。

  • Logstash のデータ処理定義であるlogstash.conf ファイルにAdobe Analytics のデータを取得する処理を書きます。Input はJDBC、Output はElasticsearch にします。データローディングジョブの起動間隔は30秒に設定しています。
  • CData JDBC ドライバの.jar をjdbc driver ライブラリにして、クラス名を設定、Adobe Analytics への接続プロパティをJDBC URL の形でせっていします。JDBC URL ではほかにも詳細な設定を行うことができるので、細かくは製品ドキュメントをご覧ください。

    • Adobe Analytics への接続

    それでは、Adobe Analytics に接続していきましょう。接続するには、GlobalCompanyId およびRSID を識別する必要があります。デフォルトでは、ドライバーが会社とレポートスイートの識別を自動で試みますが、これらの値を明示的に指定することも可能です。詳しい手順については、 href="/kb/help/" target="_blank">ヘルプドキュメントの「Adobe Analytics への接続」セクションをご確認ください。

    Adobe Analytics への認証

    続いて、認証方法を設定しましょう。Adobe Analytics はOAuth 認証標準を利用しており、OAuth またはサービスアカウントで認証できます。

    ユーザーアカウント（OAuth）

    ユーザーアカウントでの認証では、すべてのフローでAuthScheme をOAuth に設定する必要があります。詳しい認証手順については、 href="/kb/help/" target="_blank">ヘルプドキュメントの「Adobe Analytics への認証」セクションをご参照ください。

    サービスアカウント

    サービスアカウントではサイレント認証が利用でき、ブラウザでのユーザー認証が不要です。このフローを使用するには、アプリケーションを作成する必要があります。アプリケーションの作成および認可については、ドキュメントの「カスタムOAuth アプリの作成」をご確認ください。これにより、サービスアカウントにアクセス権があるAdobe Analytics データに接続できるようになります。

    サービスアカウントを使用したServer-to-Server OAuth で認証するには、AuthScheme をOAuthClient に設定します。接続には以下のプロパティを設定してください。

    • InitiateOAuth：GETANDREFRESH に設定
    • OAuthClientId：アプリケーション設定のクライアントId に設定
    • OAuthClientSecret：アプリケーション設定のクライアントシークレットに設定

    接続すると、CData 製品がサービスアカウントでのOAuth フローを以下の手順で完了します。

    1. クライアントクレデンシャルOAuth フローで指定されたOAuthClientId およびOAuthClientSecret を使用して、アクセストークンを取得します
    2. OAuthSettingsLocation にOAuth 値を保存し、接続間で永続化されるようにします
    3. トークンが期限切れになった際に、新しいアクセストークンを要求します
                input {
                jdbc {
                    jdbc_driver_library => "../logstash-core/lib/jars/cdata.jdbc.adobeanalytics.jar"
                    jdbc_driver_class => "Java::cdata.jdbc.adobeanalytics.AdobeAnalyticsDriver"
                    jdbc_connection_string => "jdbc:adobeanalytics:GlobalCompanyId=myGlobalCompanyId; RSID=myRSID; OAuthClientId=myOauthClientId; OauthClientSecret=myOAuthClientSecret; CallbackURL=myCallbackURL;"
                    jdbc_user => ""
                    jdbc_password => ""
                    schedule => "*/30 * * * * *"
                    statement => "SELECT Page, PageViews FROM AdsReport WHERE City = 'Chapel Hill'"
                }
            }


            output {
                Elasticsearch {
                    index => "adobeanalytics_AdsReport"
                    document_id => "xxxx"
                }
            }

Logstash でAdobe Analytics のローディングを実行

それでは作成した「logstash.conf」ファイルを元にLogstash を実行してみます。 

        > logstash-7.8.0\bin\logstash -f logstash.conf

成功した旨のログが出ます。これでAdobe Analytics のデータがElasticsearch にロードされました。

例えばKibana で実際にElasticsearch に転送されたデータを見てみます。

        GET adobeanalytics_AdsReport/_search
        {
            "query": {
                "match_all": {}
            }
        }
Elasticsearch にロードされたAdobe Analytics のデータをクエリ

データがElasticsearch に格納されていることが確認できました。

Elasticsearch にロードされたAdobe Analytics のデータを確認

CData JDBC Driver for AdobeAnalytics をLogstash で使うことで、Adobe Analytics コネクタとして機能し、簡単にデータをElasticsearch にロードすることができました。ぜひ、30日の無償評価版をお試しください。

はじめる準備はできましたか？

Adobe Analytics Driver の無料トライアルをダウンロードしてお試しください：

 ダウンロード

詳細：

Adobe Analytics Icon Adobe Analytics JDBC Driver お問い合わせ

Adobe Analytics のMetrics、Users、Reports、Segments にデータ連携するJava アプリケーションを簡単に構築。

この記事の内容

関連記事