Google Cloud Japan 公式ブログ: [GCP] Elasticsearch を Click to Deploy を使って Google Compute Engine にデプロイ

[GCP] Elasticsearch を Click to Deploy を使って Google Compute Engine にデプロイ

2015年2月5日木曜日

Elasticsearchのダウンロード数は、ここ数年で 1,000 万件を超えているそうです。それだけ大量データの検索や分析のニーズが増えているというわけですね。GitHub は、20 億の文書のインデックスを作成し（文章は絶えず編集されています）、サイト検索に利用しています。SoundCloud の 4,000 万ユーザーは、テキスト検索を主にナビゲーションとして使っています。

国内でも、kuromoji を形態素解析に使うといった、日本語全文検索を向上するための情報が数多くあり、導入が容易になってきましたし、実際にサービスで使われている話も耳にするようになってきました。昨年末の Qiita の Elasticsearch Advent Calendar もまだ記憶に新しいところです。

その Advent Calendar の中で、Elasticsearch クラスタを Google Compute Engine を使い 10 分で立ち上げる、という投稿がありましたが（GCE の入門として書かれたものです）、今日紹介する Click to Deploy for Elasticsearch は、もっと速く、デプロイ先のゾーン、ノード数やマシンタイプ、インストールオプションだとかの設定を済ませてクリックすればデプロイ完了です。

elasticsearch-analysis-kuromojiなどは含まれていないので、必要なときは、デプロイ完了後に、Google Developers Console、または gcloud コマンドで SSH アクセスして足りないものを導入してください。

さて、Elasticsearch の情報は数多くあるので、ここでは Click to deploy for Elasticsearch について、デプロイ処理の中心となる Google Cloud Deployment Manager を中心に見ていきます。

Google Cloud Deployment Manager は、デプロイ時に必要な全てのリソースが記載されたテンプレートと、Elasticsearch のデプロイに必要な固有の処理が書かれたシェルスクリプトを使ってデプロイを行います。これらの設定は、YAML ファイルに記載され、一部の定型的な、再利用可能なリソースの一覧は Jinja か Python で書かれたテンプレートファイルとして作成し、設定ファイルからインクルードする形で利用します。テンプレートでは、パラメーターが利用できるというメリットがあり、例えば Click to deploy のデプロイ前の設定のような場面なら、動的に値を設定したいときに利用できます。できた設定は、Google Cloud Deployment Manager でデプロイできます。

Google Cloud Deployment Manager は、まだアルファであるため、一部の方にしか利用できません。今後ベータ段階に進んだとき、あらためてお伝えできると思います。実際に Click to deploy for Elasticsearch のデプロイ処理は、以下のステップで行われています（OS は Debian 7 Linux です）：

事前に必要なソフトウェアとして、OpenJDK 1.7 をダウンロードし、インストール

Elasticsearch をダウンロード、そしてインストール

このとき利用したソースコードは、/usr/src に移動

データディスクを作成し、/elasticsearch にマウント

事前に設定した、あるいはデフォルトのクラスター名と、そのノードが動くインスタンスの IP アドレスで各 Elasticsearch ノードを設定

Elasticsearch のパフォーマンスのために、決められたパラメータに値を設定

Marvel をダウンロードし、インストール後に設定変更（デプロイ前の設定で、Marvel のインストールが true であるなら）

このように Elasticsearch がデプロイされ、テキスト検索、Logstash を使ったログの処理と分析、Kibana を使ったデータビジュアライゼーションがすぐに利用可能になります。この 3 つのオープンソースプロジェクト、Elasticsearch、Logstash、Kibana は、Elasticsearch 社のサポートもあって、密接にインテグレーションされていることから、ELK スタックと呼ばれています。

Click to Deploy for Elasticsearch の、Elasticsearch からの発表は、Elasticsearch on Google Compute Engine（英）の中で行われています。サポート、トレーニング、商用プラグインが必要なときは、ここから Elasticsearch にお問い合わください。