Japan 公式ブログ
Google の企業向けソリューションに関する公式な情報やユーザーの事例などを、いち早く皆さんにお届けします。
[GCP] Aerospike, Google Compute Engine 上の 50 ノードで 秒間 100 万の処理を。
2014年12月11日木曜日
今回のゲストブログは、Flash 向けに最適化されたオープンソースのインメモリ NoSQL データベース “Aerospike” を開発する、 Aerospike の Director of Product & Technology、Sunil Sayyaparaju 氏です。
Google のスピードは、どれほどのものなのか?
Aerospike
は、今後のクラウド アプリケーションの常識となるであろう、高いスループット、一貫して低いレイテンシー、 リアルタイムのデータ処理に挑戦し続けることを誇りとしてきました。それもあって、Google の Performance Engineering リードである Ivan Santa Maria Filho の "
Cassandra Hits One Million Writes Per Second on Google Compute Engine
(Cassandra が Google Compute Engine 上で秒間 100 万書き込みを記録)" を読んで、私たちも Google Compute Engine 上で Aerospike のパフォーマンスのベンチマークを測り、Google のスピードの限界に挑戦しようと思ったわけです。
結果は如何に? Aerospike は GCE 上で一貫して低いレイテンシーでスケールし、小さなクラスターしか必要なく、扱いも容易でした。Aerospike と Google Could Platform の組み合わせは、大量のデータをリアルタイムで処理しスケールさせることを前提とした、まったく新しいカテゴリーのアプリケーションを生みだすのではないでしょうか。以前なら経済的にも不可能だったビジネス モデルを持ったスタートアップ企業が出てくる可能性も見えてきます。
ベンチマークは、Cassandra のベンチマークと同様に構成しています。各 200 バイトからなる 1 億件のレコード、Debian 7 Backports、 サーバ用に 500GB 非 SSD 永続化ディスクで $0.504/hr の n1-standard-8 インスタンス、クライアント用に $0.32/hr の n1-highcpu-8 インスタンスを用意し、次の
手順
で実施しています。書き込み処理の検証に加え、読み込みのみ、読み書きの組み合わせでの検証も行っています。
読み込み、書き込み、ともに高いスループット
50 Aerospike サーバーで、秒間 100 万回の書き込み
10 Aerospike サーバーで、秒間 100 万回の読み込み
常に低いレイテンシー。読み書きの揺らぎもなし
書き込みのレイテンシーの中央値が 7ms、83% の書き込みが 16ms 未満、96% の書き込みが 32ms 未満で完了
読み込みのレイテンシーの中央値が 1ms、80% の読み込みが 4ms 未満、96.5% の読み込みが 16ms で完了
注: レイテンシーは、サーバーサイドで記録(クライアントサイドではさらに高くなると考えられる)
読み書きともに、圧倒的なコストパフォーマンス
秒間 100 万回の書き込みが、時間あたり $41.20
秒間 100 万回の読み込みが、時間あたり $11.44
Aerospike は、リアルタイム入札におけるセッションやユーザーの状況の保存、パーソナライゼーション、不正検知、そしてリアルタイム分析など様々な用途の先端で利用されるデータベースとして使われています。このようなアプリケーションは、クリックストリームからセンサーデータまで、数十億ものキーやテラバイト データの読み書きが求められます。Aerospike はデータを即時一貫性のために同期してインメモリーに複製し、非同期にディスクへ書き込みます。
GCE 上で Aerospike を使った実験の詳細を以下に示します。まずはサーバー用に 10 ノード、クライアント用に 20 ノードを使い、様々な読み書き比のスループットを調査し、それぞれのレイテンシーを記録し、同時に Aerospike のクラスターに対し、読み書き共に 100% の負荷をかけながら、2 ノードから 10 ノードまでのクラスターサイズによってどうスループットが変化するのかを記録していきました。
異なる読み書き比でも高スループット(サーバー: 10 ノード, クライアント: 20 ノード)
調査した読み書き比のなかでも、このグラフで示す TPS の 80 % は 50% のクライアント(10 ノード)で達成できています。さらにクライアントを追加してもスループットの向上はごく僅かでした。
ディスクの IOPS は、
サイズに依存
します。この実験では、高 IOPS を確保するために 500 GB 非 SSD の永続化ディスクを使い、ディスクがボトルネックにならないようにしています。より大きなクラスターには 500 GB は余計でありコストを考えて減らしても構いません。今回記録した高パフォーマンスには、さらに高い IOPS を得られる SSD 永続化ディスクを使う必要さえありませんでした。
異なる読み書き比での一貫した低いレイテンシー(サーバー: 10 ノード, クライアント: 20 ノード)
100% の読み込み負荷状態で、16ms 以上かかったのは全体の 3.5% にとどまり、4ms 以上かかったのも 20% 未満でした。Aerpspike での読み込みはクライアントから 1 ホップ(ネットワークの往復)であるためこのレイテンシーを達成できました。2 往復必要な書き込みでさえ、負荷 100% の時 32ms 以上かかったのは 16% の書き込みにとどまりました。Aerospike を動作させているノードでは、8 つある CPU コアの 7 つを使い動作させています。コアをひとつアイドルにさせておくのはレイテンシーのためです。全てのコアが busy 状態であるなら、ネットワークのレイテンシーは上昇してしまいますから (レイテンシーは、サーバーサイドでの記録です)。
読み書きともに、右肩上がりのスケーラビリティ
このグラフでは、100% の読み込みと100 % の書き込みそれぞれで、リニアにスケールしていく状況を示していますが、読み書きの負荷が変わっても同様だと考えられます。読み込みでは、サーバーとクライアントの比率は 1:2 としました。6 つのノードからなるクラスターに対して 12 クライアントという形です。書き込みでは、1:1 の構成としています。書き込み時の低いスループットではこれで十分だからです。
読み書きのデータ アクセスが混在する新世代のアプリケーションは、インターネットの中でウェブサイトやモバイル アプリでユーザーの動きを感知し応答する必要があります。このようなアプリケーションでは、クリックやスワイプ毎にデータを書き込み、判断、記録、応答をリアルタイムを行う必要があるのです。
今回の GCE で実行する Aerospike は、読み書きの両方で高スループットと一貫して低いレイテンシーが要件となるアプリケーションの例になったのではないでしょうか。たったの 50 サーバーで秒間 100 万回の書き込みを処理し、これまでにない費用対効果も備えています。皆さんも
このステップ
に添って実際に確かめてください、そして願わくば私たちに挑戦してください。
0 件のコメント :
コメントを投稿
Labels
#GoogleCloudSummit
#GoogleNext18
#GoogleNext19
77 min Lunch
add on
admin
Advanced Solutions Lab
AI
AI Hub
AI Platform
Android
Anthos
API
App Engine
App Maker
apps
Apps script
ASL
atmosphere
Atmosphere Tokyo
AutoML
AutoML Natural Language
AutoML Translation
bigquery
Box
Calendar
Case Study
Chorme OS
Chrome
Chrome Enterprise
Chrome Enterprise 導入事例
Chrome for Work
Chrome ウェブストア
chromebook
chromebooks
Chromebooks for Education
Chromebooks for meeting
Chromebooks for Work
Chromebox
Chromebox for digital signage
Chromebox for meetings
Chronicle
Cisco
Cloud
Cloud Armor
Cloud AutoML
Cloud AutoML Natural Language
Cloud AutoML Translation
Cloud AutoML Vision
cloud connect
Cloud Dataflow
Cloud Identity
Cloud IoT Core
Cloud Load Balancing
Cloud Memorystore for Redis
Cloud monitoring
Cloud OnAir
Cloud Pub/Sub
Cloud Ranking
Cloud Services Platform
Cloud Storage
Cloud TPU
compliance
compute engine
Contact Center AI
Container Engine
Coursera
Deloitte
developers
Dialogflow Enterprise Edition
Drive for Work
Dropbox
earth api
Education
enterprise
Enterprise Japan
event
Evernote
Expo
Firebase
FISC
Forrester
G Suite
G Suite Business
G Suite for Education
G Suite 事例
G Suite 導入事例
G+
gadget
GAE
GCE
GCP
GCP 導入事例
GCP 認定資格チャレンジ
GDPR
GEO
GEP
GfWtips
GKE
gmail
Gmail、新機能
Gone Google
GoneGoogle
Google App Engine
Google Apps
Google Apps Blog
Google Apps for Education
Google Apps for Work
Google Apps Script
Google Apps ユーザー事例
Google Apps 導入事例
Google atmosphere
Google calendar
Google calender
Google classroom
Google Cloud
Google Cloud Certification
Google Cloud Next '18 in Tokyo
Google Cloud Next '19 in Tokyo
google cloud platform
Google Cloud Search
Google Cloud Summit '18
Google Cloud 認定資格チャレンジ
Google Commerce Search
Google Derive
Google Docs
Google Docs API
google drive
Google Drive for Work
Google Earth
google enterprise
Google Enterprise Day
Google for Education
Google for Work
Google form
Google hang-out
Google hung-out
google map
Google maps
google maps api
google maps api premier
Google Maps APIs
Google Maps for Work
Google Maps Platform
Google Message Continuity
google search appliance
Google Shopping
Google Sites
Google Springboard
Google Storage for Developers
Google Video
Google Wave
Google スライド
Google ドキュメント
Google ドライブ
Google フォーム
Google マップ
Google+
GoogleApps
GoogleApps、新機能、spreadsheets
groups
gsa
Hangouts Meet
healthcare
Hybrid Cloud Platform for Google Cloud
Inbox
INSIDE
iOS
iphone
ISAE 3402 Type II
ISO 27018
IT
Jamboard
japan
Kubeflow Pipelines
Looker
Lotus Notes
Machine learning
map
maps api
Maps 導入事例
Maps-sensei
Mapsコーナー
media
microsoft office
migration
mobile
new features
Next
Next Tokyo
OAuth
Office 365
Office of the CTO
Osaka
partner
Partner Interconnect
partner program
Partner Summit
postini
pricing
Qwiklabs
region
research
RSA
SAP
SAS70
search
Security
Security Key
seminar
Shizuoka
Signage
Sites
SMB
SSAE 16 Type II
startup
Status Dashboard
TensorFlow
Trial
Upload any files
vault
Veolia
Viacom
Virtual Conference
VMware
あっぷす先生
あっぷす先生 誤解をとく!
あっぷす先生会社訪問
イベント
インフラストラクチャ
おしえて!あっぷす先生
おしえて!くらうど先生
オフライン
クラウド
くらうど先生
サイネージ
サポート
セキュリティ
チームドライブ
チェンジマネジメント
デジタル トランスフォーメーション
テレワーク
パートナー
ハングアウト
プライバシー
まっぷす先生
ランキング
リージョン
ワークインサイト
円周率
海底ケーブル
企業検索
機械学習
互換性
事例
小売
新機能
働き方
認定資格
Archive
2019
8月
7月
6月
5月
4月
3月
2月
1月
2018
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2017
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2016
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2015
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2014
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2013
12月
11月
10月
9月
7月
6月
5月
4月
3月
1月
2012
12月
11月
10月
9月
8月
7月
6月
5月
4月
2月
2011
12月
10月
9月
8月
7月
5月
4月
2月
2010
12月
11月
10月
9月
7月
6月
5月
3月
2月
1月
2009
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
1月
2008
12月
11月
10月
9月
8月
7月
6月
5月
4月
3月
2月
2007
12月
Feed
Follow @googlecloud_jp
Useful Links
G Suite
Google Cloud Platform
Google 検索アプライアンス
Google Maps
G Suite 公式アップデート情報
0 件のコメント :
コメントを投稿