GCPストレージ概観

GCP で使えるローカルストレージと NFS ストレージを一通り試してみました。
AWS 編はこちら

About

ベンチマークは fio コマンドで取得した。
機械学習のワークロードで扱う機会が多い、CSV のような小さめのテキストファイルとマルチメディアファイルを想定して 4k と 32m のデータで測定した。

なお、ストレージタイプごとの傾向をざっくりと知りたかったので性能を引き出すような設定や調整は行なっていない。
また以下の理由で IaaS のストレージを厳密に測定してもあまり意味はないと考えている。

  • IaaS のリソースはシェアされているので他のユーザー(テナント)の影響を受ける
  • 非公開な仕様が特に告知なく更新される(バス幅や各種ストレージの物理仕様など)

試したストレージは以下。
Local SSDは存在を忘れていて試していない。。

Results

以下の通り Terraform による IaC で provisioning した。
https://github.com/mazgi/terraform-google-simple-vpc/tree/v2019.06.1/examples/multiple-volumes

結果はこちら。
https://gist.github.com/mazgi/21f85139e50fbce8e508adc0c4985f4f

結果をテーブルにまとめた。

Persistent disks

SSD が思ったより早くない。
Standard(HDD)は個人的には使えるシチュエーションがかなり限られそう。。

type r/w rand/seq IOPS 4k ,32m BW/s 4k ,32m
PD (standard) r rand 205 3 822KiB 116MiB
PD (standard) w rand 1537 2 6152KiB 71.4MiB
PD (standard) r seq 4907 3 19.2MiB 116MiB
PD (standard) w seq 2503 2 9.78MiB 71.5MiB
PD (ssd) r rand 3521 7 13.8MiB 242MiB
PD (ssd) w rand 2666 2 10.4MiB 71.2MiB
PD (ssd) r seq 4579 7 17.9MiB 242MiB
PD (ssd) w seq 2808 2 10.0MiB 71.5MiB

Cloud Filestore

おかしい、ローカルストレージ(PD)より明らかに早い。
キャッシュか何かの設定を誤ったのだろうか、あるいはネットワークの先に何か得体の知れないものが存在している?

type r/w rand/seq IOPS 4k ,32m BW/s 4k ,32m
Filestore (standard) r rand 15.9k 42 62.1MiB 1362MiB
Filestore (standard) w rand 918 3 3673KiB 107MiB
Filestore (standard) r seq 16.2k 42 63.4MiB 1352MiB
Filestore (standard) w seq 931 5 3725KiB 170MiB
Filestore (premium) r rand 14.1k 49 54.9MiB 1575MiB
Filestore (premium) w rand 820 5 3283KiB 167MiB
Filestore (premium) r seq 13.6k 57 53.1MiB 1843MiB
Filestore (premium) w seq 841 6 3366KiB 199MiB

That’s all

雑に試したら頭抱える結果になったので改めてちゃんと測ります。

今回のベンチマークは「インターネットや AI を活用し、世の中にデライトを届けていく」dena.aiの提供で実行させていただきました。感謝 🙏