Cycloudのストレージ紹介と歴史

Cycloudの
ストレージ紹介と歴史
2023/06/07
知念洋樹
1

アジェンダ 1. DCを中心にCycloudを紹介
2. メインリージョンのストレージを紹介
3. プライベートクラウドのストレージ変化
4. 今後のプライベートクラウドストレージ
5. さいごに
2

知念洋樹 Hiroki Chinen
● 担当：HW・Storageの選定、構築、運用
○ PureStorageの管理人
○ DCチームリーダー
● 人生の目標
○ 世界を股に掛けるエンジニアになる
● 趣味
○ ドライブ
○ アマチュア無線(JJ1PZY)、BCL
● 一言
○ 電波の話しできる方いらっしゃいますか？
○ 痩せたい(目標: -15kg)
○ 新しい車物色中
3
自己紹介

1 ｜ DCを中心にCycloudを紹介
4

Cycloud とは
CAグループに対して提供しているサービスの総称
● プライベートクラウド
● オブジェクトストレージ
● マネージドKubernetes
● マネージドDB
● GPU as a Service
● etc…
5

CycloudのDCの数
Computeリージョン GPUリージョン NWリージョン
3 1 2
6

CycloudのDC規模
Computeリージョン GPUリージョン NWリージョン
3 1 2
vCPU: 60k core+
Storage: 1.7PB+
Rack: 100+
GPU: 170+
Rack: 9
Capacity: 180Gbps
AS24284
7

2 ｜メインリージョンのストレージを紹介
8

メインリージョンの紹介
2017年オープン
Region名: TKY02
vCPU: 30k Core
Storage: 1PB
Rack: 17
9

メインリージョンの紹介 -コンセプト-
Diskless Hypervisorを導入しストレージを集約
広帯域 50GbE(2x 25GbE)でHypervisorを接続
10

メインリージョンの紹介 -ストレージ-
適材適所で利用してもらうため4種類のタイプを用意
● VMのRootボリューム用 (Cinder-Boot)
● 冗長あり多目的用 (Cinder-Ceph)
● 冗長なし超高速IO用 (Cinder-Single)
● 冗長有りコールドデータ用 (Cinder-Archive)
11

3 ｜プライベートクラウドのストレージ変化
12

プライベートクラウドの歴史
本格的にプライベートクラウドを作ってきて3世代目
TKY00
(2011〜2020)
TKY01
(2014〜)
TKY02
(2017〜)
13

プライベートクラウドの歴史 -TKY00-
VMのDiskイメージ
● Hypervisorの腹持ちHDD
(4x 600GB HDD RAID10)
● インスタンスサイズによる固定サイズ
Additionalディスク
● Ameba EBS (永久Beta, VMと直接iSCSI接続, HAあり)
オブジェクトストレージ
● OpenStack Swiftを無料で提供 (3TB HDD Array)
14

問題点
● Hypervisorの故障 == VMデータロスト
● 必要な計算リソースとデータ容量のミスマッチ
● HDD故障による交換頻度が多い
● 高IOPS要件に耐えられない
良い点
● シンプルな構成のため故障範囲の特定が容易
● ストレージ障害時の影響範囲が小さい
15

● Hypervisorの腹持ちHDD
(4x 1.2TB HDD/SSD RAID10)
● インスタンスサイズによる固定サイズ
● Cinder-hdd (35x 3TB RAID6, LVMで分割して提供, 冗長有り)
● Cinder-ssd (1.6TB NVMe, LVMで分割して提供, 冗長なし)
● なし
16

問題点
● Hypervisorの故障 == VMデータロスト
● 必要な計算リソースとデータ容量のミスマッチ
● HDD故障による交換頻度が多い
● SSDの故障 == データロスト
● 共有ストレージ障害時の影響範囲が大きい
良い点
● シンプルな構成のため故障範囲の特定が容易
17

● Cinder-boot (PureStorageをAvtiveClusterで利用)
● サイズ：21GB〜75GB
● Cinder-single (3.2TB NVMe, LVMで分割して提供, 冗長なし)
● Cinder-ceph (3.2TB NVMe, Ceph RBD, 冗長あり)
● Cinder-archive (12x 10TB RAID5, LVMで分割して提供, 冗長有り)
● Cephを利用
18

問題点
● SSDの故障 == データロスト
● 共有ストレージ障害時の影響範囲が大きい
良い点
● hypervisorが故障してもVMロストしない
● hypervisorが故障しづらくなった
19

4 ｜今後のプライベートクラウドストレージ
20

今後のプライベートクラウドストレージ
考慮すべき箇所の変化
21
いままで
● VMベース
● OpenStack Cinder
Driverの利用
これから
● Containerベース
● Kubernetes CSI Driver
の利用

23
さいごに
● 質問等ありましたら、いつでもお声がけください！
● 一緒に働く仲間はいつでも募集中です！
● 最後まで楽しまれてください！！

Cycloudのストレージ紹介と歴史

More Related Content

What's hot

Cycloudのストレージ紹介と歴史