Book review - 가상 면접 사례로 배우는 대규모 시스템 기초 (2장 개략적인 규모 추정)

2장 개략적인 규모 추정

어떤 설계가 요구사항에 부합할 것인지 알아보기 위해 수행

개략적인 규모 추정을 효과적으로 해 내려면 규모 확장성을 표현하는데 필요한 기본기에 익숙할것

• 2의 제곱수나 응답 지연값(latency)
• 가용성에 관계된 수치들

2의 제곱수

데이터의 양이 엄청나게 커져도 계산법은 기본을 크게 벗어나지 않음.

자주 쓰이는 데이터 볼륨 단위를 알고 있어야함.

2의 x 제곱	근사치	이름	축약형
10	1천(thousand)	1킬로바이트(Kilobyte)	1KB
20	1백만(million)	1메가바이트(Megabyte)	1MB
30	10억(billion)	1기가바이트(Gigabyte)	1GB
40	1조(trillion)	1테라바이트(Terabyte)	1TB
50	1000조(quadrillion)	1페타바이트(Petabyte)	1PB

모든 프로그래머가 알아야 하는 응답지연 값

제프 딘이 2010년에 통상적인 컴퓨터에서 구현된 연산들의 응답 지연값

연산명	시간
L1 캐시 참조	0.5ns
분기 예측 오류	5ns
L2 캐시 참조	7ns
뮤텍스(락/언락)	100ns
주 메모리 참조	100ns
Zippy로 1KB 압축	10,000 = 10us
1 Gbps 네트워크로 2KB 전송	20,000 = 10us
메모리에서 1MB 순차적으로 read	250,000ns = 250us
같은 데이터 센터 내에서의 메세지 왕복 지연시간	500,00ns = 500us
SSD에서 seek	80000ns = 0.08ms
디스크탐색	10,000,000ns = 10ms
네트워크에서 1MB 순차적으로 read	10,000,000ns = 10ms
디스크에서 1MB 순차적으로 read	30,000,000ns = 30ms
한 패킷의 CA(캘리포니아)로 부터 네델란드까지의 왕복 지연시간	150,000,000ns = 150ms

• 메모리는 빠르지만 디스크는 아직도 느리다(물론 SSD는 더 빠르지만 - 제 생각)
• 디스크 탐색(seek)는 가능한 한 피하라.
• 단순한 압축 알고리즘은 빠르다.
• 데이터를 인터넷으로 전송하기 전에 가능하면 압축하라.
• 데이터 센터는 분산되어있기 마련이며, 센터간에는 데이터 송수신에 시간이 걸린다.

가용성에 관계된 수치들

고가용성(high availability) - 시스템이 오랜 시간동안 지속적으로 중단 없이 운영될 수 있는 능력.

• 고가용성 표현은 %
• 100%는 단 한번도 중단된 적이 없음을 의미
• 대부분의 서비스는 99%에서 100% 사이의 값을 가짐

SLA(Service Level Agreement) - 서비스 사압자와 고객 사이에 맺어진 합의

• 서비스 사업자가 제공하는 서비스의 가용시간(uptime)이 공식적으로 기술
• 아마존, 구글, 마이크로소프트는 99%이상의 SLA를 제공
• 가용시간은 관습적으로 9로 표기
• 9가 많으면 많을수록 좋음.

가용율	하루당 장애시간	주당 장애시간	개월당 장애시간	연간 장애시간
99%	14.40분	1.68시간	7.31시간	3.65일
99.9%	1.44분	10.08분	43.83분	8.77시간
99.99%	8.64분	1.01분	4.38분	52.60분
99.999%	864.00밀리초	6.05분	26.30초	5.26분
99.9999%	86.40밀리초	604.80밀리초	2.63초	31.56초

예제 : 트위터 QPS와 저장소 요구량 추정

트위터의 실제 성능과 요구사항과는 관계 없음

가정

• 월간 능동 사용자(MAU - Monthly Active User)는 3억(300million) 명
• 50%의 사용자가 트위터를 매일 사용
• 평균적으로 각 사용자는 매일 2건의 트윗을 올린다
• 미디어를 포함하는 트윗은 100% 정도다
• 데이터는 5년간 보관된다.

추정

QPS(Query Per Second) 추정치

• 일간 능동 사용자(Daily Active User) = 3억 * 50% = 1.5억(150million)
• QPS = 1.5억 * 2 트윗 / 24시간 / 3600초 = 약 3500
• 최대 QPS(Peek QPS) = 2 * QPS = 약 7000

미디어 저장을 위한 저장소 요구량

• 평균 트윗 크기
  • tweet_id에 64바이트
  • 텍스트에 140바이트
  • 미디어에 1MB
• 미디어 저장소 요구량 : 1.5억 _ 2 _ 10% * 1MB = 30TB / 일
• 5년간 미디어를 보관하기 위한 자장소 요구량 : 30TB _ 365 _ 5 = 약 55TB

팁

개략적인 규모 추정과 관계된 면접에서 가장 중요한 것은 문제를 풀어나가는 절차.

결과보다 올바른 절차를 밟는것이 더 중요

면접자가 보고싶어 하는 것은 문제 해결 능력.

근사치를 활용한 계산

• 계산 결과의 정확성을 보는것이 목적이 아님
• 적절한 근사치를 활용. 99987 / 9.01 → 100,000 / 10로 간소화
• 가정은 기록해두고 나중에 살펴 볼 수 있도록 할 것.
• 단위(unit)를 붙일것. 5로만 적으면 KB인지 MB인지 알수 없음.
• 많이 출제되는 개략적인 규모 추정문제는 QPS, 최대 QPS, 저장소 요구량, 캐시 요구량, 서버 수 등을 추정