포스트

Book review - 가상 면접 사례로 배우는 대규모 시스템 기초 (2장 개략적인 규모 추정)

Book review - 가상 면접 사례로 배우는 대규모 시스템 기초 (2장 개략적인 규모 추정)

2장 개략적인 규모 추정

어떤 설계가 요구사항에 부합할 것인지 알아보기 위해 수행

개략적인 규모 추정을 효과적으로 해 내려면 규모 확장성을 표현하는데 필요한 기본기에 익숙할것

  • 2의 제곱수나 응답 지연값(latency)
  • 가용성에 관계된 수치들

2의 제곱수

데이터의 양이 엄청나게 커져도 계산법은 기본을 크게 벗어나지 않음.

자주 쓰이는 데이터 볼륨 단위를 알고 있어야함.

2의 x 제곱근사치이름축약형
101천(thousand)1킬로바이트(Kilobyte)1KB
201백만(million)1메가바이트(Megabyte)1MB
3010억(billion)1기가바이트(Gigabyte)1GB
401조(trillion)1테라바이트(Terabyte)1TB
501000조(quadrillion)1페타바이트(Petabyte)1PB

모든 프로그래머가 알아야 하는 응답지연 값

제프 딘이 2010년에 통상적인 컴퓨터에서 구현된 연산들의 응답 지연값

연산명시간
L1 캐시 참조0.5ns
분기 예측 오류5ns
L2 캐시 참조7ns
뮤텍스(락/언락)100ns
주 메모리 참조100ns
Zippy로 1KB 압축10,000 = 10us
1 Gbps 네트워크로 2KB 전송20,000 = 10us
메모리에서 1MB 순차적으로 read250,000ns = 250us
같은 데이터 센터 내에서의 메세지 왕복 지연시간500,00ns = 500us
SSD에서 seek80000ns = 0.08ms
디스크탐색10,000,000ns = 10ms
네트워크에서 1MB 순차적으로 read10,000,000ns = 10ms
디스크에서 1MB 순차적으로 read30,000,000ns = 30ms
한 패킷의 CA(캘리포니아)로 부터 네델란드까지의 왕복 지연시간150,000,000ns = 150ms
  • 메모리는 빠르지만 디스크는 아직도 느리다(물론 SSD는 더 빠르지만 - 제 생각)
  • 디스크 탐색(seek)는 가능한 한 피하라.
  • 단순한 압축 알고리즘은 빠르다.
  • 데이터를 인터넷으로 전송하기 전에 가능하면 압축하라.
  • 데이터 센터는 분산되어있기 마련이며, 센터간에는 데이터 송수신에 시간이 걸린다.

가용성에 관계된 수치들

고가용성(high availability) - 시스템이 오랜 시간동안 지속적으로 중단 없이 운영될 수 있는 능력.

  • 고가용성 표현은 %
  • 100%는 단 한번도 중단된 적이 없음을 의미
  • 대부분의 서비스는 99%에서 100% 사이의 값을 가짐

SLA(Service Level Agreement) - 서비스 사압자와 고객 사이에 맺어진 합의

  • 서비스 사업자가 제공하는 서비스의 가용시간(uptime)이 공식적으로 기술
  • 아마존, 구글, 마이크로소프트는 99%이상의 SLA를 제공
  • 가용시간은 관습적으로 9로 표기
  • 9가 많으면 많을수록 좋음.
가용율하루당 장애시간주당 장애시간개월당 장애시간연간 장애시간
99%14.40분1.68시간7.31시간3.65일
99.9%1.44분10.08분43.83분8.77시간
99.99%8.64분1.01분4.38분52.60분
99.999%864.00밀리초6.05분26.30초5.26분
99.9999%86.40밀리초604.80밀리초2.63초31.56초

예제 : 트위터 QPS와 저장소 요구량 추정

트위터의 실제 성능과 요구사항과는 관계 없음

가정

  • 월간 능동 사용자(MAU - Monthly Active User)는 3억(300million) 명
  • 50%의 사용자가 트위터를 매일 사용
  • 평균적으로 각 사용자는 매일 2건의 트윗을 올린다
  • 미디어를 포함하는 트윗은 100% 정도다
  • 데이터는 5년간 보관된다.

추정

QPS(Query Per Second) 추정치

  • 일간 능동 사용자(Daily Active User) = 3억 * 50% = 1.5억(150million)
  • QPS = 1.5억 * 2 트윗 / 24시간 / 3600초 = 약 3500
  • 최대 QPS(Peek QPS) = 2 * QPS = 약 7000

미디어 저장을 위한 저장소 요구량

  • 평균 트윗 크기
    • tweet_id에 64바이트
    • 텍스트에 140바이트
    • 미디어에 1MB
  • 미디어 저장소 요구량 : 1.5억 _ 2 _ 10% * 1MB = 30TB / 일
  • 5년간 미디어를 보관하기 위한 자장소 요구량 : 30TB _ 365 _ 5 = 약 55TB

팁

개략적인 규모 추정과 관계된 면접에서 가장 중요한 것은 문제를 풀어나가는 절차.

결과보다 올바른 절차를 밟는것이 더 중요

면접자가 보고싶어 하는 것은 문제 해결 능력.

근사치를 활용한 계산

  • 계산 결과의 정확성을 보는것이 목적이 아님
  • 적절한 근사치를 활용. 99987 / 9.01 → 100,000 / 10로 간소화
  • 가정은 기록해두고 나중에 살펴 볼 수 있도록 할 것.
  • 단위(unit)를 붙일것. 5로만 적으면 KB인지 MB인지 알수 없음.
  • 많이 출제되는 개략적인 규모 추정문제는 QPS, 최대 QPS, 저장소 요구량, 캐시 요구량, 서버 수 등을 추정
이 기사는 저작권자의 CC BY 4.0 라이센스를 따릅니다.