2. 개략적인 규모 추정

개략적인 규모 추정(back-of-the-envelope estimation)은 보편적으로 통용되는 성능 수치상에서 사고 실험(thought experiments)을 행하여 추정치를 계산하는 행위로서, 어떤 설계가 요구사항에 부합할 것인지 보기 위한 것이다.

2의 제곱수

분산 시스템에서 다루는 데이터 양은 매우 커질 수 있으나 계산법은 기본을 크게 벗어나지 않는다.

제데로 된 계산 결과를 얻으려면 데이터 볼륨의 단위를 2의 제곱수로 표현하면 어떻게 되는지를 알아야한다.

2의 x 제곱	근사치	이름	축약형
10	1천	1킬로바이트	1KB
20	1백만	1메가바이트	1MB
30	10억	1기가바이트	1GB
40	1조	1테라바이트	1TB
50	1000조	1페타바이트	1PB

구글의 제프 딘은 2010년에 통상적인 컴퓨터에서 구현된 연산들의 응답지연 값을 공개한 바 있다.

컴퓨터의 성능이 더 좋아지며 유효하진 않지만, 연산의 처리 속도가 어느정도인지 가늠해볼 수는 있다.

연산명	시간
L1 캐시 참조	0.5ns
분기 예측 오류(branch mispredict)	5ns
L2 캐시 참조	7ns
뮤텍스 락/언락	100ns
주 메모리 참조	100ns
Zippy로 1 KB 압축	10,000ns = 10µs
1 Gbps 네트워크로 2 KB 전송	20,000ns = 20µs
메모리에서 1 MB 순차적으로 read	250,000ns = 250µs
같은 데이터 센터 내에서의 메시지 왕복 지연 시간	500,000ns = 500µs
디스크 탐색(seek)	10,000,000ns = 10ms
네트워크에서 1 MB 순차적으로 read	10,000,000ns = 10ms
디스크에서 1 MB 순차적으로 read	30,000,000ns = 30ms
한 패킷의 캘리포니아로부터 네덜란드까지의 왕복 지연 시간	150,000,000ns = 150ms

한 구글 엔지니어가 딘 박사가 나열한 수들을 시각화하였고, 최근 기술 동향(2020)이 반영되어있다.

이 수치들을 분석하면 다음과 같은 결론이 나온다.

고가용성(high availability)은 시스템이 오랜 시간 동안 지속적으로 중단 없이 운영될 수 있는 능력을 지칭하는 용어다.

고가용성을 표현하는 값은 퍼센트로 표현하는데, 100%는 시스템이 단 한 번도 중단된 적이 없었음을 의미하며, 대부분의 서비스는 99%에서 100% 사이의 값을 갖는다.

SLA(Service Level Agreement)는 서비스 사업자(service provider)가 보편적으로 사용하는 용어로, 서비스 사업자와 고객 사이에 맺어진 합의를 의미한다.

이 합의에는 서비스 사업자가 제공하는 서비스의 가용시간(uptime)이 공식적으로 기술되어 있다.

가용시간은 관습적으로 숫자 9를 사용해 표시하며, 9가 많을수록 좋다.

가용률	하루당 장애시간	주당 장애시간	개월당 장애시간	연간 장애시간
99%	14.40분	1.68시간	7.31시간	3.65일
99.9%	1.44분	10.08분	43.83분	8,77시간
99.99%	8.64초	1.01분	4.38분	52.60분
99.999%	864.00밀리초	6.05초	26.30	5.26분
99.9999	86.40밀리초	604.80밀리초	2.63초	31.56초

가정

추정

QPS(Query Per Second) 추정치
- 일간 능동 사용자(Daily Active User, DAU) = 3억 * 0.5 = 1.5억
- QPS = 1.5억 * 2트윗 / 24시간 / 3600초 = 약 3500
- 최대 QPS(Peek QPS) = 2 * QPS = 약 7000
미디어 저장을 위한 저장소 요구량
- 평균 트윗 크기
  - tweet_id에 64바이트
  - 텍스트에 140바이트
  - 미디어에 1MB
- 미디어 저정소 요구량 = 1.5억 * 2 * 0.1 * 1MB = 30TB/일
- 5년간 미디어를 보관하기 위한 저장소 요구량: 30TB * 365 * 5 = 약 55PB

개략적인 규모 추정과 관계된 면접에서 가장 중요한 것은 문제를 풀어 나가는 절차다.

올바른 절차를 밟느냐가 결과를 내는 것보다 중요하다.