목차
새해 0시의 트래픽을 기다리는 LINE의 원격 공격대 (2022-01)
원문 정보
- 원문: LINE의 2022년 신년 대응: 리모트 환경에서 트래픽 폭증에 대비하기
- 매체 · 게시일: LINE Engineering 블로그 · 2022-01-25
- 저자: 권용찬 (LINE Plus 서비스 엔지니어링 팀)
- 원문 내용을 바탕으로 재구성한 요약입니다. 원문은 기술 내용과 함께 필자의 경험담이 섞인 글이며, 이 요약은 기술·운영 부분을 중심으로 정리했습니다.
인사가 트래픽으로 바뀌는 0시
준비가 충분했다면 새해 00시 00분에는 그다지 할 일이 없습니다. 몰려오는 트래픽을 예상대로 처리하는지 지켜볼 뿐입니다. LINE의 신년 대응은 그 순간을 위해 약 3개월을 준비하는 일이었습니다. 2022년 새해에는 피크 기준 414,382 msg/sec, 1초에 41만 4천여 개의 인사를 전달했습니다. 내부 통계상 하루 평균 메시지 전송량은 대략 42억 건입니다.
누군가에게 마음을 전하는 인사도 단말기를 떠나 통신사와 해저 인터넷망을 거쳐 서버에 도착하면 트래픽이 됩니다. 엔지니어는 이 감성을 수치로 바꿔야 합니다. 국가별 0시에 출발할 메시지를 예상하고 네트워크는 bps와 pps, 서버 요청은 RPS와 TPS, 이용 규모는 동시 사용자와 UV로 살핍니다. 메신저 회사인 LINE에서는 초당 메시지 전달 건수인 msg/sec도 사용합니다. 이 숫자들이 네트워크 용량과 서버 수량, 처리할 최대 요청량을 정하는 근거입니다.
과거의 기록으로 정하는 서버 수량
증설 비용의 근거가 되는 지표
서버를 늘리려면 비용을 설명할 근거가 있어야 합니다. 가장 좋은 참고 자료는 과거에 쌓인 데이터입니다. 예를 들어 지난해 웹 서버 한 대에 최대 100명이 동시 접속했다는 기록이 있다면, 올해 몇 명을 처리하도록 서버를 늘릴지 판단하는 데 쓸 수 있습니다. 참고할 수치가 없다면 BMT(benchmark test)로 가상 또는 실제 부하를 주어 최대 처리량을 구합니다.
증가 추이도 함께 봅니다. 10년간 신년이나 이벤트의 최대 사용자 수를 모아 뒀다면 연간 증가율을 구하고, 서버당 처리량과 조합해 필요한 수량을 계산할 수 있습니다. 이는 산정 방법을 설명하기 위한 예시입니다. 실제 예측도 대부분 4칙연산과 이동 평균, 추이를 사용하며, 이런 추정이 대부분 잘 맞는 편이라는 것이 담당자의 설명입니다.
오래 비교할 수 있는 항목이어야 합니다. 매번 바뀌거나 장기적인 추이를 살피기에 적합하지 않은 지표를 고르면 해마다 자원을 산정하기 어려워집니다. CPU 사용량과 기능 동작 건수, 월간 활성 사용자(MAU)는 쓰임이 다릅니다. MAU는 사업 전략을 세우는 데, TPS와 bps는 장비 수량과 네트워크 대역폭을 정하는 데 쓰입니다. LINE은 자체 모니터링 시스템 imon과 Grafana, Kibana로 지표를 살피고, Hive에 쌓인 운영 로그에서 수치를 추출해 매년 리뷰 미팅에 남겼습니다.
예측을 넘는 요청 앞의 서킷 브레이커
각 서비스 팀은 부하를 측정하고 연말 증가폭을 예상해 물리 서버를 준비합니다. 메시징 서비스 최전방의 프런트엔드는 약 1천여 대로, 2021년 11월 기준 약 1억 8천9백만 MAU를 처리했습니다. 서버가 계속 늘기만 하는 것은 아닙니다. 서비스 그룹이 추가되면 늘고 CPU 성능이 좋아져 서버를 통합하면 줄어, 800여 대에서 1천 대 사이를 오갑니다. 신년에는 예상 밖의 상황에 쓸 VM과 PM 약 100여 대를 대기 장비로 확보하고, 대응이 끝나면 Verda에 반납합니다.
장비를 준비해도 예상은 빗나갈 수 있습니다. 환경이 달라지거나 이슈가 생겨 요청이 예상치를 넘으면, 서버가 넘치는 부하까지 처리하려다 모든 요청이 멈출 수 있기 때문입니다. 이를 피하려고 일정 수치를 넘는 요청을 포기하거나 지연시키는 서킷 브레이커를 준비합니다. 비율로 차단하도록 만들어 트래픽 증가에 따라 조절하기도 합니다. 트래픽의 10% 차단은 그 사용 예시이며, 정해진 공통 기준은 아닙니다.
담당자는 새해 트래픽을 실시간으로 지켜보다가 이슈가 생기면 준비한 제한을 적용합니다. 용량을 미리 확보하는 작업과 넘치는 요청을 조절하는 작업이 함께 필요한 이유입니다.
잠깐의 피크에 대비한 네트워크 경로
네트워크는 신년 대응 때만 준비하지 않습니다. 전체 서비스의 대역폭을 연 단위로 계획하고 평소에도 트래픽에 대응합니다. 이미 사업자와 계약해 대역폭을 직접 제어하는 경우라면 빠른 증설이 가능할 수 있지만, 그렇지 않으면 계약한 대역폭을 넘는 부하를 받아내기 어렵습니다.
짧은 신년 피크를 위해 비싼 대역폭을 계속 유지하기도 어렵습니다. 이때 활용할 수 있는 방법이 경로 변경입니다. 사용자 국가에서 서버로 곧바로 보내던 트래픽 일부를 다른 경로로 우회시키면, 한 회선에 몰리는 부하를 분산할 수 있습니다. 글로벌 네트워크뿐 아니라 국내 망에도 적용할 수 있는 방식입니다.
사용자 가까이 서버와 캐시를 두는 작업도 이어져 왔습니다. 일본 IDC에서 출발한 LINE이 동남아시아와 북미, 유럽으로 확장하면서 이미지 같은 정적 콘텐츠의 전달 지연이 문제가 됐습니다. 사용자에게 닿는 마지막 구간인 라스트 마일의 품질을 높이려고, 민감 정보가 없는 일반 콘텐츠를 서비스하는 프런트엔드를 여러 국가의 IDC에 전진 배치했습니다. 대륙 간 데이터 이동에 따른 지연을 줄이기 위해 CDN도 사용합니다.
2022년 신년 대응에서는 캐시를 더 오래 두는 쪽만 택하지 않았습니다. 이모지와 스티커의 캐시 기간을 평소보다 줄여 단발성 데이터가 캐시를 과다하게 차지하지 않도록 했습니다. Akamai와 CloudFront 같은 CDN 업체의 캐싱을 추가하고, 사용자 편의를 위해 제공하던 메신저의 백그라운드 전송 기능은 잠시 멈췄습니다.
흩어진 준비를 조율하는 공대장
이 준비는 이르면 9월, 늦어도 10월에 시작됩니다. 물리 장비를 들이는 데 시간이 걸립니다. LINE은 퍼블릭 클라우드도 일부 사용하지만 자체 클라우드 Verda를 중심으로 대부분 자체 대응하므로, Verda에서 받는 서버 외에 장비가 더 필요하면 도입 기간부터 확보해야 합니다.
가장 먼저 정하는 사람은 ‘공대장’입니다. MMORPG에서 보스 몬스터를 공략하는 공격대의 이름을 빌렸습니다. 각 서비스 팀이 자기 서비스를 준비하고, 공대장은 팀 사이에 공유할 정보와 공통 작업, 전체 진행 상황을 챙깁니다. 갑자기 생긴 이슈에 필요한 인원이 모이는 것이 ‘막공’이라면, 매년 돌아오는 신년 대응은 ‘정규 공격대’에 가깝습니다.
10월에는 참여자를 Wiki에 정리하고 Slack으로 공지한 뒤 Jira 티켓과 문서를 갱신합니다. 사전 미팅에서는 서로의 준비가 연결되는 지점을 확인합니다. 스티커 하나를 보내는 일도 메신저 프런트엔드와 스티커 백엔드가 함께 준비돼야 합니다. 백엔드만 준비하고 프런트엔드가 미진하면 문제가 생길 수 있어, 팀별 진행 상황을 나누는 데서 그치지 않고 관련 서비스의 준비도 확인했습니다.
12월에는 대부분의 준비를 끝내고 코드 프리즈에 들어갑니다. 긴급 수정 외에는 애플리케이션 변경을 멈춰 장애 위험을 줄이고, Grafana와 Kibana, Elasticsearch 등 모니터링 도구의 그래프와 점검 항목을 정비합니다. 크리스마스이브는 미리 반응을 살필 기회입니다. 신년만큼 높지는 않아도 평소보다 많은 트래픽이 짧게 몰리기 때문입니다. 크리스마스가 지나면 여러 국가의 100여 명 이상이 최종 미팅에서 준비 상황을 공유합니다.
12월 31일에도 작업은 남아 있습니다. 필요에 따라 LINE VOOM의 동영상 자동 재생을 멈추고 사용자가 눌러야 재생되게 하거나, 특정 시간에 부하를 일으키는 배치 기능을 껐다가 대응 후 다시 켭니다. 2022년에는 공식 공유된 작업만 약 76건이었습니다. 담당자들은 31일 오전부터 1월 1일 새벽까지 사전·사후 작업을 수행했고, 일부는 그보다 일찍 시작하거나 늦게 끝났습니다.
LINE 장애에도 이어져야 할 대화
COVID-19 이후 원격 근무 3년 차를 맞은 LINE에서는 신년 대응도 원격으로 진행했습니다. 처음 원격으로 치른 2021년에는 소통과 작업에 혼선이 있었지만, 2022년에는 지난 1년간 쌓인 경험을 바탕으로 큰 무리 없이 진행했다는 평가였습니다.
메신저 회사라고 해서 신년 대응의 공식 채널로 LINE을 쓸 수는 없었습니다. 평소 업무 중 메시지에 아무도 답하지 않다가 빨간 아이콘과 재전송 버튼이 나타난 적이 있었습니다. LINE 장애였습니다. 서비스가 멈추면 대응할 대화도 막히는 문제 때문에 Slack 엔터프라이즈를 주요 채널로 선택했습니다. 기록을 남기고 검색하기 쉬운 점도 장점입니다. LINE WORKS는 임직원을 찾거나 일정을 관리할 때 사용했지만 같은 이유로 주 채널로 삼지 않았습니다.
미팅에는 Zoom을 사용했습니다. 엔터프라이즈 계정은 500명까지 참여할 수 있고 통역과 소회의실 기능을 제공합니다. 한 방에서 주제가 다른 대화가 섞이는 문제는 남았지만, 여러 국가의 인원이 모여 준비 사항을 공유하는 데 사용했습니다.
작업 관리는 2022년에 처음 도입한 Trello가 맡았습니다. 80여 개에 가까운 작업을 한 채널에서 이야기하니 진행 상황을 한눈에 보기 어려웠고, 실제로 누락도 있었습니다. Trello는 포스트잇에 할 일과 담당자를 적어 붙였다가 해결하면 떼어 내는 보드와 비슷합니다. 시작·만료 시간과 담당자 알림을 설정하고, 시간이나 완료 여부에 따라 카드를 자동으로 옮길 수 있었습니다. 담당자가 분명해지자 Slack에 거듭 진행 상황을 올릴 일이 줄었습니다. 각자 맡은 일을 조용히 처리하다 보니 오히려 삭막하다는 농담도 나왔습니다.
도구만 바꾼 것은 아닙니다. 공대장은 설명을 Wiki에 자세히 적고 Slack에는 짧게 공유했습니다. 업데이트 관련 문의는 DM으로 전달해 바쁜 동료에게 독촉으로만 보이지 않도록 노력했습니다. 인사만 보내고 다음 메시지를 기다리게 하기보다 연락한 이유까지 한 메시지에 담았습니다. 나중에 읽어도 곧바로 용건을 확인하고 답할 수 있게 하려는 시도였습니다. Jira와 Wiki에는 이전 신년 대응의 지표와 티켓이 쌓여 있었고, 이번 준비 과정과 리뷰 결과도 그 기록에 추가했습니다.
치솟는 그래프 앞에서 맞은 새해
2021년 12월 31일 23시 59분(GMT+9), 그래프는 아직 조용했고 Trello 카드도 잠잠해졌습니다. 00시 00분이 되자 그래프가 움직이기 시작했습니다. 공대장을 맡은 권용찬 엔지니어의 집에서는 가족이 새해 인사를 건넸고, 이어폰에서는 Zoom으로 동료들의 인사가 들렸습니다.
새해 부하를 버티는지는 1~2분 안에 결판납니다. 메시징 프런트엔드는 연결된 백엔드 중 하나라도 지연되면 함께 지연됩니다. 가장 많은 트래픽이 들어오는 일본(GMT+9)은 전년보다 트래픽이 늘었지만 무리 없이 수용했습니다. 요청량이 3배 가까이 치솟는 동안에도 웹 애플리케이션 서버 처리 그래프는 원문에 제시된 정상 범위인 600 이하를 유지했습니다.
일본을 넘겼다고 모두 끝난 것은 아니었습니다. 이어진 대만(GMT+8)과 태국(GMT+7)의 새해에는 일부 요청이 지연됐습니다. 여러 이슈로 바뀐 네트워크 환경과 늘어난 트래픽의 영향이었으며, 관련 팀은 원인을 분석하고 리뷰 미팅에서 대응 방안을 논의했습니다. 당일 대응을 마친 시각은 새벽 3시 40분이었습니다.
2023년 신년 대응을 앞둔 과제
당일 대응을 마쳐도 신년 대응 전체가 끝나지는 않습니다. 1월 중 가능한 한 빨리 리뷰 미팅을 열어 실제 유입량과 계획 이행 여부, 지난해 이슈의 해결 여부를 확인합니다. 미진한 부분은 Jira 티켓으로 만들고, 별도로 진행하며 결과를 보고하고 문서에 남깁니다. 다음 신년 대응에서 다시 확인할 기록입니다. 글을 쓰던 시점에도 2022년 이슈의 리포트 작성과 후속 논의가 이어지고 있었습니다.
원격 협업에도 고칠 부분이 남았습니다. Zoom에서는 주제와 부서가 다른 대화가 섞이는 문제가 전년에도 있었지만, 회의실을 만들 때 소회의실 기능을 켜지 못했습니다. 이 기능은 클라이언트가 아닌 웹의 개인 프로파일에서 활성화해야 합니다. 다음에는 미리 회의실을 만들고 소회의실을 나눠, 필요에 따라 참가자가 이동하도록 준비할 계획이었습니다.
Trello에서는 체크리스트 항목의 담당자가 불명확했던 부분을 보완하려 했습니다. 처음 참여자를 조사할 때 실제 수행 인원을 확인해 명확히 지정하고, 담당자 배정을 더 세분화하면 한 사람에게 쏠리는 작업량도 나눌 수 있지 않을지 검토했습니다.
말이 잘 들리는 환경도 과제로 다뤘습니다. 이어폰 마이크는 움직일 때 부스럭거리는 소리가 나고, 노트북 마이크는 잡음과 하울링이 심한 편입니다. 이미 별도 마이크를 사용하던 필자는 원격 근무가 잦다면 3만 원 미만의 지향성 마이크도 도움이 된다고 권했습니다. 기술 이슈와 함께 이런 협업상의 문제도 다음 준비 때 확인하고 반영할 대상이었습니다.
원문의 주요 수치
| 항목 | 값 |
|---|---|
| 신년 피크 메시지 | 414,382 msg/sec |
| 하루 평균 메시지 전송량 | 대략 42억 건 |
| 준비 시작 | 9월~10월 |
| 사전 작업 | 약 76건 (공식 공유 기준) |
| 프런트엔드 서버 | 약 1천여 대(800여 대에서 1천 대 사이), 1억 8천9백만 MAU (2021년 11월 기준) |
| 신년 대기 장비 | VM·PM 합쳐 약 100여 대 |
| 최종 미팅 규모 | 100여 명 이상 |
| 요청량 증가 | 3배 가까이 |
| Zoom 최대 참석 | 500명 (엔터프라이즈 계정) |