목차
HTTP/2와 TLS 전환 중에도 연결을 지킨 LINT (2022-07)
원문 정보
- 원문: LINT: HTTP/2와 TLS를 통한 네트워크 현대화
- 매체 · 게시일: LINE Engineering 블로그 · 2022-07-19
- 저자: 이벽산 (LINE API 게이트웨이 팀)
- LINE DEVELOPER DAY 2021 세션 내용을 옮긴 글입니다.
- 원문 내용을 바탕으로 재구성한 요약입니다.
직접 관리할 코드가 남은 LEGY
LINE 서비스 트래픽 대부분은 API 게이트웨이인 LEGY(LINE Event delivery GatewaY)를 지납니다. 클라이언트는 이곳을 거쳐 톡 서버와 협업 서비스에 연결됩니다. LEGY가 맡은 주요 기능 중 하나가 클라이언트 연결 관리인 만큼, 통신 방식을 개선할 때도 사용자가 서비스를 안정적으로 이용할 수 있어야 했습니다.
LINE은 2011년 HTTP/1.1로 서비스를 시작했고, 2012년 말부터 SPDY를 사용했습니다. 하나의 TCP 연결에서 여러 요청과 응답을 다중화할 수 있는 프로토콜입니다. 여기에 헤더 캐시와 자체 푸시 방식, 모바일 환경을 위한 LEGY 암호화를 보완하며 연결성을 높였습니다. 그런데 시간이 지나자 LINE 밖에서는 SPDY를 더 이상 쓰지 않았습니다. 함께 사용할 라이브러리가 없어 코드를 직접 작성하고 관리해야 했고, 비표준 통신 방식은 네트워크 디버깅도 어렵게 만들었습니다.
이 문제를 다룬 프로젝트가 LINT입니다. LINE Improvement for Next Ten years라는 이름대로, 급성장하는 동안 놓친 사각지대를 돌아보고 다음 10년을 준비하는 작업입니다. 클라이언트와 LEGY 사이에서는 SPDY를 HTTP/2로 교체하고 푸시를 표준에 맞추기로 했습니다. 자체 암호화보다 안전한 TLS를 네트워크 환경과 관계없이 모든 연결에 사용하는 것도 목표였습니다.
SPDY로 돌아갈 여지를 남긴 HTTP/2 전환
HTTP/2를 도입하면 직접 보완했던 헤더 캐시부터 없앨 수 있었습니다. SPDY의 헤더 압축은 대역폭을 줄여 줬지만, 압축 상태를 보관하느라 LEGY 메모리를 많이 사용해 일부 연결에서는 제대로 지원하지 못했습니다. 그래서 반복되는 헤더를 LEGY에 캐시하고 클라이언트에는 캐시 키를 돌려줬습니다. 이후 클라이언트가 키만 보내면 LEGY가 헤더를 복원하는 방식입니다. HTTP/2에는 효율적인 헤더 압축 방식인 HPACK이 있어 이 별도 캐시가 필요하지 않았습니다.
교체 과정에서는 마이그레이션이 실패할 수 있는 두 가지 경우를 대비해야 했습니다. 서버 버그를 고치는 데 오래 걸린다면 수정이 끝날 때까지 HTTP/2를 꺼야 합니다. 클라이언트 버그는 최악의 경우 모든 LINE 서비스 요청을 실패하게 만들 수 있습니다. 어느 쪽이든 클라이언트가 SPDY로 통신할 방법을 남겨 둬야 했습니다.
클라이언트의 네트워크 추상화 계층이 프로토콜 선택을 맡았습니다. 기본값은 HTTP/2입니다. 장애를 감지하면 SPDY로 전환하고, 서버에서 HTTP/2를 비활성화해야 할 때는 외부 설정을 바꿔 사용 가능한 프로토콜 목록에서 제외합니다. 다시 허용하면 HTTP/2를 사용합니다. 클라이언트가 사용할 프로토콜을 고정하지 않고, 장애와 설정에 따라 선택하도록 만든 것입니다.
지역과 버전마다 다른 Conn. Info
이 설정을 전달하는 수단은 이미 있었습니다. HTTP/2를 검토하기 전부터 사용하던 Connection Info, 줄여서 Conn. Info입니다. LEGY에 정의된 이 네트워크 설정에는 연결할 서버 정보, 프로토콜 우선순위, LEGY 암호화와 TLS 중 무엇을 사용할지 정하는 보안 필드 등이 들어갑니다.
LINE은 전 세계 여러 LEGY PoP를 운영합니다. 클라이언트가 빠르고 안정적인 위치로 접속해야 하고, 국가별 네트워크 특성이나 클라이언트 유형·버전에 따라 다른 설정을 적용하기도 합니다. Conn. Info는 이런 차이를 다루던 도구였습니다. 모바일과 Wi-Fi 환경에 따라 설정을 나누고, 신년에 트래픽이 폭증할 때는 클라이언트의 자동 재시도를 끄는 데도 사용했습니다.
아직 서버 설정을 받지 못한 앱도 연결은 해야 합니다. 이를 위해 LEGY 저장소에서 추출한 기본 Conn. Info를 별도 저장소에 보관하고, 클라이언트 소스 코드에 포함해 애플리케이션 바이너리로 제공합니다. 클라이언트는 실행할 때 로컬 캐시부터 확인합니다. 캐시가 없으면 내장 설정으로 LEGY에 접속해 최신 Conn. Info를 가져와 저장하고, 조회에 실패하면 내장 설정을 계속 사용합니다.
HTTP/2 전환에도 같은 도구를 썼습니다. 모든 단계에서 HTTP/2를 최우선으로 설정하되, Beta/RC 환경에서 시험한 뒤 릴리스하고 LINE 직원, 일본 사용자, 전 세계 사용자 순으로 허용 범위를 넓혔습니다. 사용이 허용되지 않은 클라이언트는 Conn. Info에 HTTP/2가 있어도 해당 항목을 무시합니다.
큰 문제는 발생하지 않았습니다. 준비해 둔 HTTP/2 전체 비활성화 설정을 사용할 일도 없었습니다. 2022년 글에서 보고한 LEGY 연결의 HTTP/2 비중은 85%이며, 당시에는 클라이언트의 SPDY 코드를 완전히 제거할 준비를 하고 있었습니다.
네트워크 추상화 계층은 이후 프로토콜을 업그레이드할 때도 활용할 수 있습니다. IPv6가 널리 쓰이고 HTTP/3와 QUIC이 등장하는 상황에서, LINE은 새 TLS 버전이나 암호화 방식의 취약점 같은 변화에도 대응하며 연결성을 계속 개선하려 했습니다.
재접속 때 다시 쓰는 TLS 세션 정보
모바일에서 TLS를 쓰지 않았던 데에는 속도 문제가 있었습니다. 느린 3G 네트워크에서 TLS 협상까지 기다리면 연결에 더 오래 걸렸고, 연결이 끊겼다가 다시 맺어지는 일도 잦았습니다. LINE이 자체 LEGY 암호화를 만든 배경입니다.
LEGY 암호화는 메시지 본문과 민감한 헤더만 암호화합니다. 민감한 헤더를 본문으로 옮겨 함께 암호화하고, 키 교환은 HTTP 요청·응답과 함께 처리했습니다. 핸드셰이킹 방식은 TLS 1.3의 0 RTT와 비슷합니다. 당시 Wi-Fi로 연결한 클라이언트는 TLS를, 모바일 네트워크에서는 LEGY 암호화를 사용했습니다.
TLS의 지연은 애플리케이션 데이터를 보내기 전 협상에서 발생합니다. TCP 연결에는 1 RTT, 즉 한 번 왕복하는 시간이 들고, TLS 1.2는 그 뒤 암호화 파라미터를 협상하는 데 2 RTT를 더 씁니다. TLS 1.3은 이 협상을 1 RTT로 줄였습니다. 일부 설정에서는 협상 중 데이터를 보내는 0 RTT도 지원합니다.
TLS 1.3만 도입하면 자체 암호화를 함께 운영하는 부담을 해결할 것으로 기대했습니다. 하지만 서비스의 20%가 여전히 TLS 1.2를 사용하고 있었습니다. 이 연결에서도 지연을 줄여야 했습니다. 재접속할 때 이전 연결의 암호화 파라미터를 재사용하는 세션 재개가 그 방법입니다.
다른 LEGY에서도 찾을 수 있는 세션 ID
세션 ID 방식에서는 서버가 세션별 암호화 파라미터를 저장합니다. 문제는 재접속할 서버입니다. 처음 연결한 LEGY에 세션이 ID: 1로 저장돼 있어도, 다음 연결이 다른 인스턴스로 가면 그 서버는 해당 세션을 모릅니다. 결국 2 RTT를 쓰는 전체 TLS 핸드셰이크를 다시 수행하게 됩니다.
모든 LEGY 인스턴스가 세션 정보를 찾을 수 있어야 합니다. LINE은 랑데부 해싱을 적용한 Redis 클러스터를 공유 세션 스토리지로 사용했습니다. LEGY는 세션 ID로 조회할 Redis 인스턴스를 정하고, 저장된 정보를 복원해 TLS 1.2 핸드셰이크를 1 RTT에 끝냅니다.
클라이언트가 보관하는 세션 티켓
세션 ID를 쓰려면 서버가 모든 세션을 저장해야 합니다. 이 자원 사용량을 줄이려고 도입한 방식이 세션 티켓입니다. LEGY가 세션 정보를 비밀 키로 암호화한 티켓을 만들어 클라이언트에 돌려주고, 클라이언트는 티켓을 자신의 세션 정보와 연결해 둡니다. 서버는 세션마다 데이터를 보관하는 대신 티켓을 암호화하고 복호화할 키를 관리합니다.
클라이언트가 재접속하며 티켓을 보내면 LEGY는 이를 복호화하고 확인합니다. 성공하면 서버는 티켓에서 꺼낸 세션 정보를, 클라이언트는 티켓과 연결해 둔 정보를 사용합니다. 티켓이 만료됐다면 전체 TLS 핸드셰이크를 다시 수행합니다.
이 방식에서는 키 배포가 운영 과제입니다. LEGY는 키를 주기적으로 교체하고 앞으로 사용할 키도 미리 준비합니다. 모든 인스턴스가 같은 생성 로직을 사용하므로 CronJob은 LEGY 인스턴스 하나에 생성 요청을 보내면 됩니다. 요청을 받은 인스턴스가 키를 만들어 키 관리 서비스에 올리고, 각 인스턴스는 주기적으로 오래된 키를 버리고 새 키를 가져옵니다. 어느 LEGY로 재접속하든 같은 키로 티켓을 처리하도록 한 것입니다.
한국 클라이언트에서 미국 LEGY로 연결하며 캡처한 패킷에서는 차이가 분명했습니다. TLS 1.2의 전체 핸드셰이크는 2 RTT에 600ms가 걸렸습니다. 세션 ID나 세션 티켓으로 재개하면 1 RTT가 줄어 300ms에 끝났습니다. 함께 제시된 TLS 1.3 패킷 캡처에서는 세션 재개 여부와 관계없이 핸드셰이크에 1 RTT를 사용했습니다.
글이 쓰인 시점에 LEGY에 연결된 서비스의 93%가 TLS를 사용했습니다. 그중 80%는 TLS 1.3, 20%는 TLS 1.2의 세션 재개를 썼습니다. 오래된 클라이언트가 업그레이드되면 TLS와 TLS 1.3의 사용 비중도 더 늘어날 것으로 예상했습니다.
HTTP/2 스트림으로 관리하는 푸시 세션
푸시를 옮기는 일은 프로토콜 교체만으로 끝나지 않았습니다. 기존 구독 방식을 그대로 가져오면 HTTP/2 표준을 벗어났고, 클라이언트가 연결을 직접 관리하지 못하는 경우에는 구독이 끊긴 사실조차 모를 수 있었습니다.
출발점은 HTTP/1.1 시절의 롱 폴링입니다. LINE은 모든 이벤트를 오퍼레이션(OP)으로 정의하고, 클라이언트가 fetchOps API로 이를 동기화하도록 했습니다. LEGY는 요청을 톡 서버로 넘긴 뒤 응답이 없으면 새로운 오퍼레이션의 발행을 기다립니다. 발행이 오면 다시 fetchOps를 요청해 클라이언트로 응답을 보냅니다.
일부 서비스에는 다른 방식이 필요했습니다. 롱 폴링에서 No Content 응답을 보내는 일을 피하려면 서비스를 구독해 두고 필요할 때 데이터를 받아야 했습니다. 그런데 SPDY 서버 푸시에도 최초 요청이 하나 필요합니다. LINE은 개별 푸시 요청 없이 데이터를 받는 ‘요청하지 않은 푸시’를 지원하려고, SPDY에서 사용하지 않는 스트림 0에 모든 푸시 스트림을 연결했습니다. 비표준 방식이었습니다. fetchOps는 이 구독·푸시 패턴을 따르지 않고 롱 폴링을 유지했습니다.
HTTP/2로 옮길 때도 처음에는 서버 푸시 기능을 활용하려 했습니다. HTTP/2는 PUSH_PROMISE 프레임으로 푸시를 예고하고, 실제 데이터는 별도 스트림으로 보냅니다. 구독 응답에 PUSH_PROMISE를 붙인 뒤 각 푸시에서 다음 푸시를 예고하는 시퀀스를 고안했습니다. 시험한 브라우저와 일부 라이브러리에서는 작동했습니다. 하지만 PUSH_PROMISE는 클라이언트 요청 스트림에서 사용해야 하므로, 푸시 스트림에서 다음 푸시를 예고하는 방식은 표준 준수라는 요구를 충족하지 못했습니다.
연결 관리 문제도 남았습니다. 라이브러리나 운영체제가 연결을 관리하면 구독에 성공한 뒤 연결이 닫혀도 클라이언트가 이를 모를 수 있습니다. LEGY에서는 연결이 끊겨 구독도 무효가 됐는데, 클라이언트는 여전히 푸시가 올 것으로 믿는 상황입니다. SPDY에서는 LINE 클라이언트가 연결을 완전히 제어했기 때문에 없던 문제였습니다.
해법은 푸시 세션을 스트림에 두는 것이었습니다. 클라이언트는 라이브러리와 관계없이 요청의 시작·중지·완료 시점을 제어할 수 있습니다. 푸시 세션이 살아 있는 동안 스트림을 끝내지 않고 데이터를 계속 보내면 됩니다. HTTP/1.1의 청크 전송처럼, HTTP/2에서도 메시지 본문을 여러 데이터 프레임으로 나눠 보내는 특성을 활용했습니다. 여러 스트림을 하나의 연결에서 다중화하므로 이런 푸시를 같은 연결에서 처리할 수 있습니다. 이것이 스트리밍 푸시입니다.
클라이언트가 특정 경로로 스트림을 열면 LEGY는 헤더를 받고 푸시 세션을 연 직후 상태 200으로 응답합니다. 실제 구독 요청은 세션 안에서 sign-on 데이터로 보냅니다. LEGY가 필요한 서비스를 구독하고 결과를 돌려주면 준비가 끝납니다. 이후 서비스에서 데이터가 올 때마다 LEGY가 클라이언트로 푸시하며, 푸시 유형에 따라 클라이언트는 ACK를 보낼 수 있습니다. HTTP/2 표준을 변경하지 않고 요청하지 않은 푸시를 구현한 것입니다.
롱 폴링도 이 세션에서 처리합니다. 구독은 세션 시작 때 sign-on 데이터를 한 번 보내지만, 롱 폴링은 sign-on 결과를 받을 때마다 다시 보냅니다. fetchOps는 스트리밍 푸시 세션이나 별도 스트림에서 동작할 수 있습니다. 이렇게 롱 폴링과 구독 요청을 모두 처리하면서, 롱 폴링 요청을 실제 푸시로 매끄럽게 옮길 수 있었습니다.
2022년 글에 제시된 주요 수치
| 항목 | 값 |
|---|---|
| LINE 서비스 시작 | 2011년 (HTTP/1.1) |
| SPDY 사용 시작 | 2012년 말 |
| 현재 HTTP/2 사용 연결 비중 | 85% |
| 현재 TLS 사용 비중 | 93% |
| 그중 TLS 1.3 / TLS 1.2 세션 재개 | 80% / 20% |
| TLS 1.2 전체 핸드셰이크 | 2 RTT, 600ms (한국 클라이언트에서 미국 LEGY, 패킷 캡처) |
| TLS 1.2 세션 재개 | 1 RTT 감소, 300ms |
| TLS 1.3 핸드셰이크 | 항상 1 RTT |
| HTTP/2 마이그레이션 사용자 확대 순서 | LINE 직원, 일본 사용자, 전 세계 사용자 |