넷플릭스 대이동, 클라우드는 믿을 만한가?

“넷플릭스, 마지막 데이터센터 문 닫다.”

딱 한 줄, 하지만 그 함의는 광대하다.

먼저, 최근 한국 서비스 개시에 따라 종종 기사로 뜨는 ‘넷플릭스(NETFLIX)’란 회사에 대해 알아보자. ‘넷플릭스’는 1997년 비디오 대여 사업부터 시작해 DVD를 거쳐 현재는 온라인 스트리밍 서비스 사업을 주로 하는 회사다. 역시 딱 한 줄, 간단하다. 하지만 어마어마하다.

스트리밍 서비스 이용자 수가 무려 7천5백만 명인데 그딴 건 아예 무의미한 숫자에 불과한 건, 지금도 자기가 보유한 성장세 기록을 스스로 막 갱신하고 있는 명실상부 단독선두. 이는 단순 시장 확장에 따른 결과가 아니라 ‘하우스 오브 카드’, ‘마르코 폴로’ 등 자체 제작 컨텐츠 확충을 통해 이룬 성취라 더욱 튼실하다. 미국 내 인터넷 접속자가 가장 많은 시간대에 트래픽의 3분의 1을 넷플릭스가 사용한다는 이야기도 있으니, 방송산업 역사를 그냥 막 처음부터 다시 쓰고 있다 해도 과언이 아니다.

그런 초거대 공룡 IT기업이 자체 데이터센터를 완전히 폐쇄하고 모든 시스템을 ‘AWS(Amazon Web Services, 아마존 웹 서비스)’ 클라우드 환경으로 옮겼다. 그 이유는 무엇이고, 대이동에 왜 7년씩이나 걸렸으며, 클라우드는 넷플릭스마저 감당할 정도로 진짜 대세가 된 게 확실한 건지, 차례차례 알아보자.

“서비스가 사흘째 먹통이야!”

지난 2008년, ‘넷플릭스’는 데이터센터의 DB가 손상되어 3일간 DVD 배송을 못했다. 서비스 회사가 서비스를 못한 것이다. 고객이 원하면 언제든 지체 없이 서비스를 제공하는 ‘가용성’은 서비스 회사에겐 가장 중요한 핵심역량인데, 바로 그 가용성에 위기가 닥친 것. 이를 어쩌나, ‘넥플릭스’ 플랫폼 엔지니어링 부문 부사장은 장애 발생 즉시 클라우드 이전 작업 준비에 착수했다. 그만큼 가용성은 치명적으로 중요한 요소란 뜻이다.

‘넥플릭스’는 ‘AWS’를 클라우드 업체로 결정했다. 사실 대안이라 할 만한 게 그때도 없었고 지금도 없으니 오래 고민할 문제도 아니었다. 작업은 착착 진행되어 기존 데이터센터에서 가동되던 서비스를 클라우드 환경으로 옮겼다. 하지만 회사 규모만 보더라도 짐작할 수 있듯, 쉬운 일은 아니었다. “동영상 파는 회사니까 동영상만 옮기면 되는 거 아닌가?” 어, 아니다.

짐짝들 대충 나열해 보자면 우선 상품인 컨텐츠 데이터, 요즘은 너무나 당연해 대세란 말 붙이기도 민망한 분산 데이터베이스, 돈 받고 팔아야 하니까 과금 시스템, 전설적 성공의 핵심요소였던 사용자 취향 분석 시스템, 그걸 뒷받침하는 빅 데이터 컴퓨팅, 그 모두를 종합한 이른바 비즈니스 로직 총체 등, 대충 보더라도 단기간 내에 쉽게 처리할 수 있는 일이 아니다. 결국, 무려 7년이나 걸렸다.

“뭐? 7년이나 걸린다고,, 왜!”

그러고 보면 그 회사 경영진도 참 독하다,, 7년씩이나 기다렸으니. 한 명쯤은 이리 따졌으리라. “그냥, 옮기면 되는 거 아냐? 왜 그리 오래 걸려?” 물론 그렇게 할 수도 있다. 모든 시스템을 변경 없이 그대로 들어서 AWS 환경에다 톡 떨어뜨려도 될 일이니까. 하지만 앞서 언급했던 엔지니어링 부사장은 “그렇게 하면 기존 데이터센터 시절의 문제까지도 모두 옮기는 셈”이라며 거부했다.

즉, ‘클라우드 네이티브 전략’을 택했다. 느리고 비효율적으로 보이지만 불가피한 선택. 기존 기술 전체를 전면적으로 재구축하고, IT기업인만큼 기술과 직결될 수밖에 없는 사업의 방법론까지 근본부터 싹 다 뜯어고쳤다. 그 고생을 감수해도 될 정도로 클라우드 환경의 매력은 아주 컸다. 돈 꼴레오네 식으로 말하자면 ‘거절할 수 없는 제안’인 것이다. 왜?

클라우드가 대세 된 결정적 이유, 탄력성

클라우드의 가장 큰 장점은, ‘탄력성’이다. 애초에 컨텐츠 사업이란 폭발적으로 확장하는 급속도 성장에 대한 기대를 연료 삼아 돌아가는 사업이다. 그러니 언제든 서비스 요구를 충족할 준비가 되어 있어야 하는데, 기존 데이터센터 시절엔 그게 쉽지 않은 일이었다. 수백, 아니 수천 대의 서버를 어떻게 순간적으로 설치하나,, 불가능한 일이다.

하지만 클라우드의 탄력성은 그 치명적 문제를 클릭 몇 번만으로도 쓱삭 해결할 수 있게 해 준다. 가상적으로는 무한한 수의 서버 확장과 10의 15승 페타바이트(Petabyte, PB, 1,000,000,000,000,000 바이트)급 스토리지를 그냥 단추 띡 누르면 추가할 수 있는 것이다. 그리고 클라우드 대기업 AWS가 이미 전 세계에 쫙 깔아 둔 ‘인프라’를 그냥 이용하기만 하면 된다. 그러니 이런 달달한 제안을 누가 감히 거절한단 말인가,,

거대한 성공사례, “그럼 나도 클라우드로 가도 돼?”

‘넷플릭스’ 이민은 클라우드 사업 역사상 가장 큰 성공사례인 듯싶다. 일단 그만큼 큰 규모 사례가 없으니. 아마존은 넷플릭스에게 사용료 얼마를 깎아 줬을까? 궁금할 정도로 광고 효과도 크다. 어쩌면 지나치게 크다. “아니, 그냥 크면 크지 왜 왜 지나치게 커?”

그건 아무나 할 수 있는 일이 아니기 때문이다. 생각해 보자. 위 이민을 결정하고 실제 이민을 감행한 과정에서 슬그머니 드러나는, 그 초거대공룡 자체가 보유한 기술력과 무려 7년이라는 장기간을 견뎌내는 자금력을. 그런 규모가 뒤를 받쳐 줬기 때문에 이룰 수 있는 성취로 해석해도 무방하다. 즉 아무나 할 수 있는 일은 아닌 것이다.

하지만 반면, 그런 대규모의 그리고 고도의 기술력과 자본력은 그게 무려 ‘넷플릭스’이기 때문에 필요했던 요소, 다시 말해 넷플릭스 규모가 아닌 회사라면 꼭 필요한 요소는 아니라고 볼 수도 있다. “난 아주 작고 소소한 서비스를 하고 있을 뿐인데, 나도 클라우드로 가도 될까?” 이거 아주 중요한 질문이다. 그래서,
AWS 포함, 여러 클라우드 업체의 서비스를 이모저모 검토해 봤다.

서비스 이전은 간단, “걱정하실 것 없어요!”

먼저 감탄부터 하자. 모든 ‘대세’는 대세가 된 까닭이 다 있다더니 역시나, 정말 세세한 부분까지 철저히 준비해 둔 친절함에 감탄했다. 앞서 말했듯 ‘넷플릭스’는 넷플릭스이기 때문에 그렇게나 오래 걸렸던 일이지, 우리네 평범한 사람들 수준을 천문학적으로 막 초월해버리지 않는 규모의 사업이라면 당장 클라우드로 옮겨도 특별히 문제 될 것은 단 하나도 없어 보일 정도로 전산환경을 참 잘도 만들어 놨다. 가히 ‘인프라’라 할 만하다.

위 ‘인프라’라 함은, 마치 정상적인 국가에서의 수도나 전기처럼 당연히 존재하는 환경인 것처럼 자연스럽게 느껴지는 서비스라는 뜻으로 쓴 말이다. 말하자면, ‘보편기술’이다. 그럼 AWS 등 클라우드 환경을 보편기술로 봐도 될까? 아니 그 전에, 보편기술이 뭔데?

보편기술과 특수기술, 핵심은 “불안!”

어디서 들어 본 말은 아니고 그냥 대충 막 붙인 말이긴 하나, ‘보편기술’은 말의 뜻 그대로 두로 널리 미쳐 모든 것에 들어맞는 기술을 의미한다. 꼭지를 돌리면 나오는 수돗물처럼, 이 물은 어디서 나타나 어디를 거쳐 여기까지 온 걸까 호기심 일지 않고, 마치 공기처럼 당연하게 느껴지는 기술. 사실 생각해 보면 당연한 일은 아니다. 만약 국가 시스템이 붕괴된 상황을 상상하면 수도꼭지를 돌려도 물은 나오지 않을 테니까.

보편기술로 두루 퍼지기 전의 기술은 ‘특수기술’이라 부르기로 하자. 특수기술이 보편기술이 되는 과정을 지배하는 주된 정서는 불안과 공포다. 그게 뭔지 몰라 당연히 발생하는 불안 외, 의도적으로 유포되는 불안도 있다. 이를테면, 테슬라가 주장하는 교류 전기 사업을 방해하기 위해 직류 파의 독점자였던 에디슨이 악의적으로 퍼뜨렸던 “교류는 위험하다!” 광고처럼. 그러고 보면 에디슨도 참, 비겁했지.

보편기술이 되고 싶은 특수기술

그럼 현재 보편기술이 되려 애쓰는 대표적인 특수기술은 뭐가 있을까? 자율주행 자동차, 3D 프린터 등 여러가지 물건들이 떠오르지만 가장 압도적인 건, 로봇. 로봇 기술 발전을 우려하는 불안도 흔하다. 과거 러다이트 기계파괴 운동을 다시 벌여야 한다는 주장도 들릴 정도니. 아주 틀려먹은 불안은 아니다. 빌 게이츠마저 “AI가 발달하면 인류에 위협이 된다. 인공지능을 걱정하지 않는 사람들을 이해할 수 없다”고 말한다.

간단히 말해, 지금은 값이 싸지만 노사갈등의 위험이 있는 인간을 주로 쓰지만, 로봇 기술이 보다 발전해 값이 싸지면? 값도 싸고 갈등도 없는 로봇을 주로 쓰게 되리라는 건 너무나 뻔한 일 아닌가. 물론 그럼에도 인간은 어떻게든 생존할 거라 믿어야지, 지금껏 늘 그래 왔으니까. 아무튼,

특수기술은 그러한 사회적 불안을 제거함으로써 보편기술이 되고, 세상은 달라진다. 직류 전기 시절, 멀리 가지 못하는 전기를 공급하기 위해 큰 건물마다 따로 운영하던 발전소에서 일하던 민간 기술자들은 교류 전기가 대세가 된 이후엔 대개 국가가 운영하는 전기 관련 인프라 곳곳에 재배치되었다. 보라, 신기술의 위협에도 인간은 어떻게든 생존한다.
그럼 다시, 넷플릭스쯤 되는 회사도 이동했으니, 클라우드 환경을 이제 완전한 보편기술로 봐도 될까? 이 불안은 정말 쓸데없는 괜한 기우인가?

IT보안 = 어플리케이션+시스템+네트워크 보안 = 데이터 보안

IT보안은 기술적으로 어플리케이션, 시스템, 네트워크 보안의 범주로 나눠 볼 수 있다. 모든 IT 시스템이 그 3개의 계층으로 구성되기 때문이니, 다시 말해 그 모두를 만족해야 비로소 “안전한 IT 시스템을 이루었다”고 말할 수 있다.

그리고, 오늘날 IT 보안의 중심은 네트워크와 서버 등 IT 인프라를 보호하는 보안으로부터 데이터와 어플리케이션을 보호하는 보안으로 이동하고 있다. 이는 지켜야 할 진짜 가치가 무엇인지 깨닫는 과정이다. 정말 지켜야 할 가치는? 데이터다.
그런 맥락에 따라 현재 클라우드 환경을 살펴보면,

클라우드 환경은 “대체로” 안전하다.

앞서도 말했듯, 감탄할 정도로 잘 만들었더라. 정말 꼼꼼하게. 대표적인, 사실상 독점으로 봐도 무방하다 싶은 ‘AWS’를 보면, 이것저것 참 잘도 만들어 놨다.

어플리케이션 부문은, 이건 좀, 글쎄,, 하지만 어플리케이션 보안은 인프라 시설 제공자의 책임보다 인프라 사용자, 즉 클라우드 환경에 입주한 사업자 각자의 책임이 더욱 크다. 어플리케이션은 사업자의 것이니까. 시스템 부문과 네트워크 부문은, 기존 데이터센터 시절(?)에 적용하던 기술들은 웬만큼, 아니 웬만하다고 말하기 좀 미안할 정도로 구색을 제대로 갖추고 수준 또한 충분해 보인다. 게다가 예전엔 밤에 잠도 못 자고 낑낑대며 겨우 해결하던 문제들이 이제 버튼만 띡 누르면 알아서 해결해 주니 일단 너무 고맙다. 어, 근데,

패턴 매칭 방식 WAF

고전적 패턴 매칭 방식의 WAF(Web Application Firewall, 웹 어플리케이션 방화벽)을 쓰는구나,, 물론 아주 이해 못할 방식은 아니다. 패턴 매칭 방식의 WAF로도 충분히 안전함을 보장할 수 있다. 패턴 매칭 수준 이상으로 웹 컨텐츠를 검토한다면 클라우드 입주자들이 오히려 불안하게 여길지도 몰라 그런 결정을 내렸을 수도 있다. 하지만 패턴 매칭 방식 WAF를 통해 제대로 안전하기 위해서는 패턴을 위협 수준과 물량만큼 늘여야만 하는데 이는 또 시스템 성능 저하 문제로 이어지는 등의 손해가 있다. 즉, 권장할 만한 방식은 아니다.
WAF는 웹을 통해 오가는 각종 컨텐츠의 안전성을 점검하는 장치다. 모든 데이터는 어플리케이션을 통해 이동하고, 현재 어플리케이션의 주요 환경은 웹이다. 통신기술뿐 아니라 시스템 환경에서부터 사용자 인터페이스에 이르기까지, 모든 IT 기술이 웹으로 통합되고 있다. 앞으로는 모든(!) 어플리케이션이 웹 환경에서 개발되고 운용될 것이다. 이거 어째 좀 찝찝하게 남는 좀 쓴 뒷맛이 있다는 뜻이다. 그런 점에서,

현재 클라우드 환경은 대.체.로. 안전하다고 평가할 수 있겠다.

안전한데, 대체로 안전해,, 이거 생각이 좀 복잡해진다. 기존 데이터센터에서는 웹 컨텐츠 보안이 불안하면 그냥 WAF 하드웨어를 사다가 설치하면 그만이었는데, 클라우드 환경에서는? 클라우드 인프라 사업자가 제공하지 않는 WAF 기능을 꼭 쓰고 싶다면, 그 이유 때문에 클라우드 환경으로 이동하지 말라는 말인가? 그렇지는 않다.

WAF “서비스”

클라우드 환경이 일종의 ‘서비스’라서, 기존에 직접 처리해야 했던 문제 해결을 서비스 형태로 제공 받듯이, WAF 기능 또한 ‘서비스’ 형태로 제공된다. 클릭 몇 번만으로 기존에 엄청 오랜 시간을 투자해 직접 처리해야 했던 온갖 문제들을 즉시 해결할 수 있다는 것이 클라우드 환경의 가장 큰 장점이듯, 과거 하드웨어 설치하고 사용법 교육받고 세팅하고 그러던 WAF 기능 또한 클릭 몇 번만 하면 하드웨어 WAF 기능 그대로 동작한다. 그럼으로써 클라우드 환경은 비로소,
IT보안 = 어플리케이션+시스템+네트워크 보안 = 데이터 보안
이 조건 모두를 충족해 완전하게 ‘안전한 IT 시스템’을 이루게 된다. 결론은,

“넷플릭스쯤 되는 회사도 클라우드로 갔는데, 우리도 가도 돼?”

네, 가도 됩니다. WAF 관련 약간의 조치만 취한다면, 충분히 안전합니다.