[SDS] 하이퍼커널로 편리하게 IT 인프라 확장·축소 가능

커널 레벨 혁신 역 하이퍼바이저 기술 ‘하이퍼커널’ … 단일 시스템으로 여러 노드 자원 모두 통합

가상화, 소프트웨어 정의 기술이 진화하면서 서버, 스토리지, 네트워크 등 IT 인프라의 핵심 구성요소들도 빠르게 변화해 나가고 있다. 특히 VM웨어 이후 커널 레벨에서의 가장 큰 혁신이라는 평가받고 있는 타이달스케일(TidalScale)의 ‘하이퍼커널(Hyperkernel)’은 CPU, 메모리, 스토리지, 네트워크 등 여러 노드의 모든 자원을 단일 시스템으로 통합될 수 있게 한다. 하이퍼커널을 중심으로 발전을 거듭하고 있는 ‘소프트웨어 정의 서버(SDS)’ 기술에 대해 살핀다. <편집자>

역사의 순간에 내가 서 있다고 느껴 본적이 있는가? 아마도 그렇게 쉽게 떠올리지 못할 수도 있겠지만 최소한 몇 백만 사람들의 머리에 떠오르는 순간이 있을 것이다. 바로 촛불혁명의 광화문이 바로 그곳이 아닐까? 100만이 넘는 깨어있는 시민들이 모여 전 세계 역사에 전무후무한 평화혁명을 이뤄냈을 때 바로 그 시간 그 자리에 내가 있었다는 각성은 확실히 전율이자 감동이었다.

이런 순간을 IT에 적용하자면 오늘 역시 또 다른 역사적 순간을 보내고 있다. 물론 아는 만큼 보인다고 IT를 이해하는 정도에 따라 사람마다 달리 느낄 수도 있겠지만 또 다른 전율을 ‘타이달스케일(TidalScale)’에서 경험했다.

혁신적인 소프트웨어 정의 서버
타이달스케일은 ‘하이퍼커널(Hyperkernel)’을 통해 하나의 가상머신(VM)이 여러 대의 물리 서버로 확장할 수 있도록 지원하는 혁신적 소프트웨어 정의 서버(Software-Defined Servers) 솔루션 기업이다. 타이달스케일 제품은 머신러닝 기반의 하이퍼커널로 편리하게 IT 인프라를 확장 및 축소할 수 있다. 특히 분산 환경을 지원하지 않는 기존 운영체제(OS)와 애플리케이션으로도 슈퍼컴퓨터 수준의 인메모리, 무한 확장성, 자기 최적화 등의 폭발적인 성능을 경험할 수 있게 된다.

VM웨어 이후 커널 레벨에서의 가장 큰 혁신이라는 평가를 받는 타이달스케일의 핵심 기술인 하이퍼커널은 역 하이퍼바이저(Inverse Hypervisor) 기술이다. 여러 개의 OS가 하나의 서버에서 실행되던 기존의 가상화와는 반대로 소프트웨어 정의 서버가 CPU, 메모리, 스토리지, 네트워크 등 여러 노드의 모든 자원을 단일 시스템으로 통합될 수 있게 한다.

하이퍼커널은 하드웨어와 게스트 OS 사이에 위치하면서 특허 받은 머신러닝을 통해 움직이는 vCPU와 메모리를 ms 단위로 최적화한다. 또한 이를 완전히 새롭게 설계된 인터커넥션(Interconnection) 네트워크로 이동시키면서 점점 더 빨라지고 진화하는 것이 특징이다.

되짚어보니 15년 전에도 이와 흡사한 전율을 느꼈던 적이 있었다. 그 시작은 2003년 가을의 어느 날로 거슬러 올라간다. 그 이후 지금까지 삶의 방향을 결정하게 된 사건은(당시 크게 알려지지 않은 VM웨어 제품을 보았을 때) 오늘날에는 당연한 듯이 받아들여지는 라이브 마이그레이션이 이뤄지는 것을 봤을 때 그 놀라움은 상상 이상이었다.

운영 중인 OS를 다른 하드웨어로 순식간에 옮길 수 있다는 ‘v모션(vMotion)’의 개념을 동료들에게 설명했을 때 다들 믿을 수 없다는 반응이었다. 당시 눈으로 직접 본 것은 아니지만 그런 개념을 가진 제품이 있다는 것만으로도 믿기 어려운 기술은 머리를 떠나지 않았었다.

그로부터 한 해가 채 지나지 않은 어느 늦여름 한 데이터센터에서 동료들과 아시아에서 최초로 v모션을 수행하게 됐다. 눈앞에서 마법과 같은 장면을 목도한 고객은 환호했고, 휴게실 한 켠에서 동료들과 함께 속으로 더 큰 탄성을 질렀다.

그 후 가상화의 물결이 지속적으로 이어졌고 이를 기반으로 클라우드의 물결 또한 이어지며 이미 널리 IT를 바꿔 놓게 됐다.

기존의 가상화는 마치 실재하는 것 같은 VM에 하드웨어 자원을 추상화해 제공한다. VM웨어의 가상 메인보드는 인텔의 440bx라는 모델을 본떠서 만들어졌다. 그 결과 하나의 하드웨어 자원을 효율적으로 나눠서 마치 실재와 같은 VM이 하나의 하드웨어 위에서 여러 대 운영이 되고, 그 각각은 완전히 다른 OS를 운영할 수 있다. 지금도 필요하고 충분한 기능이다.

여러 대 하드웨어 위에 하나의 슈퍼 VM 만들어
가상화 초창기 시절에 가상화를 설명하면 반절 이상의 사람들이 물어 보는 것이 있었다. “대단하네요. 자원이 가상화돼 있으면 여러 개의 하드웨어를 묶어서 하나로도 쓸 수 있는 거죠.”

대답은 이미 알고 있는 바와 같이 ‘아니다’다. 가상화의 엔진이라고 할 수 있는 하이퍼바이저는 기존에 있던 OS가 있던 위치에서 그 기능을 수행하기 때문에 하이퍼바이저가 설치된 하드웨어 위에서만 역할을 하게 된다. 물론 이런 가상화의 기본 기능을 이용해 라이브 마이그레이션도 가능하다.

반면 타이달스케일은 상식적으로 이해가 되지 않는 기술을 구현해냈다. 하이퍼바이저와 비슷한 형태의 하이퍼커널을 여러 대의 하드웨어 위에 설치해 그 여러 대의 하드웨어 위에 하나의 슈퍼 VM을 만들어 내는 것이다. 이것이 바로 기존의 작은 물결이 아닌 타이달의 스케일이다.

타이달스케일의 tidal은 tide의 형용사형으로 조수 즉 밀물 썰물을 의미한다. 찰랑찰랑하는 파도 정도의 크기가 아니라 수십에서 수백 미터에 이르는 수천 만 톤의 바닷물을 움직이는 엄청난 규모를 뜻한다.

기술적으로 봤을 때 이것은 마치 공상의 산물과 같다. 과거 v모션을 비유할 때 마치 두 대의 날고 있는 비행기의 엔진을 서로 바꾸는 정도의 기술이라고 얘기 했었다. 그러나 타이달스케일은 마치 경비행기 여러 대를 묶어 보잉 747로 둔갑시킨다는 것이다. 그렇다면 이것이 어떻게 가능할지 알아보자.

최신 기술 접목으로 아이디어 현실화
뭔가 매우 참신한 생각이 떠올랐을 때 서양인들은 ‘이마를 치는(Hit the forehead)’ 행동을 하나 보다. 타이달스케일의 설립자인 아이크 내쉬(Ike Nassi) 박사를 만났을 때 처음 배운 표현이다. 실제로 직접 손바닥을 펴서 이마를 쳐보라고 시키기까지 했다.

아이크 내쉬 박사는 ‘공유 메모리(share memory)’ 기술을 기업에서 연구했고 현재는 컴퓨터 사이언스 교수이자 타이달스케일의 CTO를 역임하고 있다. 그는 1972년 어느 날 이마를 치게 됐다고 설명했다.

당시 스케일업 방식의 컴퓨터 구조만 존재할 때 여러 대의 작은 컴퓨터를 묶고 빠른 네트워크를 통해 서로 메모리를 공유하고, CPU(사실은 프로세서)를 주고받을 수 있다면 보다 더 효율적인 ‘빅 머신’을 만들 수 있다는 생각이 떠올랐기 때문이었다.

아이크 내쉬 박사가 생각한 타이달트리 구조는 이미 트리 구조로 구성된 프로세서와 프로세서로 이뤄진 하드웨어 노드를 마치 큰 시스템의 부품처럼 간주해 메인프레임, 이른바 슈퍼컴퓨터를 만든다는 직관적인 발상이었다. 어쩌면 단순한 아이디어였지만 여기에 최신 기술들이 접목되면서 상상이 현실이 될 수 있었다.

vCPU가 자유롭게 이동한다면?
지금까지 VM은 살아있는 상태에서 자유롭게 다른 하드웨어를 움직일 수 있었다. 라이브 마이그레이션은 하이퍼바이저 위에서 운영되고 있는 VM을 옮기기 위해 다른 하드웨어 위에 하이퍼바이저가 완전 동일한 VM을 만들고 원본 VM이 가지고 있는 메모리를 아주 빠른 시간 내에 복사해버리면 되는 것이다. 물론 복사본 VM이 활성화되는 순간 원본 VM을 없애버리기 때문에 순간적으로 이동한 것처럼 보이게 된다.

이와 비슷하게 vCPU가 움직이면 어떨까? VM이 움직이는 것이 아니라 필요한 자원이 VM 쪽으로 이동하면 되는 것이다. 메모리의 경우에는 이미 RDMA(Remote Direct Memory Access) 기술을 통해 원격 노드에 있는 메모리를 마치 로컬 메모리처럼 사용할 수 있다.

메모리 페이지는 4096바이트인 반면 CPU의 상태는 몇 가지 추가정보를 포함하더라도 600바이트 정도이기 때문이다. MTU(Maximum Transmission Unit)가 보통 1500바이트이므로 하나의 패킷에 메모리는 한 페이지를 넣지 못하지만 CPU 정보는 2개도 담을 수 있다. 게다가 이미 10기가비트 스위치를 충분히 현실적인 비용으로 구매할 수 있다.

기존에는 IT를 가상화 이전과 이후로 세대를 구분했다면 아마도 이제는 또 다른 의미로 IT는 타이달스케일 이전과 이후로 세대를 나누게 될지도 모르겠다. 물론 가장 큰 이유는 아이크 내쉬 박사가 콜럼버스적인 발견을 했다는 것보다 그것을 눈앞에서 직접 실현해냈다는 사실이다.

지금까지 절대 이동할 수 없었던 CPU가 과연 어떤 놀라운 마술로 날아다닐 수 있다는 것인지, 그리고 그 마술이 어떻게 스케일을 변화시킬 수 있는지 다음호에서 보다 자세히 살펴보겠다.

데이터넷 다른기사 보기