[특집] \'HP-CAST 코리아 2011\' HPC 세미나

한국HP는 4월 5일, 서울 삼성동 그랜드인터컨티넨탈 호텔에서 HPC 고객을 위한 ‘HP-CAST Korea 2011’ 세미나를 개최하고, HPC 시장 환경 동향과 당면 과제들에 대한 해결책들을 논의했다. 이 자리에서 HP는 HPC 환경과 클라우드 환경의 접목에 대한 가능성과 과제, 그리고 자사의 인프라 솔루션을 통한 구현을 소개했다.

HP-CAST는 첨단과학과 테크니컬 컴퓨팅 발전을 위해 HP가 주도하여 구성된 국제 컨소시엄으로, 연구 기관과 기업이 함께 참가하고 있다. 2003년 설립되었으며, 1년에 2회 정도 개최하는 컨퍼런스 등을 통해 제품과 향후 계획을 서로 공유한다. 한국에서 HP-CAST의 컨퍼런스는 2006년에 열린 바 있다.

이번 HP-CAST 코리아 2011 세미나에서는 HPC 환경과 클라우드 컴퓨팅의 접목에 대한 방법과 과제가 제시되었다. 또한 HPC 환경에서 활용이 많아지고 있는 x86 시스템과 GPGPU 기술을 활용한 고성능 시스템, 그리고 이를 고효율, 고밀도로 만들어 낼 수 있는 HP의 시스템과 컨버지드 인프라에 대해 소개되었다.

▲ HP-CAST 컨소시엄 이사 프랭크 배켓(Frank Baetke)

HP-CAST 컨소시엄의 Frank Baetke 이사는 환영사를 통해 HP-CAST에 대해 소개했다. HP-CAST(Consortium for Advanced Scientific and Technical)는 첨단 과학과 테크니컬 컴퓨팅의 발전을 위해 HP에서 구성한 국제 컨소시엄으로, 주로 HPC 환경 같은 큰 스케일의, 과학과 테크니컬 컴퓨팅에 관련된 주제를 다루고 있다.

이 컨소시엄은 하나의 플랫폼을 통해 커뮤니케이션과 정보의 공유를 원활히 하고자 하는 목적을 가지고 있으며, 이 조직 플랫폼을 통해 서로 피드백을 주고, 컨퍼런스 등을 통해 제품과 향후 계획을 공유하게 된다. 2003년 설립되었으며 컨퍼런스는 1년에 두 번 정도 열린다. 다음의 메인 컨퍼런스는 16회째로 6월 17일과 18일 양일동안 독일 함부르크(Hamburg)에서 개최될 예정이다.

한편, 아시아의 HPC 시장도 빠른 속도로 성장하고 있으며, HP-CAST 또한 이를 반영해, 메인 컨퍼런스 이외에 ‘지역 컨퍼런스’ 를 개최하고 있다고 소개했다. 그리고 이 아시아 지역 컨퍼런스는 중국과 일본, 인도를 거쳐 이번에 한국에서 개최되었다. 누적 참가자는 6개월 동안 약 750명 수준이며, 참가자 수로 봤을 때, 규모도 많이 커졌다고 소개했다.

▲ 한국HP ESSN 김영채 이사

한국HP ESSN 김영채 이사는 이 자리에서 HPC 시장 환경의 최신 동향에 대해 소개했다. 그는 HPC 마켓은 월드와이드하게 성장하고 있으며, 한국 시장에서도 빠르게 성장하고 있고 작년 대비 두 배 가량 빠르게 성장 중이라고 소개했다. 또한 국내에서는 제조, 공공, 금융 부분에서 성장하고 있는 추세라고 덧붙였다.

현재 한국의 HPC 시장은 다양한 과제를 가지고 있다. 좀 더 범용화된 솔루션으로의 구현과 병렬 컴퓨팅 구현, 그리고 IT 전반의 과제인 ‘그린 IT’ 가 있다. 또한 HPC에서도 클라우드 컴퓨팅과의 접목이 논의되고 있으며 x86 아키텍처를 기반으로 한 시스템 구성과 GPGPU를 활용하는 이종 구성(Heterogeneous) 컴퓨팅도 주목받고 있다. 또한 비즈니스 면에서도 ‘경쟁’이 치열해지고 있다고 지적했다.

현재 HPC가 성장하고 있는 부분은 주로 과학 연구나 분석, CAE 등이며 연구소나 대학, 정부 기관 등에서 이용되고 있다. 하지만 HPC가 엔터프라이즈 영역에도 이용되면서 엔터프라이즈 환경에서 요구되는 비용 효율 같은 면의 도전 과제를 해결할 필요가 제기되고 있다. 기업에서 HPC의 활용은 충분한 ROI를 낼 수 있도록 활용할 수 있느냐에 초점이 맞추어진다.

엔터프라이즈 환경에서 요구되는 ‘효율’에 대한 HP의 해결책이 ‘컨버지드 인프라’다. HP는 이 인프라에 HPC 환경을 구성함을 통해 엔터프라이즈 환경에서 HPC를 유연하게 구성할 수 있도록 하고 있으며, HPC를 위한 SL 라인업을 통해 수요에 대비하고 있다. 또한 현재 HP는 국내 x86 서버 시장에서 점유율 1위를 유지하고 있으며, 이를 통해 다양한 상황에 대응 가능하다고 덧붙였다.

▲ ‘그리드’와 ‘클라우드’는 비슷하면서도 완전히 다르다.

이어 HP-CAST의 Frank Baetke 이사가 ‘HPC in the Cloud’란 주제로 HPC 환경의 클라우드화에 대해 소개했다. 그는 먼저 ‘그리드(Grid) 컴퓨팅’ 과 ‘클라우드 컴퓨팅’을 비교하며, 클라우드가 그리드를 대체할 수 있을 것인가에 대해 질문을 던졌다. 클라우드와 그리드는 모두 여러 대의 시스템을 사용해 구성하는 형태를 가지고 있지만, 그 내용은 분명한 차이를 보인다.

그리드 컴퓨팅의 특징은 ‘표준’이 존재한다는 것이다. 또한 공공에서 투자를 받고 운영하며 중앙 집중 관리가 아니고 상호운용성이 중요하게 작용한다. 지리적으로도 분산되어 있으며, 소유권과 관리도 분산되는 형태다. 하지만 클라우드의 경우에는 ‘표준’이 없고, 투자와 운영도 비교적 사적으로 이루어지는 모습을 보이며, 중앙 집중 관리라는 특징을 가진다.

여기서 둘의 결정적인 차이는 운영과 관리 부분이다. 폴란드의 그리드 컨소시엄은 HPC 클라우드를 구현하기 위해 재미있는 시도를 한 바 있는데, 물리적으로 분산되어 그리드로 구성된 다섯 개 센터를 연결하면서, 클라우드 형태로 운영하기 위해 하나의 센터에 ‘오퍼레이션 센터’의 역할을 할당하고 워크플로우를 관리하도록 했다.

HPC 그리드는 다양한 시스템들이 그리드를 위한 인터페이스를 통해 그리드 어플리케이션과 연결되는 형태를 지니고 있다. 이런 구조가 클라우드 형태가 되려면 일련의 하부 구조를 클라우드화 하면 된다. 즉, 사용자는 ‘클라우드 UI’를 통해 접근하고, 이 클라우드 UI가 각 시스템과의 연결 단과 어플리케이션 단까지 통합하는 형태다.

▲ HPC와 클라우드가 결합되면 이 영역 모두에서 활용이 가능하다.

현재 작업 수와 데이터 단위로 컴퓨팅 형태를 구분하면 크게 네 가지로 구분된다. 이 중 HPC는 태스크 수가 적고 데이터 사이즈도 비교적 작은 ‘Heroic MPI’ 부분이며, 여기서 태스크가 많아지면 ‘클라우드’의 영역이 된다. 하지만 클라우드를 통해 HPCaaS나 BDaaS를 구현하려는 움직임이 있으며, 이를 통해 클라우드가 할 수 있는 일도 더 늘어날 수 있을 것으로 기대된다.

하지만 이를 위해 몇 가지 문제를 해결할 필요가 있다. 먼저 전통적인 HPC 영역에서 중요하게 여기는 ‘레이턴시’와 ‘병렬성’의 문제가 있으며, 높은 대역폭과 효율적인 MPI, 혹은 GPGPU 기술의 활용이 나오기도 한다. 또한 클라우드 환경에는 표준 규격이나 언어가 없기 때문에 현재 요구 사항을 명확히 정의하고 요구하기도 힘들다.

HPCaaS를 위한 연구로는 ‘Open Cirrus’ 가 있다. 이 연구는 클라우드 서비스 모델링을 위한 오픈시스템을 만들고, 엔터프라이즈 레벨의 요구를 만족시킬 수 있는 클라우드 기반의 HPC 서비스를 시스템과 어플리케이션 레벨 모두에 걸쳐 연구하고 있다고 소개되었다. 여기에는 데이터센터들 이외에도 대학과 업계들이 함께 참가하고 있다.

또한 다소 제한적인 예로 아마존(Amazon)의 HPCaaS 서비스가 소개되었다. 아마존의 서비스는 린팩 벤치마크에서 880 인스턴스, 7040개의 코어를 활용해 42TFlop/s의 성능을 기록한 바 있다. 하지만 이 서비스의 문제점은 성능의 ‘보증’ 문제다. 언제나 실제 물리적인 HPC 구성만큼 클라우드가 성능을 확실히 보증하기란 쉽지 않기 때문이다. 여기에는 가상화에 따른 I/O 레이턴시 문제도 있으며, 이 레이턴시 문제는 확장성 면에서 문제가 된다.

▲ 일단 ‘레이턴시’ 부분을 해결할 필요가 있다.

HPC 환경과 클라우드를 접목한 HPCaaS를 구현하기 위해서는 아직 해결할 당면 과제가 있다. 가장 먼저 꼽힌 것은 ‘레이턴시’의 중요성을 클라우드 밴더들이 인식하는 것이다. HPC를 클라우드에서 제공하기 위해서는 기가비트 이더넷만으로는 충분치 못하며, 인피니밴드를 쓰기엔 경제성 문제가 생긴다. HPC에 특화된 클라우드 서비스는 이런 인터커넥트의 어려움을 해결해야 할 필요가 있다.

두 번째는 가상화 환경에 따른 스케줄링 기술이 꼽혔다. 스케줄링 기술 면에서는 여러 노력이 진행되고 있는데, 가상화 기술을 이해하고 적용할 필요가 있다. 클라우드 환경에서 HPC는 병렬 스케줄링을 제대로 지원하지 못하면 구현이 불가능하다. 이를 이루어내지 못하면 병렬화의 장점을 포기하게 된다고 소개했다.

세 번째는 ‘지적 재산권’이 꼽혔다. 회사의 장래가 IT에 결부되어 있다면, 이런 중요한 데이터가 클라우드에 올라갈 때, 데이터의 보안성 등의 문제는 생각해 볼 필요가 있다. 아주 복잡한 데이터들이 클라우드에서 사용될 때, 어느 시점에서는 암호화되지 않은 형태로 존재하게 된다. 이런 상황에서 생길 수 있는 문제들을 생각할 필요가 있다. 이를 해결할 수 있는 방법으로는 ‘프라이빗 클라우드’ 가 꼽히며, 이를 통해 외부 세계로 데이터를 옮기지 않고도 클라우드의 이점을 느낄 수 있을 것으로 소개되었다.

네번째는 ‘과금 모델’인데, 현재의 과금 모델이 적절한지에 대해서는 다시 생각할 필요가 있다. 많은 회사들이 경쟁하고 HPC를 위한 클라우드 서비스를 많이 선보이게 되면, 현재 비용보다 클라우드에서 비용 절감이 가능해야 시장이 옮겨갈 것이기 때문이다. 이 때 경쟁력을 위해서는 과금 모델도 지금과는 달라질 필요가 있다.

▲ HP APJ 스티브 톨나이(Stive Tolnai)

HP APJ(Asia Pacific and Japan)의 Steve Tolnai 연사는 ‘HPC에 최적화된 HP 시스템’이란 주제로 새로운 기술과 발전 방향에 대해 소개했다. 그는 먼저 HPC에 대해, 예전에는 SMP 환경을 기반으로 한 시스템이 중심이었지만 이제는 리눅스 서버 기반의 ‘클러스터링’ 환경 구성이 중심이 되었으며, 시스템의 디자인도 바뀌고 있다고 소개했다.

클러스터링 환경 구성이 중심이 되면서 HPC 환경을 구성하는 요소들도 달라졌다. 가장 큰 변화는 산업 표준의 위치에 있는 x86 아키텍처가 본격적으로 HPC 환경에 이용되기 시작했다는 것이다. 2001년 세계 최고의 성능을 보이던 ASCI White 가 보이던 성능은 이제 프로세서의 성능 발전에 따라 x86 기반의 블레이드 서버 단일 랙 구성으로도 충분히 낼 수 있게 되었다.

X86 프로세서와 함께 위상이 크게 달라진 것이 GPU를 활용하는 GPGPU 기술이다. 이를 적극적으로 활용해 구성된 츠바메(TSUBAME) 2.0 시스템은 2002년의 지구 시뮬레이터(Earth Simulator)에 비해 성능은 더 높으면서도 2000배 작은 공간을 차지하고 170배 적은 전력을 소비하며, 전력 효율은 190배 높고, 가격도 450배 낮은 성능을 보여 줄 정도다.

▲ HPC 구성에 있어 핵심은 ‘연결’

HPC의 활용 영역은 이제 학술 연구나 분석 목적 뿐 아니라, 직접 ‘수익’을 창출하는 부분에서도 활용되는 등, 그 영역이 넓어지고 있다. 이에 따라 HPC의 구조에 있어서 컴퓨트 노드는 이제 범용 구성 뿐 아니라 특수한 목적을 위한 노드까지 다양해지고 있다. 인터커넥트 부분은 이더넷이나 인피니밴드 등 고성능의 표준 인터커넥트로 구성되고 있다.

HPC 환경에서 도전 과제는 성능과 확장성의 증가다. 또한 데이터의 양이 폭발적으로 증가하고 있으며, 즉각적인 결과에 대한 요구나 새로운 기술과 비즈니스 모델에 대한 요구도 늘어나고 있다. 또한 인프라의 복잡성과 비용 문제도 고민할 필요가 있다. HP는 이런 요구들을 해결할 수 있는 방안으로 컨버지드 인프라를 활용하는 유니파이드 포트폴리오를 제시한다.

▲ 츠바메 2.0은 HPC를 구성하는 새로운 방법을 잘 보여주는 예

HPC의 성능 향상에는 다양한 요소가 영향을 준다. 특히 ‘표준’의 위치에 있어 범용성 면에서 뛰어난 x86 아키텍처가 폭넓게 활용되면서 좋은 결과를 보여주고 있기도 하다. X86 프로세서는 꾸준히 성능 향상을 이루어 왔으며, 인텔의 ‘샌디 브릿지(Sandy Bridge)’에 이르러서는 AVX를 적극적으로 활용해 기존 프로세서 대비 클럭당 부동소수점 연산 성능이 두 배 가량 증가할 수 있을 것으로 기대된다.

AMD는 옵테론 6100 프로세서에서 12코어를 구현한 바 있으며, 다음 세대로 기대되는 불도저 아키텍처의 ‘인터라고스(Interlagos)’ 에 이르러서는 16코어 프로세서를 구현할 수 있을 것으로 기대된다. 또한 AMD도 256비트 AVX 유닛을 탑재하는데, 이 유닛은 128비트 모듈 두 개의 공유 형태로 이루어져 상황에 따라 분리와 결합이 가능하게 구성된다.

HP의 서버 라인업에서도 HPC를 위한 높은 확장성을 가진 모델로 SL 라인업이 있다. ‘츠바메2.0’에사용된 SL6500 노드섀시의 경우 모듈라 아키텍처를 통해 성능과 효율에서 최적화된 모습을 보여주고 있다. 또한 여기에 들어가는 컴퓨트 노드의 경우 공간 활용을 위한 특별한 디자인과 함께 복잡성을 줄이기 위해 모든 인터커넥트가 전면 공간에 배치되어 있다.

또한 높은 성능을 구현하기 위한 방법으로 GPGPU 기술의 활용이 있다. HP는 츠바메 2.0 시스템 구현에 있어 엔비디아의 테슬라(Tesla) M2050을 사용했는데, 이 카드의 연산 성능은 카드당 515GFlops에 달한다. 사용된 SL390s 노드에는 두 개의 프로세서와 3개의 GPU가 탑재되어 최대 1.6TFlops, 인클로저 당 4개의 노드가 조합되고 랙 당 8개의 인클로저, 전체 시스템은 42개의 랙으로 구성되어 최대 성능은 2.4PFlops에 달한다.

▲ LG전자 김상국 책임연구원

이어 LG전자 김상국 책임연구원이 LG전자의 도입 사례에 대해 소개했다. LG전자는 기구 부분의 시뮬레이션을 위해 HPC 의 도입을 추진했는데, 이는 개발 과정이 진행될수록 오류 수정이 힘들어지는 만큼, 컨셉과 설계 수준에서 CAE를 통한 사전 검증 체계를 갖추기 위해서였다고 밝혔다. HPC 도입 전에는 이를 개별 워크스테이션에서 진행해 시간과 비용 면에서 비효율적인 면이 있었다.

LG전자는 2006년 처음 HPC 운영을 시작했고, 2010년 2차 증축을 진행했다. 처음 도입시는 밴더를 크게 두 개로 구성했는데, 2009년 스토리지를 SFS에 ibrix로 교체하면서 기존에 존재했던 상당 수의 문제점이 해결되었다고 소개했다. 전반적인 작업 프로세스에서 중요한 부분으로는 스케줄러와 ‘라이선스’가 꼽혔는데, 아직까지 하드웨어적인 라이선스 문제는 없었다고 덧붙였다.

LG전자는 사용자들은 이 HPC를 사용할 때 주로 씬클라이언트 환경에서 접속한다고 소개했다. 또한 어디서든지 접속해 작업을 수행할 수 있으며, 자체적으로 운영되는 홈페이지를 통해 계정 생성과 실행 가이드, 기술지원 등을 하고 있다고 밝혔다. 현재 사용 가능한 소프트웨어는 라이선스가 필요한 31종의 소프트웨어 이외에도 자체 코드가 있으며, 750명 이상의 사용자가 등록되어 있다고 한다.

▲ LG전자는 도입 후 여러 가지 면에서 효과를 보고 있다.

현재 LG전자의 HPC는 열과 유체해석 부분에서 주로 사용되며, 구조와 충돌 해석, 소음과 진동, 성형 해석 등에서도 이용된다. HPC 적용 사례로는 빌딩 실외기 해석과 잉크젯 노즐 해석이 꼽혔는데, 빌딩 실외기의 예에서는 지금까지는 부분으로 나누어 해석을 시도해야 했지만 이제는 한 번에 시도할 수 있다고 소개되었다. 또한 잉크젯 노즐 해석에서는 해석 수행 시간을 80% 단축하는 효과가 있었다고 덧붙였다.

도입 성과로는 설계 검증 정확도 향상을 통해 샘플 제작 수가 감소되었다는 점이 소개되었다. 또한 비용 측면에서 HPC를 활용함으로써 소프트웨어와 하드웨어 부분에서 중복 투자를 줄여 비용을 절감하고, 자원 활용도 또한 향상되었다고 밝혔다. 업무 환경에서는 평균 해석시간을 90% 이상 단축시키는 효과도 있었으며, 선행 품질 검증 체계 활성화 효과도 있었다고 덧붙였다.

향후 운영 방향으로는 전략과제 지원 전용 인프라 구축이 꼽혔다. 이는 중요도가 높은 전략과제 부분이 더 우선적으로 시스템을 활용할 수 있게 하기 위한 것이다. 또한 계열사와 법인의 활용 활성화와 지원 기술분야 다변화가 꼽혔다. 이 외에도 향후 계획으로는 GPU와 병렬 프로세싱, 비주얼라이제이션의 적용과 함께 데이터베이스 부분과 PDM, PLM 시스템까지 통합한다는 계획이 소개되었다.