[취재] 2012 QMBW 강연 : 사용자 경험의 벤치마크 반영

퀄컴(Qualcomm)은 7월 24일 미국 샌프란시스코 W호텔에서 모바일 워크숍을 통해 자사의 플랫폼을 사용하는 디바이스들의 성능 평가와 기술에 관한 최신 정보를 소개하는 자리를 가졌다. 이 자리에서 퀄컴은 멀티 코어 프로세서를 사용하는 모바일 기기에서 사용자 경험을 반영하는 성능 평가에 대한 방법과 함께, 자사의 최신 쿼드 코어 프로세서를 사용하는 태블릿 PC의 레퍼런스 디자인 모델을 소개했다.

최근의 멀티 코어 프로세서를 사용하는 모바일 단말에서 사용자 경험은 단지 프로세서의 성능만으로 결정되지 않는다. 하지만 지금까지의 테스트 방법들은 대부분 단말의 연산 성능 등 특정 부분에 치우쳐 실제 사용자의 체감 성능을 제대로 가늠해 내기 쉽지 않았다. 이에 퀄컴은 이 자리에서 좀 더 사용자의 실제 사용 환경을 반영하는 벤치마크 방법론의 필요성을 강조하고, 실질적인 사용자 경험 향상을 위한 각종 노력들을 소개했다.

또한 이번 워크숍에서는 퀄컴의 최신 쿼드 코어 AP인 APQ8064를 사용한 태블릿 PC 레퍼런스 디자인이 소개되었다. APQ8064와 2GB 메모리, HD급 디스플레이를 장착한 이 모델은 각종 성능 평가에서 경쟁 모델과 비교해 강력한 성능을 보여 주었으며, 게이밍 이외에도 멀티미디어 등에서 다양한 활용성을 보였다. 또한 별도로 준비된 데모 룸에서는 이 레퍼런스 플랫폼을 이용한 홈 시어터, 풀 HD 3D 디스플레이 게이밍, 스마트TV 셋톱박스 등으로의 활용이 전시되었다.

▲ 라이트웨어 디렉터 Teemu Uotila

▲ 모범적인 벤치마크 툴의 사례로 소개된 ‘Basemark ES 2.0 Taiji’

이날의 다섯번째 세션은 라이트웨어(Rightware)의 Teemu Uotila 디렉터가 벤치마크에 사용자 경험을 반영하는 방법에 대해 소개하는 '사용자 경험의 벤치마크 반영(Building user experience into new benchmarks)' 세션을 진행했다.

그는 먼저 벤치마크에 있어 필요한 점으로 신뢰성있고, 정확한, 그리고 하드웨어 의존성이 최소화된 결과 도출과 함께, 표준 기술을 기반으로 해 특정 플랫폼에서 최고의 하드웨어를 뽑을 수 있도록 구성되어야 할 것이라고 소개했다.

또한 그는 벤치마크에 있어 주의해야 할 몇 가지 사항들을 지적했다. 먼저, 벤치마크의 수행에 있어 단 하나의 툴만을 이용하는 것은 성능 측정에 있어 대단히 좁은 특정 부분만을 보게 되는 우를 범할 수 있다는 점을 소개했다. 그리고 순수한 수치연산만을 추구하는 벤치마크의 경우 드라이버 수준에서의 워크로드 최적화를 통해 쉽게 결과를 바꿀 수 있다는 점을 지적했다.

벤치마크 툴에 필요한 조건으로는, 일단 단말의 사양을 잘 반영할 수 있는 구조가 되어야 하며, 벤치마크 당시의 게임들보다 더 큰 워크로드를 단말에 줄 수 있어야 할 필요가 있다. 또한 특정 플랫폼을 위한 최적화 부분도 없어야 하는데, 이는 특정 플랫폼에 지나치게 최적화된 벤치마크의 경우 실질적으로 사용자가 느낄 수 있는 성능 측면과는 큰 차이를 보일 수 있기 때문이며, 다른 이유로는 타 SoC 기반 플랫폼과의 비교 측면을 위한 것이다.

이런 원칙이 적용된 모범사례로는 ‘Basemark 2.0 Taiji Free’ 가 소개되었다. 이 벤치마크 툴은 게이밍과 애플리케이션을 위한 3D 그래픽 성능에 초점을 맞추고 있으며, 평균 5만 폴리곤, 최대 7만 폴리곤 가량의 상당히 무거운 환경을 통해 성능을 측정한다. 또한 표준 기술인 OpenGL ES 2.0을 기반으로 하고 있으며, 다양한 플랫폼에서 성능 측정에 대한 신뢰성을 갖추고 있다.

▲ 멀티코어 프로세서 기반 디바이스에 있어 고려할 점들이 소개되었다.

최근의 멀티 코어 프로세서를 이용하는 디바이스들에 대해 고려할 점은 좀 더 복잡해졌다. 먼저, 하드웨어 의존성은 소프트웨어 개발을 늦추는 결과를 초래할 수 있다는 점을 생각해야 한다. 또한 시스템의 구조가 복잡해지는 만큼 소프트웨어도 복잡해지며, 여기에 운영 체제와 제조사 문제까지 생각하면 전반적인 리스크는 더 커진다. 그리고 모든 개발 단계에서 이런 리스크 관리나 병목 현상 등을 이해하고 찾아낼 필요가 있다는 점을 강조했다.

‘BasemarkOS’는 이런 복잡한 시스템에서 다각적인 접근을 가능하게 하는 효과적인 테스트 툴이다. 최근 사용자들에 중요하게 작용하는 미디어 파일 재생 테스트나 프로그램 구동 테스트 등도 이 테스트 스위트 안에 포함되어 있으며, 애플리케이션 성능을 예측할 수 있는 테스트로는 JVM 성능 테스트나 압축, 데이터베이스, 파일 IO 테스트, 이미지의 로딩과 스케일링 등의 테스트, OpenGL ES 호환성 테스트 등이 포함되어 있다.

이 외에도 고려해야 할 점으로 ‘반복 테스트’ 부분이 있다. 이는 안드로이드 OS 차원에서의 특성을 고려할 필요가 있으며, 자바 부분에서의 가비지 컬렉터(Garbage Collector) 가 주는 성능 영향이나, 프로그램의 실행 여부에 따른 스타트업 시간, 테스트 중에도 이루어지는 백그라운드 작업으로 인한 영향 등을 고려할 필요가 있다는 것이다.

▲ ‘브라우저마크’는 사용자나 브라우저 제작사, 개발사 등에 모두 필요하다.

라이트웨어는 HTML5와 WebGL이 점점 더 중요해지고 있다는 점을 강조했다. 웹 기반 게임들 등에서는 제대로 된 콘텐츠의 전달을 위해 최신 표준과 기능들을 지원하고 게이밍이나 사용자 인터페이스 측면에서 일관적인 경험을 전달할 수 있는 효율적인 브라우저가 필요하다는 것이다. 그리고 이를 위한 ‘효율성’ 측정을 위한 도구로 차세대 브라우저마크(Browsermark)를 8월 중에 선보일 것이라 소개했다.

차세대 브라우저마크는 WebGL, Canvas, HTML5, CCS3/3D 부분의 테스트와 함께 어드밴스드 자바스크립트 테스트, 페이지 리사이즈나 로드 등의 표준 기능 테스트를 모두 포함할 것으로 소개되었다. 또한 이 테스트는 공개 버전과 라이선스 버전으로 구분되는데, 이들간의 차이는 테스트 과정에서의 편의나 결과값을 다루는 방법, 지원 등에서 차이를 두고 있다.

라이트웨어는 이 브라우저마크가 일반 사용자와 브라우저 제작사, 단말과 플랫폼 개발사 등에 있어 모두 유용할 것이라고 밝혔다. 일반 사용자에 있어 브라우저마크는 콘텐츠 지원능력 등의 기능성과 단말의 콘텐츠 전달 능력 등을 가늠할 수 있는 기준이 될 수 있으며, 브라우저 제작사에는 이러한 일련의 표준 테스트 도구를 통해 실제 사용자에 최적화된 경험을 전달할 수 있도록 하는 기준을 잡을 수 있고, 플랫폼 개발사 또한 성능에 대한 어떠한 기준을 잡을 수 있기 때문이다.