미디어몽크의 테크니컬 디렉터가 측정과 적용, 보정 과정을 통해 실제 세계를 가상 공간과 매핑시키는 방법에 대해 공유했다. 2017
2017년 2월, 세계 자연 기금(WWF), 아트사이언스 뮤지엄(ArtScience Museum), 구글 주(Google Zoo), 미디어몽크(MediaMonks)는 싱가포르에 ‘인투 더 와일드(Into The Wild)’라는 대형 혼합현실(mixed reality) 환경을 개소했다. 싱가포르 사람들이 자연 파괴와 비삼림화의 영향을 체험하고, 멸종 위기종과 서식지에 대한 지식을 넓히는 데 도움을 주기 위한 목적으로 열린 공간이었다.
이 곳에서는 세계 최초의 탱고 지원 스마트폰인 레노보 팹(Lenovo Phab) 2 프로를 사용해 개인화된 디지털 어드벤처로 방문객을 안내 및 인도한다. 전시장 1층에서 AR로 시작해 100% VR 환경으로 넘어간다. 그리고 가상으로 식목을 할 수 있는 4층에 도달하면 AR로 되돌아가 여정이 끝나게 된다.
미디어몽크를 포함한 개발진은 싱가포르 아트사이언스 뮤지엄의 1,000여 제곱미터 공간을 가상의 인터랙티브 열대 우림으로 바꿨다. 세계 최대의 AR 환경이며, 구글 탱고를 사용해 개발한 두 번째의 AR 박물관 환경이다.
개발이 쉽지는 않았다. 기술적인 관점에서, 우리는 가상의 열대 우림을 실제 박물관 공간에 정확히 구현하는 과정에서 큰 도전에 직면했다. 벽을 나무로, 복도를 숲의 길로 구현해야 했다. 박물관의 전시 공간과 층 구조를 감안해 가상 환경을 실제 환경으로 옮겨야 했다.
구현 방법
실제 세상을 가상 객체로 증강하기 위해 가장 먼저 할 일은 ‘보고 있는 것’을 렌더링 하는 장치(스마트폰과 모니터, CAVE, 헤드 마운트 장치 등)가 실제 세상에서 자신의 위치를 정확히 인식하도록 만들어야 한다. 즉, 장치는 3D 공간에서의 방향과 위치를 알아야 한다.
카메라 입력값 피드를 통해 증강이 이뤄지는 탱고의 경우, 렌더링 장치의 위치와 방향(회전 값)은 실제 세상의 좌표가 되어야 한다. 탱고 장치의 위치와 방향을 빨리 정확히 보고해야 적절히 증강 현실을 구현할 수 있다.
구글 탱고가 이 일을 아주 ‘쿨’하게 처리해 준다. 개발자는 이를 통해 자신만의 가상 세계로 실제 세상을 증강할 수 있다. 토끼 귀를 머리에 증강하는 식의 스냅챗 방식의 AR과는 차별화된다. 실제 세상을 연결한 증강을 이용할 때는 랜드마크에 기반을 둔 공유형 AR경험을 창조하는 것도 가능해진다.
우리는 아트사이언스 뮤지엄을 가상의 열대 우림으로 바꿀 수 있었다. 사용자는 박물관을 탐험하는 것처럼 생생하게 열대 우림을 탐험할 수 있다. 가상 세계의 모든 길과 장애물이 실제 세상인 박물관의 길, 장애물과 일치하기 때문이다.
구글 탱고 좌표
가상 세계를 창조하는데 이용된 도구는 유니티3D(Unity3D)였다. 우리는 유니티 개발자들에게 얼라인먼트(정렬)는 걱정할 필요 없으며, 척도만 충실하다면 자유롭게 원하는 위치와 방향을 사용해 가상 세계를 디자인하라고 말했다.
GIS(Geographic Information Systems)에 친숙한 개발자들은 이른바 ‘데이텀(Datums, 원점)’으로 불리는 좌표계가 많다는 사실을 잘 알고 있다. 그 동안 많은 기관이 각자 자신의 좌표계를 개발했었다. 그러나 GPS가 도입된 후, 미국은 현재 상업용 장치에서 가장 많이 사용되는 WGS84를 개발했다.
이 좌표계의 장점은 ‘직교'(Cartesian), ‘미터법 사용’, ‘지구의 중심을 원점으로 사용하는 것’이다. 이것이 중요한 이유는 (올바르게 매핑된 환경에서) 구글 탱고가 지구에서의 정확한 위치와 방향을 WGS84 좌표계로 제공할 수 있기 때문이다. 구글 탱고는 이 좌표를 ecef 좌표라고 부른다. (이 글에서도 ecef라고 부르도록 하겠다.)
올바른 접근법을 결정
다음 단계는 유니티 세상을 실제 세상과 겹치게 만들어, 증강 현실을 구현하는 것이었다. 두 가지 접근법으로 이 문제를 해결할 수 있다는 판단이 들었다.
1. 첫째, 유니티 세상을 박물관 ECEF 좌표 위로 이동 및 회전시켜 변환한다.
2. 둘째, ECEF 탱고 장치 좌표를 유니티 세계의 좌표로 이동 및 회전시켜 변환한다.
둘 모두 가상(유니티)에서 실제 좌표(ECEF)로의 변환을 계산해야 하기 때문에 80% 정도 동일한 접근법이다. 그러나 차이점도 있다. 첫 번째 접근법은 가상 세계를 실제 세상으로 옮기는 것이고, 두 번째 접근법은 실제 카메라를 가상 세계로 이동시키는 것이다.
우리는 가장 적합한 접근법을 결정하기 위해, 실제 사용 사례에 대입해 좌표를 검토해야 했다. 다음은 유니티 좌표를 적용했을 때의 보기이다.
Object A: [10.000, 63.250, -11.990]
Object B: [-92.231, 33.253, -62.123]
다음은 이에 대비되는 ECEF 좌표의 보기 2개이다.
Hilversum MediaMonks HQ 2nd floor near the elevator: [3899095,5399920414; 353426,87901774078; 5018270.6428830456]
Singapore ArtScienceMuseum in front of cashier shop: [-1527424,0031555446; 6190898,8392925877; 142221,77658961274]
ECEF 좌표의 숫자가 훨씬 더 방대하다. 이 경우, Float(Single-precision floating points)에 큰 문제가 있을 것으로 판단된다.
Float가 아주 자세하지 않은 경우, 106 주변의 수로 10-6 주변의 수를 계산하면 정확성을 크게 상실된다.
또 많은 3D 프로그래밍이 10-3에서 103에 기준을 두고 있다(예, 변환, 모델, 뷰, 프로젝션 매트릭스 등). 따라서 이를 극복할 방법이 없다.
이 부분을 더 자세히 이해하려면 링크된 비디오를 시청하기 바란다. 이 점을 정확히 설명하고 있다. 원점 [0; 0; 0]에서 전투기가 이륙을 했으며, 카메라가 그 뒤를 따르고 있다. 위치가 계속 커진다(카메라 위치 역시 마찬가지). 그러면서 부동 소수점(Floating Point) 계산이 덜 정확해진다.
카메라 좌표가 위의 ECEF 좌표 같은 오차가 발생한 경우를 상상해보자. 확대된 회전 값을 아주 큰 이동 값과 합칠 것이다. 이 경우, 오차가 훨씬 더 커질 것이다.
증강 작업이 정확하지 못 하다면 AR은 재미 있는 존재일 수 없다.
여기에 더해 Float를 지원하기 위해 유니티를 ‘하드 코딩'(Double-precision floating point 대신)한다는 사실, 또 AR에서 큰 오차를 허용할 수 없다다 사실을 감안해야 한다. 따라서 첫 번째 접근법을 적용할 수 없다는 점이 분명히 드러났다. 측정 오차를 피하기 위해 카메라를 원점에 가깝게 위치시켜야 하기 때문이다.
이에 ECEF 탱고 장치 좌표를 유니티 세계의 좌표로 변환하는 두 번째 접근법을 채택했다.
변환
3D 그래픽의 좌표계 변환을 위해 통상 이동(Translation 또는 Positional, 위치), 방향(Orientation, 회전), 축적(Scaling, 배율) 값을 찾아야 한다.
3D 공간에서는 이 3가지가 필요하다. 3축(x, y, z)에서 각각 이동, 회전, 배율을 설명할 수 있어야 한다. 즉 찾아야 하는 값은 9개다.
변환 매트릭스 계산
이 문제를 해결하기 위해, 위치(이동)과 회전을 설명하는 변환 행렬(transformation matrix)을 찾아야 했다. 다행히 컴퓨터 과학 전공자들이 이미 수백 만 번 해결한 문제다.
구글을 검색하면, 특정 좌표계를 다른 좌표계로 변환하는 방법을 설명한 사례를 많이 찾을 수 있다. 링크된 내용은 문제 해결에 90% 가까이 도움을 주는 보기이다.
변환 행렬을 찾는 문제에서 중요한 부분은 2개 데이터 포인트 세트 사이에서 스퀘어 오류의 합계를 최소화하는 것이다. 다음의 기법은 회전과 이동 값을 별개로 취급함으로써 이 문제를 해결하고 있다.
개념적으로, 우리는 실제 세상의 포인트(지점)를 선택하는 방법으로 접근했다. 가상 세계의 또 다른 포인트에 상응하는 포인트다.
기본적으로 두 세상이 이 지점에서 서로 연결되어 있다. 그러나 (상상할 수 있겠지만) 하나의 지점을 기초 지점으로 선택하면 세상이 이 지점을 중심으로 회전한다. 이 경우, 대부분은 배열 상태가 어긋난다.
따라서 가상 세계를 정확히 실제 세상 위에 배치하려면, 최소 2-3개 이상의 기초 지점이 필요하다. 찾으려는 미지수의 수에 따라 이에 상응하는, 또는 이보다 많은 등식이 필요하게 된다.
한 쌍의 미지수에서 등식을 도출할 수 있다(여기에서는 ECEF와 유니티 좌표). 이번 경우에는 총 3쌍의 축이 되는 지점을 이용, 3D 변환 행렬을 찾을 수 있었다.
이 접근법은 실제 세상에서 N이라는 수의 지점(최소 3개 이상)을 선택한 후 ECEF 좌표를 찾는 것이다. 그리고 가상 세계에서 이에 상응하는 지점을 배치한다(총 N개). 이번 프로젝트의 경우, 박물관 내부의 찾기 쉬운 랜드마크 10 곳을 사용했다.
상단 : 실제 세계에서 측정한 2개의 ecef 좌표
하단 : 상기 2 ecef 좌표에 대한 가상 세계의 대응점
이를 위해, 우리는 써드파티 라이브러리인 Math.Net을 사용했다. 이를 이용해 이중으로 선형 대수를 할 수 있었다. 프로그램을 시작할 때 한 번만 코드를 실행하면 된다.
그 결과 원 형태인 10개의 ECEF 좌표와 10개의 유니티 공간 좌표를 구했다. 즉 10쌍의 좌표이다. 다음 단계는 링크된 글의 단계를 적용하고, ECEF 공간의 지점을 유니티 공간으로 변환하는 변환 행렬을 찾는 것이다.
이를 적용하면서 몇 가지 문제에 직면했다. 예를 들어, 유니티는 좌수 좌표계이지만, ECEF는 우수 좌표계이다. 위에서 링크한 글을 참고해 행 우선 배열을, 라이브러리를 사용해 열 우선 배열을 했다.
이는 행렬의 채우기(Filling), 전치(Transposing), 증가 배열(Multiplication Ordering)을 다르게 만든다. 우리는 동시에 지나치게 많은 단계를 적용하려 시도하지 않고, 세심하게 추론함으로써 마침내 이런 문제들을 극복할 수 있었다.
변환을 적용
위에서 설명한 단계를 적용, ecefTunity라는 변환 행렬을 만들었다(행렬 계산 방법에 따라 unityTecef). ECEF 공간의 지점을 유니티 공간으로 변환하는 것은 간단하다. 다음 그림을 보자.
이를 통해 정렬을 완료할 수 있다. 탱고는 장치의 좌표를 ECEF 좌표로 알려준다. 따라서 해당되는 유니티 좌표를 쉽게 계산할 수 있다. 우리는 이 변환을 사용해 받는 탱고 업데이트로 유니티 카메라를 효과적으로 업데이트한다.
더 나아가 가상 나무를 심을 때마다 멸종 위기인 수마트라 호랑이의 서식지인 수마트라의 마지막 원시 열대 우림 중 하나인 림방 바링(Rimbang Baling)에 실제 나무를 심었다. 프로젝트 시작 첫 달에만 5,000개의 나무를 심었다.
이 글을 공유함으로써 개발자와 미래의 개발자들이 실제 세상과 연결된 신나는 AR/VR 환경을 더 많이 구축할 수 있기를 기대한다.
* René Bokhorst는 미디어몽크 테크니컬 디렉터다.
dl-ciokorea@foundryco.com
