한장의 이미지를 인식하는 것만으로 360도의 시점으로부터의 모습도 입체적으로 생성하는 「Era3D」는, 종래의 멀티뷰 수법의 문제점인 「부정확」, 「비효율」, 「저해상도」라고 하는 문제점을 해소한 것. Era3D에 대한 자세한 내용을 제작자가 웹페이지에서 설명하는 것 외에도 브라우저 상에서 빠르고 쉽게 멀티뷰 생성을 경험할 수 있다.
적은 소재로부터 다른 각도로 본 멀티뷰를 생성하는 기술은 큰 폭으로 진보하고 있지만, Era3D의 제작자인 PengHTYX씨에 의하면, 기존의 방법으로는 전제한 카메라 타입에서 조금이라도 벗어난 이미지는 무너져 버린다고 한다. 또한, 종래의 방법으로 채용되고 있는 멀티뷰의 계산 기법은, 화상 해상도가 높아짐에 따라 계산의 복잡함이 지수함수적으로 증대하기 때문에, 고해상도의 화상을 생성하기 위한 트레이닝 코스트가 방대해져 버린다.
Era3D는 우선, 입력 이미지의 초점 거리와 앙각을 추정하는 카메라 예측 모듈을 적용함으로써, 형상의 왜곡이 없는 이미지를 생성할 수 있으며, 게다가 「row-wise attention」이라고 불리는 심플하고 고효율인 레이어를 사용, 복수의 시점으로부터의 정보를 잘 조합하고 있다. 결과적으로 Era3D는, 기존의 최첨단인 방법과 비교하여 계산의 복잡성을 12분의 1까지 줄이고 있다고 한다. 아래의 이미지는 Era3D의 프로세스를 나타낸 것으로, 어떠한 시점인지, 카메라 위치는 어떻게 되어 있는지를 추정하고 나서 계산하는 것으로, 고품질의 또 고속의 생성을 가능하게 하고 있다고 설명. 이미지 오른쪽이 최종적으로 생성된 다른 시점 화상으로, 차의 표정은 조금 무너지고 있지만, 반전된 형상은 잘 출력되고 있는 것을 알 수 있다.
그 외, Era3D로 생성한 다양한 360도 화상이 샘플로서 게재되고 있는데, 아래 이미지는 각각의 맨 왼쪽이 입력 이미지, 가운데가 360도 뷰, 오른쪽은 이미지에서 무지개색 그라데이션으로 채색한 3D 에셋으로 변환한 것.
또, "검은 해적 모자를 쓴 불독", "배낭 멘 돼지", "아름다운 갈색 머리 사이보그"처럼, 텍스트를 입력해 3D 자산을 생성할 수도 있다는 것.
Era3D는, 데모 페이지에서 실제로 생성을 시도해 볼 수 있으며, 데모에 사용할 수 있는 샘플의 이미지가 몇 개 준비되어 있다.
이미지가 읽힌 것을 확인하면 「Generate Normals and Colors」를 클릭해 생성 개시.
'processing 22.5초'라고 표시되고 실제로 20초 정도 만에 빠르게 생성이 완료. 이 때, 샘플의 이미지는 원래부터 배경이 없지만, 배경이 포함되는 화상에서도 자동적으로 배경을 삭제해 읽어 준다.
멀티뷰를 생성한 결과가 아래. "Multiview Images"는 렌즈가 튀어나온 부분에 위화감이 있거나 뒷면이 하얗게 칠해져 있지만, 상당히 고품질의 외관이 빠르게 만들어졌음을 알 수 있다.
이미지 형식은 JPEG나 PNG외, XBM이나 TIFF, GIF, SVG등 넓게 대응하고 있으며, Era3D에 대한 자세한 내용은 GitHub에 공개되어 있다.
https://github.com/pengHTYX/Era3D
