PGR21.com
- 자유 주제로 사용할 수 있는 게시판입니다.
- 토론 게시판의 용도를 겸합니다.
Date 2015/07/08 23:10:44
Name 카페알파
Subject [일반] 이 vocaloid 콘서트 원리는 정말 어떤 걸까요?
안녕하세요.

실은 얼마 전 질문 게시판에 거의 동일한 내용의 질문을 올렸었는데, 시원하게 답을 달아 주신 분이 없으셔서 자유 게시판에 다시 올려 봅니다. 일단 자유 게시판 쪽이 보시는 분들이 더 많은 것 같고 저도 그 동안 해당 동영상을 보면서 나름 연구를 해 보았거든요. 뭐, 결론은 "도저히 모르겠다" 지만요......

일단 영상을 보시죠.







영상을 보면 마치 IA 가 현장에 있어 가수들과 같이 노래하고 춤추는 것처럼 보이는데요. 일단 미쿠 콘서트의 경우 투명한 스크린이 있고, 뒷쪽에 투영기가 있어 두 개의 투영기로 캐릭을 스크린에 비추어서 입체적인 효과를 주는 홀로그램을 사용하는데요, 이 영상의 경우는 뒷쪽에 그런 투영기가 없습니다. 그런데, IA 는 분명히 가수들과 같이 노래를 하고 있지요.

그동안 제가 관찰한 것과 생각한 것을 정리해 보면

1. 해당 동영상의 댓글을 보면 투명한 상자 모양의 스크린을 사용하고 있는 것인데, 무대 바닥의 붉은 리본이 그 증거다라는 것이 있는데, 이게 좀 틀린게 처음 시작할 때 가수의 발이 그 리본 위에 놓여 있습니다. 그리고 공연 중에도 중간중간 뒷쪽 리본 밖으로 발이 나가는 경우가 있습니다.

2. 바닥에 반사되는 것은 IA 나 다른 가수들이나 동일한데, 가수들에게 있는 조명등에 의해 생긴 검은 그림자가 IA 는 없습니다. 하지만 조명의 효과나 반사는 거의 동일하게 보입니다.

3. 3분 30초 즈음의 영상에서 IA 는 별로 움직이는 것 같지 않은데, IA 의 위치가 점점 바뀌고 있습니다.(바닥의 하얀 점과 비교해 보세요.)

4. 4분 40초 즈음의 영상에서 IA 와 가수가 발이 비슷한 위치에서 겹치고 있습니다. 실제 가수라면 충돌을 했겠지만, 이 영상에서는 IA 가 앞으로 나와 있습니다.(좀 부자연스럽습니다.)

5. 공연 중 IA 가 가수 뒤쪽에 위치한 적이 한 번도 없으며, 모두 IA 가 앞쪽에 위치하고 있습니다.

6. 그러면서도 IA 의 위치나 움직임이 아주 자연스럽습니다. 카메라 워크가 있어도 그리 영상이 왜곡되는 것 같지 않습니다.

7. 미쿠 콘서트의 경우 정면이 아닌 측면에서 보면 평면 사진을 옆에서 보는 것처럼 약간 상이 기울어져 보이는데, 이 영상에는 그런 것이 거의 없습니다.(적어도 저는 관찰하지 못했습니다.)


대략 이 정도의 것이 관찰되더군요.

이를 바탕으로 생각해 볼 때 투영기가 무대와 관객 사이에 있고 무대 앞 쪽으로 약간 기울어진 스크린이 있어 IA 를 비춰 주는 것이 아닌가 하는 생각을 해 보았습니다만, 이 경우 설명하기 어려운게 IA 가 무대 좌우 뿐 아니라 앞뒤로도 활발히 움직이며 그게 매우 자연스러워 보인다는 점입니다. 미쿠 콘서트의 경우 캐릭이 좌우로는 활발히 움직이지만, 앞뒤로 움직이는 경우는 거의 없죠. 그건 캐릭이 앞뒤로 격렬하게 움직일 경우 모든 시점에서 발부분이 무대에 자연스럽게 접촉해 있게 보이기 어려워서가 아닐까 합니다. 시점의 높낮이에 따라 자칫 발이 무대에서 떨어진 채로 춤추고 있는 것처럼 보일 수도 있으니까요. 하지만 본 영상의 경우 IA 는 앞뒤로 자유자재로 움직이며 어느 높이의 시점에서 보아도 자연스럽습니다.

두 번째로 생각해 본 것은, 위의 생각을 좀 더 전개해 나간 것인데, 저 가수들의 영상까지 모두 홀로그램이 아닌가 하는 것입니다. 즉 실제로 무대 위에는 사람이 없고 모두 홀로그램 영상이라는 거죠. 이렇다면 IA 가 자유롭게 앞뒤로 움직이는 것이 설명됩니다만, 그렇다고 보기에는 조명의 효과가 좀 지나치게 사실적인 듯 합니다.

혹시 저건 홀로그램이 아니라 누군가가 IA 의 탈을 쓰고 실제로 춤을 추고 있는게 아닌가...... 하는 생각까지 해 보았습니다만...... 그건 아니겠지요.

저 현장에 있다면 좀 더 쉽게 원리에 대해 알 수 있을 것 같습니다만, 영상만으로는 잘 모르겠네요. 혹시 여러분들 중에는 짐작가시는 분이 있으신지요?


P.S. - 근데 영상의 노래 괜찮네요. 처음엔 잘 몰랐는데 (원리를 알아내기 위해) 자꾸 보고 듣고 하다보니 중독되는 느낌입니다. 함께 공연한 가수들 실력도 상당한 것 같구요.

통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
최종병기캐리어
15/07/08 23:16
수정 아이콘
관객을 비추어주지 않는걸로 봐서는 합성일수도...
15/07/08 23:19
수정 아이콘
합성인거 같네요.
모여라 맛동산
15/07/08 23:19
수정 아이콘
무대 영상을 촬영하고 거기에 저걸 CG로 입힌 것 같네요.
어리버리
15/07/08 23:23
수정 아이콘
전제가 크게 잘못되셨네요. 관객이 없습니다. CG를 통째로 입힌거라 생각됩니다. 무대에 있는 보컬과 래퍼, 연주자들은 보컬로이드 음악소리만 듣고서 거기에 캐릭터가 있는듯이 촬영하고 그 이후에 덮어씌었겠죠. 일본 음악프로그램 뮤직스테이션에 나오는 화려한 CG 무대보면 저 정도도 생방송으로 가능하지 않을까 싶기도 하고요.
추가) 정확히 말하면 관객이 있어도 캐릭터를 못 보는 상태겠군요.
15/07/08 23:25
수정 아이콘
3D 모델을 넣고 트래킹으로 노가다를 한거 같네요. 그래서 카메라 워크도 천천히 움직이는거 같고요
15/07/08 23:26
수정 아이콘
https://vimeo.com/115576869 외국인데 이걸보면 좀 이해가 되실거 같습니다
피아노
15/07/09 00:08
수정 아이콘
윗분들은 AR이나 CG로 추측하시는거 같은데 2010년도에 홀로그램 실시간 원거리 라이브 스테이지관련된 영상을 본게 있었는데 찾아보니 있군요. 지금은 더 발전했겠죠.

https://www.youtube.com/watch?v=jxt5JE5VB5k
카페알파
15/07/09 09:04
수정 아이콘
흠...... 합성이라는 분들이 많네요. 사실 그게 가장 간단한 결론이고 간단한 결론이 정답인 경우가 많으며, 저도 생각이 상당히 그 쪽으로 기울었었습니다만......

근데, 아래 영상을 찾았습니다.

https://www.youtube.com/watch?v=dfm3UJiRyk0

위 영상과 동일한 영상이지만, 화질이 더 좋으며, 아마도 원본인 것으로 추측되는데요. 이 영상을 보면 IA 에게도 검은 그림자가 나타납니다.(제가 잘못 본 것이죠.) 단, 다른 실제 가수에 비해 그림자가 다소 흐립니다. 그리고 이 영상은 「IA 3주년 감사 파티 ~라이브 & 토크」에서 공개된 『We gotta run|IA×Jumicchi』라이브 영상이라고 합니다.

이 동영상을 보면 IA 를 나중에 합성해 넣었다고 보기에는 지나치게 정교합니다. 조명의 변화에 따른 IA 그림자의 자잘한 변화 또한 제대로 다 표현되어 있구요. 그리고 토크쇼라면 동영상 뒷부분에 나오는 관객의 박수 소리가 다른 콘서트에 비해 작은 이유도 설명이 될 것 같네요.

아, 그리고 투영기가 없다고 적었는데, 이 영상에서 보면 무대 앞쪽, 정확히 말하면 빨간 리본 사각형 바로 앞쪽에 투영기로 추정되는 물건이 있긴 하네요. 단순 조명기기 같기도 한데......(어쨌든 홀로그램 영상이라면 투영기 두 대 이상이 필요할 것 같은데 말이죠.)
김첼시
15/07/09 09:21
수정 아이콘
저게 합성이 아니라면 엄청놀라울거 같네요...
세츠나
15/07/09 10:04
수정 아이콘
그러니까 가수도 홀로그램인거죠? 사람하고 같이 라이브 연습한 다음에 사람 역할을 IA로 대신하고
가수 라이브하고 IA를 실시간으로 합성해서 전체를 프로젝션 한 것이 가장 그럴 듯해 보이네요.
카페알파
15/07/09 11:46
수정 아이콘
이것저것 저도 좀 찾아보고, 생각도 해 봤는데, 결국 합성이 아닐까 하는 생각이 듭니다.

일단 홀로그램이라면 스크린이 있어야 하는데, 스크린이 보이지 않고요. 또 설사 스크린을 눈에 띄지 않게 설치해 놓았다 해도 저렇게 뒷쪽이 밝으면 뒤쪽의 풍경이 비춰야 하는데(실제로 미쿠의 2013년 Kansai 공연에서 보면 미쿠 바로 뒤에 위치한 연주자가 미쿠를 통해 비쳐 보입니다.) 그런 것도 없이 저렇게 불투명하게 보이기는 좀 힘들 것 같습니다. 더불어 저렇게 앞뒤로 자유자재로 움직이는 연출도 힘들 것 같구요. 그리고 스크린에 비친 영상에 저런 식으로 제대로 그림자가 생기기는 어렵지 않을까 합니다.

상을 스크린이 아닌 공중에 투영하는 기술이 있기는 한데, 아직은 작은 물체를 투영하는 정도에 그치고 있고(근데, 물체를 투영하면 느낄 수도, 그러니까 만질 수도 있다네요! 신기해라......), 공중에 띄우는 터치 스크린도 아직은 그리 크게 하지는 못하고요.(그리고 더군다나 이쪽은 따지고 보면 2차원이죠.)

그리고 무대의 빨간 사각형 리본도 IA 의 3D 움직임을 맞추기 위한 도구가 아닐까...... 그러니까 IA 의 움직임을 영상과 자연스럽게 어울리게 하기 위해 IA 가 저런 테두리가 있는 무대 안에서 움직이게 한 다음 영상을 잡아내는 거죠. 저 테두리가 2D 화면상 같은 모양이라면 일단 비슷한 상황에서 카메라가 비추는 것일 테니까요.

다만, 조명에 의한 색의 변화라든지 비치는 그림자의 변화가 많이 정교하긴 한데...... 이것은 3D 그래픽 기술이 거기까지 발전해 있지 않을까...... 생각해 봅니다. 이 부분이 좀 믿기가 힘든데, 그래도 다른 가능성에 비하면 제일 가능성이 높아 보여서.....(근데 이 경우 4분 40초 즈음의 가수와 IA 의 충돌 부분을 충돌하지 않도록 처리할 수 있었을 텐데 왜 그대로 남겨뒀을까 하는 의문이 남긴 합니다.)

만일 이러한 점을 해결하였고 저 영상이 정말 홀로그램이라거나 비슷한 영상이라면 정말 놀라운 기술이거나 아이디어가 아닐까 하네요.
15/07/09 12:10
수정 아이콘
신기한걸 전부다 합성이라고 하면 안되죠.
저 보컬로이드가 있는곳에 AR스테이션을 잡을만한 장치가 있으면 영상으로 충분히 재현가능합니다.
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회 추천
59701 [일반] 2016년, 성남의 최저시급은 6974원입니다 [120] Leeka13204 15/07/09 13204 16
59700 [일반] [짤평] <인사이드 아웃> - 픽사가 그려낸 알록달록한 소우주 [32] 마스터충달6243 15/07/09 6243 9
59699 [일반] [짤평] <손님> - 이걸 가지고 이거 밖에 못하나 [56] 마스터충달8767 15/07/09 8767 2
59698 [일반] 다음 세대 민주주의 플랫폼 - (1) 실시간 다층 대의 민주주의 [23] 해달3214 15/07/09 3214 0
59697 [일반] 인사이드 아웃, 99%를 예상할 수 있지만... (앞부분 노스포) [9] 작은 아무무6583 15/07/09 6583 0
59696 [일반] [공지] 신규 운영진 crema님 초빙 [31] clover5342 15/07/09 5342 7
59695 [일반] [오피셜] 전북 에두, 中 허베이 종지로 이적 [57] d5kzu6058 15/07/09 6058 0
59694 [일반] 눈팅족님들 이메일 인증하세요. [35] 4그레이8729 15/07/09 8729 2
59693 [일반] 간단하게 써보는 간담회 '공감' 후기 [16] 더스번 칼파랑5680 15/07/09 5680 5
59692 [일반] [기사펌] 최저임금회의에서 나온 '황당 발언' 모음 [56] swordfish-72만세9285 15/07/09 9285 11
59691 [일반] [NBA] NBA에선 디조던발 막장 드라마가 펼쳐지고 있습니다. [81] 알렉스트라자14547 15/07/09 14547 3
59690 [일반] [해축] 어제의 bbc 이적가십 및 선수이동 [29] pioren4113 15/07/09 4113 0
59689 [일반] 2016년 시간당 최저임금 6030원 결정 [179] 어강됴리16186 15/07/09 16186 3
59688 [일반] [해축] 카시야스의 포르투 이적에 대한 기사가 마르카에도 떴습니다 [20] 하얀마녀4108 15/07/09 4108 0
59687 [일반] 나는 왜 술을 먹으면 - 음주에 대한 수학적이고 과학적인 접근 [19] 삭제됨4181 15/07/09 4181 4
59686 [일반] 5163부대는 왜 스파이웨어 회사에 8억6천만원을 보냈나? [38] 뽀뽀9456 15/07/09 9456 6
59685 [일반] 막을 수 없었던 자동차 사고 .... [20] 삭제됨7743 15/07/09 7743 1
59683 [일반] 김치찌개의 오늘의 메이저리그(강정호 1타점 3루타,시즌 26타점) [6] 김치찌개3814 15/07/09 3814 0
59682 [일반] 역대 가장 높은 흥행 수입을 기록한 영화감독 Top10 [22] 김치찌개4781 15/07/09 4781 2
59681 [일반] [K리그] 오늘 열린 K리그 결과 [35] ChoA3412 15/07/08 3412 0
59680 [일반] 이 vocaloid 콘서트 원리는 정말 어떤 걸까요? [13] 카페알파5726 15/07/08 5726 0
59679 [일반] 오늘부로 이름이 진짜로 개명 되었습니다. [18] 광개토태왕6862 15/07/08 6862 2
59678 [일반] 나의 전자오락기행 #2 [4] 에일리2898 15/07/08 2898 2
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로