PGR21.com
- 자유 주제로 사용할 수 있는 게시판입니다.
- 토론 게시판의 용도를 겸합니다.
Date 2021/09/02 10:20:53
Name 맥스훼인
File #1 upscale.png (1.49 MB), Download : 0
File #2 o1bz27gblq861.png (198.9 KB), Download : 0
Subject [일반] 발전하는 AI영상처리기술 - 업스케일링




기존에는 사진, 영상 등에 있어 원본 소스가 구리면 어떻게 처리하더라도
영상을 살릴 방법이 없어 좋은 영상을 보고 싶으면 좋은 소스를 구해야 한다는게 당연한 이야기였습니다.
그래서 고전 영화 등에 있어 열화된 비디오 등의 복사본이 아닌 원본 소스를 구하는 것이 중요하였죠

하지만 기존 보간법 정도의 단순한 업스케일 영상처리기술에 AI기술이 접목되며
열화된 영상을 원본소스에 가깝게
그걸 넘어 원본 소스보다 더 뛰어난 품질로 만들어주는 방법들이 연구되고 있습니다.

그 방법이 현재는 두가지로 진행중인데

1. 재생기기 자체에서 업스케일링
UHD TV중 대기업 고사양 제품의 경우 기본적으로 업스케일링 기능이 딸려 나오며
4k화질이 아닌 FHD화질을 보더라도 UHD TV가 더 선명하게 보이는건 이 업스케일의 힘이라고 볼 수 있습니다.

쉴드tv같은 재생기기의 경우 AI업스케일링을 지원하며 일반적인 tv 업스케일링보다 더 좋은 화질을 보여주긴 합니다.

다만 이 경우 실시간으로 업스케일이 진행되기에 생각보다 화질의 차이가 크다고 느끼긴 어려울 순 있습니다.



2. 영상처리 프로그램을 통한 업스케일링
waifu2x 및 topaz video와 같은 프로그램을 통해 업스케일링 인코딩을 하여
영상 자체를 업스케일링하는 방식입니다.

생각보다 큰 차이를 보여주고 특히 애니메이션과 같은 경우 천지개벽 정도의 차이를 보여줍니다.
업스케일 과정에서 노이즈 제거 등도 가능하구요

최근 유튜브 등에서 고전 애니나 만화영화를 업스케일링한 영상들이 업로드 되고 있습니다.
예를 들면 둘리 얼음별 대모험의 경우 다음과 같이 업스케일이 가능하구요
https://www.youtube.com/watch?v=YOG6CTSGTd8

고전 애니나 고전 므흣동영상을 좋아하시는분들에게 한줄기 빛과 같은 일이지만
다만 문제는 인코딩에 엄청난 시간이 들어간다는겁니다.
720p 한시간 정도의 동영상을 5600x 3080으로 4k 업스케일링해도
하루 반나절 정도가 걸리더군요....
(엔비디아와 토파즈의 궁합이 잘 안 맞긴 합니다만..)

최근 방송사에서도 인기 동영상들을 업스케일하여 다시 서비스중에 있으며
무한도전의 경우 mbc m에서 웨이브 서비스중에 있습니다.

업스케일링 프로그램의 사양의 장벽이 높긴 하지만
고오전 애니,동영상을 좋아하시는 많은 분들이 도전하여 재창조된 영상들을 볼 수 있지 않을까 기대되네요

통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
태정태세비욘세
21/09/02 10:24
수정 아이콘
난 썩었어..
맥스훼인
21/09/02 10:26
수정 아이콘
생각하시는 그 방향으로도
고오전 동영상들이 재창조되고 있는 걸로 알고 있습니다;;;;
21/09/02 10:26
수정 아이콘
???
아영기사
21/09/02 10:28
수정 아이콘
저랑 같은 생각을 하셨을 거 같군요
21/09/02 10:28
수정 아이콘
도대체 일상생활이 가능하신겁니까...
이른취침
21/09/02 11:29
수정 아이콘
(끄덕) 그것이 일상이니까...
-안군-
21/09/02 13:49
수정 아이콘
비켜봐. 시켜볼게 있어(?)
황금경 엘드리치
21/09/02 10:33
수정 아이콘
옛날 애니 화질 좀 올리면 좋긴 하겠네요. 근데 시간이 엄청 오래걸리나보네요
몽키매직
21/09/02 10:35
수정 아이콘
해상도 업스케일링, 프레임 보간 등의 인터폴레이션 기능들은 어쨋든 없는 정보를 추정해서 채워넣는거라 원본에는 없던 패턴 무늬 같은 게 생기는 경우도 있고, 업스케일을 좀 심하게 하면 깨진 그래픽 같이 보이고 하는 현상들이 생기죠... 모자이크 처리를 없애는 것도 상상하시는 경우가 있는데, 모자이크 부분 같은 경우 해상도를 2배 이상 뻥튀기 해야 되는데 이건 거의 새로 그리는 수준이라...
맥스훼인
21/09/02 10:40
수정 아이콘
네 말씀하신대로 후처리기술들은 없는 프레임, 정보들을 만들어 넣는거라 어색한 부분도 있긴합니다.
실시간 처리 기술보다 별도프로그램처리 쪽이 확실히 패턴이나 깨지는 부분들이 적긴 하더라구요.
모자이크는...언젠가 해결되겠죠? 크크
월급루팡의꿈
21/09/02 10:38
수정 아이콘
연구되기로는 엄청난 결과들을 보이고 있는데, 그걸 고해상도 이미지 혹은 비디오에 적용하려면 엄청난 computation이 필요하다는게 문제고..
그래서 TV에서 실시간 upscaling하는 기술은 의외로 굉장히 작은 딥러닝 모델만 들어가거나 그러는 척만 하는 기술이 들어가고 있을겁니다...
맥스훼인
21/09/02 10:42
수정 아이콘
네 재생기기의 실시간 처리기술은 그냥 눈속임에 가까우며(쉴드tv가 그나마 나은 정도..)
프로그램을 통한 영상처리는 엄청난 작업시간이 필요하긴 하죠.
다만 채굴보다 저쪽이 훨씬 생산성 있는 일이 아닐까..생각도 듭니다.
21/09/02 10:54
수정 아이콘
제가 LG U+ 셋탑박스와 실드TV 프로를 둘 다 쓰는데 동일소스, 동일 재생앱으로 비교해보면 실드TV 프로에 AI업스케일링 모드 적용했을 때 화질이 좀 더 좋긴 하더라고요.
맥스훼인
21/09/02 11:03
수정 아이콘
저도 사용중이지만 쉴드tv쪽이 엔비디아의 기술력이 있어서인지 확실하긴 한거 같습니다.
Respublica
21/09/02 10:55
수정 아이콘
업스케일 어디까지 되나 한번 480 × 320 영상을 4배 올려봤는데 이미 뭉개진 채로 찍힌 얼굴은 못살리더군요. 휙휙 돌아가는 사진도 좀 뭉개져서 보기 힘들긴 합니다.
이게 그래도 애니메이션에서 훨씬 더 깔끔하게 나오는데 이유를 생각해보니, 애초부터 연속동작이 아닌 프레임단위였고, 그림의 경계 명확하다 보니 더 깔끔하게 처리해주더라구요.
맥스훼인
21/09/02 11:02
수정 아이콘
ai업스케일도 기존의 정보에 추가를 하는거라
기존 영상이 어느정도 받쳐주는 선에서 좋아지기 때문에
720p정도는 되어야 처리된 영상이 볼만하긴 합니다.
애니메이션이야 확실하긴 하죠.
개별 이미지(프레임)들을 처리하기만 해도 되니까요
항정살
21/09/02 10:58
수정 아이콘
그래서 실드tv로 삼성 uhd티비에 영상 재생하면 화질이 쩔었구나. 두번 업스케일링 한 셈이니
21/09/02 11:09
수정 아이콘
제 대학원때 전공이네요 ... 크크
metaljet
21/09/02 11:15
수정 아이콘
원래 업스케일링을 그냥 업컨버전의 의미로 썼던 것 같은데 이제 AI 영상처리로 의미가 바뀌었군요.
21/09/02 11:40
수정 아이콘
Super Resolution 이라고 업스케일링+화질복원을 의미하는 용어가 따로 있을거에요
도롱롱롱롱롱이
21/09/02 11:38
수정 아이콘
이게 좀 궁금한게, AI를 통해 업스케일된 이미지는 실제라고 봐야 할까요?
AI가 자연스럽게 이미지를 보간해 낼 수는 있는데, 실제 이미지와 동일한 이미지를 만들어낼 수는 없지 않을까요?
예를 들어 코 옆에 점이난 어떤 사람의 얼굴을 낮은 해상도(점은 커녕 얼굴도 잘 보이지 않음)에서 AI 업스케일링을 했을때 자연스러운 얼굴로 만들어내겠지만 점을 만들어낸다는건 무에서 유를 만드는 것이니..
리자몽
21/09/02 11:40
수정 아이콘
기존에 쌓아놓은 빅데이터를 이용해서 가장 비슷한 조건으로 복원할테니 실제에 매우 가까운 유사 이미지라고 봅니다
21/09/02 11:41
수정 아이콘
목표 자체가 원본을 따라가는게 맞아서 무에서 유를 만들기 보단 원본에 있는 패턴을 최대한 유사하게 쫓아가는게 맞아요.
21/09/02 13:02
수정 아이콘
최근 Super Resolution은 GAN을 사용하니 원본에 의한 생성이미지라고 보시면 됩니다.
이달의소녀
21/09/02 13:23
수정 아이콘
실제하고 차이가있죠. 특히 낮은 해상도는 정보를 덜가지고 있기 때문에 실제와는 차이가 좀 더 납니다.
https://research.nvidia.com/publication/2017-10_Learning-to-Super-Resolve
맨 오른쪽 ground truth가 실제 이미지, 맨 왼쪽 input이 저해상도 이미지, 맨 오른쪽에서 두번째 ours가 복원된 이미지입니다.
요즘 모델이 좀더 자연스러운 이미지가 나오긴할텐데 근본적으로 바뀌는건 없습니다 실제하고는 차이가 생겨요

만약 실제이미지에 점이 있다면 저해상도 이미지에선 점이 있는 픽셀이 조금 어둡게 될텐데
업스케일링 모델이 단순히 피부색을 어둡게할지, 점으로 그려질지, 반점으로 넓게 그릴지, 주름으로 그림자를 만들지는 모르겠습니다.
21/09/02 13:31
수정 아이콘
명확하게는 원본이란건 존재하지 않습니다.
원본이란게 존재하려면 같은 장면을 같은 조도에서 같은 환경으로 낮은 resolution 카메라로 찍은것을 SR 로 처리 한것과, 같은 장면을 높은 resolution 카메라로 찍은 것과 비교 해야 명확한거죠. 하지만 불가능 하다는것 ...
논문에서도 input을 downsampling 한것을 다시 SR 처리해서 원본과 비교 하고 정량적 수치를 뽑습니다. 원본에 유사하게 가는게 맞아요
이달의소녀
21/09/02 13:44
수정 아이콘
네 그런데 질문자의 질문의도는 그 없는 원본을 가정해서 그것과 얼마나 동일하냐, 얼마나 차이가 생기는지 묻는듯해서요.
유사하지만 차이가 생길수 있다, 저해상도 이미지를 쓸수록 차이가 커지는 경향이 있다로 대답한건데 제 표현이 좋지 않았나봅니다
21/09/02 13:57
수정 아이콘
답변 감사합니다. 저해상도 일수록 복원이 쉽지 않은건 공감합니다 근데 게시한 영상은 진짜 최악으로 해상도가 안좋은데 저정도로 복원한거도 대단한거 같아요 기술력이 역시 ..
이달의소녀
21/09/02 14:04
수정 아이콘
그쵸 진짜 마법같아요. 옛날 싸이월드, 하두리시절 사진들 업스케일링+디노이징한거 보면 너무 깔끔해서 깜짝 놀랍니다
21/09/02 14:29
수정 아이콘
일반 영상은 안되고 사람얼굴 한정으로 학습하고 복원시킨게 아닐까 추측하는데 아무튼
대단합니다 좋은 정보 감사합니다
도롱롱롱롱롱이
21/09/03 13:48
수정 아이콘
아니 이런 논의가 있었군요.

제 질문은 저랑 닮은 A, B, C, D 라는 사람이 있고, 실제로 각각의 닮은 사람들은 명확하게 다른 특징들을 가지고 있어서 실제로 보면 "닮았다"이지 다른 사람이라는 것을 알고 있다고 했을 때, 저를 찍은 원본 사진의 이미지가 어느 정도 뭉게 졌을 때 즉 나인지, A, B, C, D 인지 알 수 없는 상태에서 AI를 통해 복원되었을 때 완벽한 C를 생성해 낼 수도 있지 않을까 하는 생각이었어요. 물론 E, F 같은 새로운 중간 점의 이미지가 나올 가능성이 제일 크겠죠.

즉 AI가 자연스럽게 복원한다는 것은 그 간 학습된 데이터에 의한 가장 자연스러운 패턴으로 조합하는 것일텐데, 복원된 이미지와 원래 실존했을 때의 이미지 상의 차이가 크게 의미 있는 산업 (ex 범인 몽타주)에서는 사용했을 때 이 차이를 명확하게 인지하지 않으면 문제가 될 수 있지 않을까? 하는 생각이 들어서였습니다.
체리과즙상나연찡
21/09/02 11:48
수정 아이콘
기술 발전을 염원합니다
꼭 쓰고싶은게 있어요
21/09/02 12:51
수정 아이콘
영화 카사블랑카 컬러화가 생각나네요
구좋알
21/09/02 14:37
수정 아이콘
얼마전에 유튭에 추천영상으로 이런게 떠서 봤습니다.
원본영상으로 추측컨데 300이하 해상도에 프레임도 15정도? 될까 보이는데
4k, 60프레임으로 튀겨서 보여주더라구요

[60 fps] Views of Tokyo, Japan, 1913-1915
http://youtu.be/MQAmZ_kR8S8
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회 추천
93593 [일반] 귀르가즘 [25] 아난4904 21/10/01 4904 5
93592 [일반] 나의 구세주는 어디에?-웹툰 구주의 시간 소개 [19] lasd2412515 21/10/01 2515 9
93591 [일반] 백신접종 안한 사람을 사적모임에서 뺀다? [355] 만수르12811 21/10/01 12811 0
93590 [정치] (호소문)집단잔금 대출을 막으면 우린 죽습니다. 1세대 실거주 서민을 살려주십시오. [86] Leeka9364 21/10/01 9364 0
93589 [일반] 제가 의식에 있어 중요 질문이라 보는 게 있습니다 [47] 니그라토4132 21/10/01 4132 2
93588 [정치] 영화보다 현실이 더 잔혹할 수도 [17] 헤일로5653 21/10/01 5653 0
93587 [정치] 대장동 키맨 유동규 체포, 측근의 정의는 어떻게 내려야 하나 [62] 나주꿀6440 21/10/01 6440 0
93586 [일반] 카페 수영장서 6세 익사…"구조요원 없어" vs "부모 책임 [174] 로즈마리12200 21/10/01 12200 0
93585 [일반] 상생소비지원금 최종 제외 업종 공유 [37] Leeka5205 21/10/01 5205 1
93584 [일반] AI가속기 경쟁, 그리고 차세대 반도체 칩 시장 [52] cheme4081 21/10/01 4081 45
93583 [정치] 화천대유건을 보면서 기분이 착잡하네요. [85] -안군-7943 21/10/01 7943 0
93582 [정치] 국민의힘, 상도수호 놓고 이준석vs조수진 파열음 [131] 아츠푸10129 21/10/01 10129 0
93581 [일반] "P2P 사이트에서 '오징어 게임'을 다운로드한 분들, 이제 큰일 났습니다" [49] 슈테11537 21/10/01 11537 0
93579 [정치] 대선 후보와 유유상종 [124] 답이머얌7315 21/10/01 7315 0
93578 [일반] 민사소송 후기 - 이제야 끝났다. [21] Lovesick Girls4397 21/10/01 4397 46
93577 [일반] 언제쯤이면 실감나는 가상현실게임을 해볼수있을까요? [36] 이츠키쇼난3431 21/09/30 3431 1
93576 [일반] 로드 자전거 입문했습니다! [33] 코바야시아이카2271 21/09/30 2271 4
93575 [정치] 카카오뱅크의 마통 신규대출이 중단됩니다. [20] Leeka6971 21/09/30 6971 0
93574 [정치] 조선일보와 청와대와 BTS.. [77] Restar7309 21/09/30 7309 0
93573 [일반] 지하주차장 테러 민사소송 합의 하였습니다. [50] Lovesick Girls7574 21/09/30 7574 89
93572 [일반] 일본에서 느끼는 문화 - OTT, 영화, 애니메이션, 만화 [25] 체온4126 21/09/30 4126 3
93571 [정치] 전세대출 규제 앞두고…은행들 잇단 한도 축소 [35] Leeka5120 21/09/30 5120 0
93570 [정치] 중국과 호주의 고래싸움에 등이 터져버린 새우 한 마리 [42] 나주꿀7042 21/09/30 7042 0
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로