PGR21.com
- 자유 주제로 사용할 수 있는 게시판입니다.
- 토론 게시판의 용도를 겸합니다.
Date 2021/09/02 10:20:53
Name 맥스훼인
File #1 upscale.png (1.49 MB), Download : 0
File #2 o1bz27gblq861.png (198.9 KB), Download : 0
Subject [일반] 발전하는 AI영상처리기술 - 업스케일링




기존에는 사진, 영상 등에 있어 원본 소스가 구리면 어떻게 처리하더라도
영상을 살릴 방법이 없어 좋은 영상을 보고 싶으면 좋은 소스를 구해야 한다는게 당연한 이야기였습니다.
그래서 고전 영화 등에 있어 열화된 비디오 등의 복사본이 아닌 원본 소스를 구하는 것이 중요하였죠

하지만 기존 보간법 정도의 단순한 업스케일 영상처리기술에 AI기술이 접목되며
열화된 영상을 원본소스에 가깝게
그걸 넘어 원본 소스보다 더 뛰어난 품질로 만들어주는 방법들이 연구되고 있습니다.

그 방법이 현재는 두가지로 진행중인데

1. 재생기기 자체에서 업스케일링
UHD TV중 대기업 고사양 제품의 경우 기본적으로 업스케일링 기능이 딸려 나오며
4k화질이 아닌 FHD화질을 보더라도 UHD TV가 더 선명하게 보이는건 이 업스케일의 힘이라고 볼 수 있습니다.

쉴드tv같은 재생기기의 경우 AI업스케일링을 지원하며 일반적인 tv 업스케일링보다 더 좋은 화질을 보여주긴 합니다.

다만 이 경우 실시간으로 업스케일이 진행되기에 생각보다 화질의 차이가 크다고 느끼긴 어려울 순 있습니다.



2. 영상처리 프로그램을 통한 업스케일링
waifu2x 및 topaz video와 같은 프로그램을 통해 업스케일링 인코딩을 하여
영상 자체를 업스케일링하는 방식입니다.

생각보다 큰 차이를 보여주고 특히 애니메이션과 같은 경우 천지개벽 정도의 차이를 보여줍니다.
업스케일 과정에서 노이즈 제거 등도 가능하구요

최근 유튜브 등에서 고전 애니나 만화영화를 업스케일링한 영상들이 업로드 되고 있습니다.
예를 들면 둘리 얼음별 대모험의 경우 다음과 같이 업스케일이 가능하구요
https://www.youtube.com/watch?v=YOG6CTSGTd8

고전 애니나 고전 므흣동영상을 좋아하시는분들에게 한줄기 빛과 같은 일이지만
다만 문제는 인코딩에 엄청난 시간이 들어간다는겁니다.
720p 한시간 정도의 동영상을 5600x 3080으로 4k 업스케일링해도
하루 반나절 정도가 걸리더군요....
(엔비디아와 토파즈의 궁합이 잘 안 맞긴 합니다만..)

최근 방송사에서도 인기 동영상들을 업스케일하여 다시 서비스중에 있으며
무한도전의 경우 mbc m에서 웨이브 서비스중에 있습니다.

업스케일링 프로그램의 사양의 장벽이 높긴 하지만
고오전 애니,동영상을 좋아하시는 많은 분들이 도전하여 재창조된 영상들을 볼 수 있지 않을까 기대되네요

통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
태정태세비욘세
21/09/02 10:24
수정 아이콘
난 썩었어..
맥스훼인
21/09/02 10:26
수정 아이콘
생각하시는 그 방향으로도
고오전 동영상들이 재창조되고 있는 걸로 알고 있습니다;;;;
21/09/02 10:26
수정 아이콘
???
아영기사
21/09/02 10:28
수정 아이콘
저랑 같은 생각을 하셨을 거 같군요
21/09/02 10:28
수정 아이콘
도대체 일상생활이 가능하신겁니까...
이른취침
21/09/02 11:29
수정 아이콘
(끄덕) 그것이 일상이니까...
-안군-
21/09/02 13:49
수정 아이콘
비켜봐. 시켜볼게 있어(?)
황금경 엘드리치
21/09/02 10:33
수정 아이콘
옛날 애니 화질 좀 올리면 좋긴 하겠네요. 근데 시간이 엄청 오래걸리나보네요
몽키매직
21/09/02 10:35
수정 아이콘
해상도 업스케일링, 프레임 보간 등의 인터폴레이션 기능들은 어쨋든 없는 정보를 추정해서 채워넣는거라 원본에는 없던 패턴 무늬 같은 게 생기는 경우도 있고, 업스케일을 좀 심하게 하면 깨진 그래픽 같이 보이고 하는 현상들이 생기죠... 모자이크 처리를 없애는 것도 상상하시는 경우가 있는데, 모자이크 부분 같은 경우 해상도를 2배 이상 뻥튀기 해야 되는데 이건 거의 새로 그리는 수준이라...
맥스훼인
21/09/02 10:40
수정 아이콘
네 말씀하신대로 후처리기술들은 없는 프레임, 정보들을 만들어 넣는거라 어색한 부분도 있긴합니다.
실시간 처리 기술보다 별도프로그램처리 쪽이 확실히 패턴이나 깨지는 부분들이 적긴 하더라구요.
모자이크는...언젠가 해결되겠죠? 크크
월급루팡의꿈
21/09/02 10:38
수정 아이콘
연구되기로는 엄청난 결과들을 보이고 있는데, 그걸 고해상도 이미지 혹은 비디오에 적용하려면 엄청난 computation이 필요하다는게 문제고..
그래서 TV에서 실시간 upscaling하는 기술은 의외로 굉장히 작은 딥러닝 모델만 들어가거나 그러는 척만 하는 기술이 들어가고 있을겁니다...
맥스훼인
21/09/02 10:42
수정 아이콘
네 재생기기의 실시간 처리기술은 그냥 눈속임에 가까우며(쉴드tv가 그나마 나은 정도..)
프로그램을 통한 영상처리는 엄청난 작업시간이 필요하긴 하죠.
다만 채굴보다 저쪽이 훨씬 생산성 있는 일이 아닐까..생각도 듭니다.
21/09/02 10:54
수정 아이콘
제가 LG U+ 셋탑박스와 실드TV 프로를 둘 다 쓰는데 동일소스, 동일 재생앱으로 비교해보면 실드TV 프로에 AI업스케일링 모드 적용했을 때 화질이 좀 더 좋긴 하더라고요.
맥스훼인
21/09/02 11:03
수정 아이콘
저도 사용중이지만 쉴드tv쪽이 엔비디아의 기술력이 있어서인지 확실하긴 한거 같습니다.
Respublica
21/09/02 10:55
수정 아이콘
업스케일 어디까지 되나 한번 480 × 320 영상을 4배 올려봤는데 이미 뭉개진 채로 찍힌 얼굴은 못살리더군요. 휙휙 돌아가는 사진도 좀 뭉개져서 보기 힘들긴 합니다.
이게 그래도 애니메이션에서 훨씬 더 깔끔하게 나오는데 이유를 생각해보니, 애초부터 연속동작이 아닌 프레임단위였고, 그림의 경계 명확하다 보니 더 깔끔하게 처리해주더라구요.
맥스훼인
21/09/02 11:02
수정 아이콘
ai업스케일도 기존의 정보에 추가를 하는거라
기존 영상이 어느정도 받쳐주는 선에서 좋아지기 때문에
720p정도는 되어야 처리된 영상이 볼만하긴 합니다.
애니메이션이야 확실하긴 하죠.
개별 이미지(프레임)들을 처리하기만 해도 되니까요
항정살
21/09/02 10:58
수정 아이콘
그래서 실드tv로 삼성 uhd티비에 영상 재생하면 화질이 쩔었구나. 두번 업스케일링 한 셈이니
21/09/02 11:09
수정 아이콘
제 대학원때 전공이네요 ... 크크
metaljet
21/09/02 11:15
수정 아이콘
원래 업스케일링을 그냥 업컨버전의 의미로 썼던 것 같은데 이제 AI 영상처리로 의미가 바뀌었군요.
21/09/02 11:40
수정 아이콘
Super Resolution 이라고 업스케일링+화질복원을 의미하는 용어가 따로 있을거에요
도롱롱롱롱롱이
21/09/02 11:38
수정 아이콘
이게 좀 궁금한게, AI를 통해 업스케일된 이미지는 실제라고 봐야 할까요?
AI가 자연스럽게 이미지를 보간해 낼 수는 있는데, 실제 이미지와 동일한 이미지를 만들어낼 수는 없지 않을까요?
예를 들어 코 옆에 점이난 어떤 사람의 얼굴을 낮은 해상도(점은 커녕 얼굴도 잘 보이지 않음)에서 AI 업스케일링을 했을때 자연스러운 얼굴로 만들어내겠지만 점을 만들어낸다는건 무에서 유를 만드는 것이니..
리자몽
21/09/02 11:40
수정 아이콘
기존에 쌓아놓은 빅데이터를 이용해서 가장 비슷한 조건으로 복원할테니 실제에 매우 가까운 유사 이미지라고 봅니다
21/09/02 11:41
수정 아이콘
목표 자체가 원본을 따라가는게 맞아서 무에서 유를 만들기 보단 원본에 있는 패턴을 최대한 유사하게 쫓아가는게 맞아요.
21/09/02 13:02
수정 아이콘
최근 Super Resolution은 GAN을 사용하니 원본에 의한 생성이미지라고 보시면 됩니다.
이달의소녀
21/09/02 13:23
수정 아이콘
실제하고 차이가있죠. 특히 낮은 해상도는 정보를 덜가지고 있기 때문에 실제와는 차이가 좀 더 납니다.
https://research.nvidia.com/publication/2017-10_Learning-to-Super-Resolve
맨 오른쪽 ground truth가 실제 이미지, 맨 왼쪽 input이 저해상도 이미지, 맨 오른쪽에서 두번째 ours가 복원된 이미지입니다.
요즘 모델이 좀더 자연스러운 이미지가 나오긴할텐데 근본적으로 바뀌는건 없습니다 실제하고는 차이가 생겨요

만약 실제이미지에 점이 있다면 저해상도 이미지에선 점이 있는 픽셀이 조금 어둡게 될텐데
업스케일링 모델이 단순히 피부색을 어둡게할지, 점으로 그려질지, 반점으로 넓게 그릴지, 주름으로 그림자를 만들지는 모르겠습니다.
21/09/02 13:31
수정 아이콘
명확하게는 원본이란건 존재하지 않습니다.
원본이란게 존재하려면 같은 장면을 같은 조도에서 같은 환경으로 낮은 resolution 카메라로 찍은것을 SR 로 처리 한것과, 같은 장면을 높은 resolution 카메라로 찍은 것과 비교 해야 명확한거죠. 하지만 불가능 하다는것 ...
논문에서도 input을 downsampling 한것을 다시 SR 처리해서 원본과 비교 하고 정량적 수치를 뽑습니다. 원본에 유사하게 가는게 맞아요
이달의소녀
21/09/02 13:44
수정 아이콘
네 그런데 질문자의 질문의도는 그 없는 원본을 가정해서 그것과 얼마나 동일하냐, 얼마나 차이가 생기는지 묻는듯해서요.
유사하지만 차이가 생길수 있다, 저해상도 이미지를 쓸수록 차이가 커지는 경향이 있다로 대답한건데 제 표현이 좋지 않았나봅니다
21/09/02 13:57
수정 아이콘
답변 감사합니다. 저해상도 일수록 복원이 쉽지 않은건 공감합니다 근데 게시한 영상은 진짜 최악으로 해상도가 안좋은데 저정도로 복원한거도 대단한거 같아요 기술력이 역시 ..
이달의소녀
21/09/02 14:04
수정 아이콘
그쵸 진짜 마법같아요. 옛날 싸이월드, 하두리시절 사진들 업스케일링+디노이징한거 보면 너무 깔끔해서 깜짝 놀랍니다
21/09/02 14:29
수정 아이콘
일반 영상은 안되고 사람얼굴 한정으로 학습하고 복원시킨게 아닐까 추측하는데 아무튼
대단합니다 좋은 정보 감사합니다
도롱롱롱롱롱이
21/09/03 13:48
수정 아이콘
아니 이런 논의가 있었군요.

제 질문은 저랑 닮은 A, B, C, D 라는 사람이 있고, 실제로 각각의 닮은 사람들은 명확하게 다른 특징들을 가지고 있어서 실제로 보면 "닮았다"이지 다른 사람이라는 것을 알고 있다고 했을 때, 저를 찍은 원본 사진의 이미지가 어느 정도 뭉게 졌을 때 즉 나인지, A, B, C, D 인지 알 수 없는 상태에서 AI를 통해 복원되었을 때 완벽한 C를 생성해 낼 수도 있지 않을까 하는 생각이었어요. 물론 E, F 같은 새로운 중간 점의 이미지가 나올 가능성이 제일 크겠죠.

즉 AI가 자연스럽게 복원한다는 것은 그 간 학습된 데이터에 의한 가장 자연스러운 패턴으로 조합하는 것일텐데, 복원된 이미지와 원래 실존했을 때의 이미지 상의 차이가 크게 의미 있는 산업 (ex 범인 몽타주)에서는 사용했을 때 이 차이를 명확하게 인지하지 않으면 문제가 될 수 있지 않을까? 하는 생각이 들어서였습니다.
체리과즙상나연찡
21/09/02 11:48
수정 아이콘
기술 발전을 염원합니다
꼭 쓰고싶은게 있어요
21/09/02 12:51
수정 아이콘
영화 카사블랑카 컬러화가 생각나네요
구좋알
21/09/02 14:37
수정 아이콘
얼마전에 유튭에 추천영상으로 이런게 떠서 봤습니다.
원본영상으로 추측컨데 300이하 해상도에 프레임도 15정도? 될까 보이는데
4k, 60프레임으로 튀겨서 보여주더라구요

[60 fps] Views of Tokyo, Japan, 1913-1915
http://youtu.be/MQAmZ_kR8S8
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회 추천
93561 [일반] 알파고가 말하는 한국의 난민 문제 [88] 캡틴골드8653 21/09/30 8653 56
93560 [일반] 카카오, 웹툰 작가 ‘검열’ 논란···“중국 불편하게 하지 말라” [86] 추천7917 21/09/29 7917 9
93559 [일반] 차기 일본 총리 기시다 후미오는 누구인가? [45] 이그나티우스6012 21/09/29 6012 41
93558 [일반] 회사 선배의 치킨집에서 일했던 일화 [44] 어바웃타임6077 21/09/29 6077 26
93557 [일반] <007: 노 타임 투 다이> 후기 - 강 스포!! [43] aDayInTheLife4663 21/09/29 4663 3
93556 [일반] 백신 2차접종 예약일자 확인하세요 [29] 바람의바람5044 21/09/29 5044 1
93555 [일반] 일본에서 느끼는 문화를 키워드 별로 적어봤습니다. [32] 체온4794 21/09/29 4794 13
93554 [정치] 화천대유가 재밌게 흘러가네요<09.30추가>. [112] StayAway11764 21/09/29 11764 0
93553 [일반] [영화] 약스포)용과 주근깨 공주, 호소다 감독은 뭘 전하고 싶었던걸까? [27] 로각좁2789 21/09/29 2789 1
93552 [정치] 공공 임대주택의 빈집 비율은 얼마나 될까? [32] Leeka5349 21/09/29 5349 0
93551 [일반] 논의 궤도에 오르기 시작한 백신패스 [132] 나주꿀8034 21/09/29 8034 1
93550 [정치] 일본 차기 총리는 기시다가 됐군요 [28] Aimyon5110 21/09/29 5110 0
93549 수정잠금 댓글잠금 [일반] '저건 동물일 뿐이야' (벤야민, 아도르노) [63] 아난4477 21/09/29 4477 3
93548 [일반] 잠수함은 어떻게 물 밑을 보고 다닐까? + 우리에게 핵잠이 필요한 이유중 하나 [41] 나주꿀5125 21/09/29 5125 35
93547 [일반] 오징어게임에서의 깐부 [47] 로드바이크6887 21/09/29 6887 0
93546 [일반] 출생률에 대한 두서없는 사견. [117] 벨로린6440 21/09/29 6440 16
93545 [정치] 고난의 윤석열, 대검 장모 변호문건과 부친 집 매매 [245] 유료도로당13280 21/09/29 13280 0
93544 [일반] 성남시민 초청 힐링 콘서트 [15] 빵pro점쟁이4455 21/09/29 4455 3
93543 [정치] 불공정에 노출될 기회가 많아졌습니다 [61] 아루에8285 21/09/29 8285 0
93542 [정치] 나랑 안 놀아주면 아저씨 감옥 간다? [57] 2021반드시합격9389 21/09/29 9389 0
93541 [정치] 10월부터 시행되는 상생소비지원금 정리 [45] Leeka7444 21/09/29 7444 0
93540 [일반] 9월에 찍은 사진들 [23] 及時雨2596 21/09/28 2596 14
93539 [일반] 살살 녹는 업진살 먹으면서 개식용 반대할 수도 있지! [247] 아스라이10745 21/09/28 10745 10
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로