Video2X: AI 비디오 업스케일링 가이드 및 리뷰

AI 기반 비디오 업스케일링은 오래되거나 저해상도 영상의 품질을 향상시키는 획기적인 기술로 자리 잡았습니다. 2018년에 시작된 Video2X는 GitHub에서 인기 있는 솔루션으로 성장했습니다. 머신러닝을 기반으로 한 이 도구의 핵심 목적은 비디오의 해상도, 프레임 속도, 품질을 개선하는 데 있습니다. Video2X는 무료로 제공되는 오픈 소스 프로젝트입니다. 간단히 말해, 저해상도 비디오를 가져와 해상도를 480p에서 1080p 또는 4K로 높이고 더 부드러운 움직임을 위해 프레임 속도를 향상시킬 수 있으며, 상업용 소프트웨어의 높은 가격 부담 없이 이를 구현할 수 있습니다.

이 블로그에서는 Video2X에 대한 모든 것을 탐구하고, 우리의 경험을 공유하며, 다른 AI 기반 동영상 업스케일러들과 어떻게 경쟁하는지 살펴보겠습니다. 최종적으로, 이것이 당신의 필요에 가장 적합한 선택인지 판단할 수 있을 것입니다.

Video2X 다운로드

Video2X는 완전히 무료로 사용할 수 있습니다. 이 소프트웨어는 AGPL 오픈소스 라이선스 하에 배포됩니다. 하지만 Google에서 찾을 수 있는 video2x.app 사이트와 같은 다른 웹사이트는 공식 Video2X 프로젝트와 관련이 없습니다.

이 소프트웨어는 Windows와 Linux에서 작동하며, macOS에 대한 커뮤니티 지원은 제한적입니다. 모든 기능을 무료로 다운로드하여 사용할 수 있지만, 적절한 성능을 발휘하려면 성능이 우수한 시스템이 필요합니다. 실질적인 사용을 위해서는 중급에서 고급 수준의 GPU를 추천합니다.

Google Colab

PC 성능이 부족하다면, Video2X를 클라우드에서 실행할 수 있습니다. 개발자는 Google Colab 노트북을 제공하며, 이를 통해 강력한 GPU(Nvidia Tesla K80/T4 등)를 최대 12시간 동안 무료로 사용할 수 있습니다. 이는 훌륭한 대안 방법입니다.

Windows

Video2X를 Windows 설치 프로그램 또는 사전 빌드된 패키지를 통해 다운로드하여 실행할 수 있습니다.

1. 릴리스 페이지에서 설치 파일을 다운로드합니다.
2. 설치 파일을 더블 클릭합니다.
3. 설치 경로를 선택합니다.
4. 화면의 안내에 따라 설치를 완료합니다.

미리 빌드된 바이너리에 대해:

아래 방법을 사용하세요:

$latestTag = (Invoke-RestMethod -Uri https://api.github.com/repos/k4yt3x/video2x/releases/latest).tag_name curl -LO "https://github.com/k4yt3x/video2x/releases/download/$latestTag/video2x-windows-amd64.zip" New-Item -Path "$env:LOCALAPPDATA\Programs\video2x" -ItemType Directory -Force Expand-Archive -Path .\video2x-windows-amd64.zip -DestinationPath "$env:LOCALAPPDATA\Programs\video2x"

그 다음에 추가할 수 있습니다. %LOCALAPPDATA%\Programs\video2x 명령줄에서 Video2X를 실행하기 위해 PATH 환경 변수에 추가하세요.

Linux

Video2X는 패키지 관리자를 통해 설치하거나 소스 코드에서 빌드할 수 있습니다. Arch Linux 사용자들은 AUR에서 video2x, video2x-git, video2x-qt6 또는 Qt6 GUI용 video2x-qt6-git 같은 패키지를 통해 소프트웨어를 사용할 수 있습니다.

커뮤니티가 제공한 패키지와 Docker 컨테이너를 사용할 수 있습니다. 또한 다른 리눅스 배포판에서 의존성 관리를 하지 않고도 실행할 수 있는 휴대용 옵션으로 AppImage 형식이 제공됩니다.

Video2X Mac

Video2X의 공식 Mac용 빌드는 제공되지 않습니다. 하지만 적절한 드라이버와 설정을 갖춘다면 이론적으로 macOS에서도 Video2X를 실행할 수 있습니다. 기술적 지식이 있는 사용자들은 컨테이너를 사용하거나 호환되는 Vulkan 드라이버를 설치하는 방식으로 실행에 성공하기도 했습니다. 반면 일반적인 Mac 사용자에게는 이러한 과정이 다소 복잡하게 느껴질 수 있습니다. 따라서 현재의 비공식적인 실행 방법들은 상당한 기술적 전문 지식과 인내심을 요구하므로, macOS 사용자라면 VideoProc Converter AI와 같은 대안을 사용하는 편이 더 나을 수 있습니다.

Video2X Qt6 사용법

Video2X는 이제 세련된 GUI를 제공하여 고해상도 업스케일링 과정을 모든 사람이 쉽게 접근할 수 있도록 합니다. Video2X GUI를 실행한 후 동영상 파일을 큐에 추가하고, 업스케일링에 사용할 AI 모델을 선택하며 출력 설정을 구성할 수 있습니다. 이 인터페이스는 직관적이어서 깊은 기술적 지식이 없어도 쉽게 시작할 수 있습니다.

1단계. 소프트웨어에 동영상 또는 이미지 파일을 추가하세요.

2단계. 처리 모드를 적절하게 선택하세요. 해상도를 높이려면 필터(업스케일링)를 선택하고, 프레임 속도를 높이려면 프레임 보간을 선택하세요.

3단계. 필요에 따라 AI 모델 또는 셰이더를 선택하세요.

4단계. 해상도, 출력 형식 등의 설정을 조정하세요.

5단계. 시작 버튼을 눌러 처리를 시작하세요.

핵심 기능 테스트 및 리뷰

Video2X Upscaler

Video2X는 단일 알고리즘에 국한되지 않습니다. 여러 최첨단 고해상도 방법이 통합되어 있습니다. 특히 Real-ESRGAN, Real-CUGAN, Anime4K 등을 지원합니다. 콘텐츠에 가장 적합한 프로세서를 선택할 수 있습니다. 예를 들어 Anime4K는 애니메이션 콘텐츠에 가장 적합하며, Real-ESRGAN은 라이브 액션 영상에 적합합니다. 적절한 모델을 사용하면 흐릿한 옛날 영상이 놀랍도록 선명하게 변할 수 있습니다.

그래서 몇 개의 동영상을 선택하여 이 업스케일링 필터에 대해 테스트를 진행해 보았습니다. 첫 번째는 5초짜리 애니메이션 클립 (854×480 픽셀) MPEG-4 AVC 형식으로 30fps에서. 저는 realesr-animevideov3 모델을 설정하고 확대 비율을 2로 설정했습니다. Video2X는 단 17초 만에 비디오를 업스케일했습니다. 아래는 제가 얻은 결과입니다.

Video2X는 이 2D 디지털 애니메이션 영상에서 뛰어난 성능을 발휘했다고 말할 수 있습니다. 보시다시피, 캐릭터 주변의 검은 윤곽선, 눈동자, 입의 경계선이 매우 선명한 라인으로 변했습니다. 원본 영상에 있던 어두운 도로와 배경 나무의 블록형 압축 노이즈는 거의 완전히 평탄화되고 부드럽게 처리되었습니다. 불필요한 텍스처나 가장자리 왜곡을 초래하지 않으면서, 고속으로 본래의 벡터 해상도처럼 보이는 작품 상태를 복원했습니다.

하지만 현실적인 스타일의 영상에서는 문제가 발생합니다. 다양한 모델과 그 변형들 중에서 현실적인 영상 처리를 다룰 수 있는 것은 오직 Real-ESRGAN-Plus 모델뿐입니다. Real-CUGAN이나 Anime4K 같은 다른 모델들은 애니메이션 스타일 콘텐츠를 기반으로 훈련되었습니다. Real-ESRGAN-Plus는 이미 2배로 비디오 업스케일링이 가능한 모델을 갖추고 있지만, 유지 관리자가 아직 이 옵션을 추가하지 않은 것으로 보입니다. 따라서 현실적인 스타일의 비디오에서 Video2X를 사용할 경우, Real-ESRGAN-x4plus 모델만 이용 가능하며, 이는 고정된 4배 업스케일링 비율을 강제합니다.

이번에는 두 번째 테스트 동영상(총 225프레임, 7.5초 길이의 털이 복슬복슬한 강아지 세로 영상)을 2배로 업스케일링하기 위해 Real-CUGAN의 'models-pro' 모델을 선택했습니다. 이번 작업에서 Video2X는 완료하는 데 172초가 걸렸습니다. 예상대로 결과물은 엉망이었습니다. 어쨌든, 결과는 다음과 같습니다.

강아지의 주둥이, 턱, 그리고 빨간 안경을 자세히 살펴보세요. Video2X는 대비가 강한 경계선에 따라 두껍고 어두운 벡터 스타일의 윤곽선을 그렸습니다. 이는 이미지가 얼핏 보기엔 매우 선명해 보이게 하지만 사진의 현실감을 희생시키는 결과를 가져옵니다. 강아지 주변의 후광, 링잉, 그리고 어두운 윤곽선 같은 아티팩트도 언급할 필요가 있습니다.

프레임 보간 (FPS 향상)

해상도를 확대하는 것 외에도, Video2X는 새로운 프레임을 보간하여 비디오의 프레임 레이트를 부드럽게 증가시킬 수 있습니다. AI 기반 프레임 보간을 위해 RIFE(Real-Time Intermediate Flow Estimation)와 같은 알고리즘을 통합하고 있습니다. 이는 슬로우 모션 효과를 만들거나 낮은 FPS로 녹화된 오래된 영상을 업스케일하는 데 매우 유용합니다. GUI에서는 프레임 보간 모드와 목표 프레임 배수를 선택할 수 있으며, Video2X는 AI를 사용해 중간 프레임을 생성합니다.

맞춤형 인코딩 및 워크플로

Video2X는 내부적으로 FFmpeg를 사용하여 비디오 입출력을 처리하며, 사용자가 원하는 경우 인코딩 설정을 조정할 수 있는 제어권을 제공합니다. 사용자는 출력 형식, 인코더 옵션을 추가 매개변수를 통해 지정하거나 기본 설정을 사용할 수 있습니다.

최신 아키텍처(v6.x)는 효율성을 극대화하도록 최적화되었습니다. 프레임은 각 단계 사이에 디스크에 저장되지 않고 메모리에서 처리됩니다. 이를 통해 방대한 임시 저장 공간을 피하고 파이프라인 속도를 높일 수 있습니다. 초기 버전에서는 수천 개의 프레임을 디스크에 저장했기 때문에 수백 GB를 소비했지만, 현재 버전은 훨씬 더 간소화되어 업스케일링 작업을 더 빠르고 메모리 효율적으로 수행할 수 있습니다.

완전히 무료이며 커뮤니티 주도로 운영됩니다.

Video2X의 가장 큰 장점은 무료 소프트웨어라는 점입니다. 꽤 비싼 비용이 드는 상용 AI 동영상 업스케일링 도구들과 비교해 볼 때, 이렇게 강력한 도구를 무료로 사용할 수 있다는 점은 정말 감사한 일입니다.

오픈 소스 특성은 전 세계 개발자들의 기여를 받을 수 있다는 것을 의미하며, 사용자는 GitHub에서 개선 사항을 제안할 수 있습니다. Video2X 커뮤니티는 최고의 결과를 얻기 위한 설정을 공유하고, 가이드를 작성하며, 대체 GUI와 같은 프론트엔드를 구축하기도 했습니다. 이러한 협력적인 생태계 덕분에 이 도구는 지속적으로 개선되고 있습니다.

과제와 한계

GPU 및 호환성 문제

위 내용과 관련하여, 일부 사용자들은 Video2X가 GPU를 제대로 활용하지 못하는 문제에 직면했습니다. Video2X는 Vulkan 지원이 필요하기 때문에 구형 GPU를 사용하거나 macOS를 사용하는 경우 어려움을 겪는 사례가 있었습니다. 또한, 특정 모델이 최대 속도로 작동하려면 그래픽 드라이버를 업데이트하거나 CUDA/cuDNN을 설치해야 한다는 점도 확인되었습니다.

현실적인 영상에 대한 스케일링 요인의 제한사항

실제 영상의 경우, Video2X는 현재 다음만 지원합니다. realesrgan-x4plus 모델. 이 모델은 오로지 4배 확대 아키텍처로만 훈련되었기 때문에 고정된 4배 업스케일링 비율만 지원합니다.

다시 말해, Video2X에서 비(非)애니메이션 비디오를 2배 또는 3배로 업스케일하려는 경우, 4배로 확대한 뒤 추가적인 조정을 진행하거나 애니메이션에 특화된 모델을 사용해 보는 방법이 있습니다.

또한, Video2X에는 해상도를 변경하지 않으면서 실사 영상의 화질을 개선할 수 있는 모델이 포함되어 있지 않습니다. 이는 프로젝트의 모델 파일을 확인해 보면 알 수 있습니다.

속도 제한

가장 일반적으로 언급되는 단점은 성능 문제입니다. 신경망을 사용하여 비디오 프레임을 업스케일링하는 것은 계산 자원이 많이 필요합니다. Video2X는 애니메이션 스타일의 비디오를 매우 빠르게 처리합니다. 하지만 현실적인 비디오의 경우, 고급 GPU를 사용하지 않으면 Video2X의 처리 속도가 매우 느릴 수 있다고 많은 사용자가 보고하고 있습니다.

예를 들어, 일반 PC에서 Real-ESRGAN 모델을 사용할 경우 초당 1-2 프레임 정도만 처리될 수 있어, 1분 분량의 영상을 고해상도로 업스케일하는 데 몇 시간이 걸릴 수 있습니다. 우리의 경험에 따르면, 그것은 614초 15초 길이의 636x480 해상도, 23.976 fps 프레임 속도, 총 364프레임의 영상을 4배로 업스케일하려면 속도가 빠르다고 할 수는 없습니다. 아래는 결과 출력물입니다.

이전에 현실적인 동영상을 사용한 업스케일링 테스트에서도 이를 확인할 수 있습니다. 아래는 Video2X를 포함한 여러 동영상 향상 소프트웨어 애플리케이션의 테스트 결과를 나란히 비교한 것입니다.

보시다시피, Video2X는 속도가 특히 빠르지는 않지만, 주요 장점 중 하나는 VRAM의 최대 사용량이 매우 낮다는 점입니다. 그러나 렌더링 과정에서 Video2X가 원본 225프레임 중 2프레임을 누락시켜 최종적으로 223프레임만 출력하는 것을 발견했습니다. 영상이 더 길어질 경우 이로 인해 오디오 싱크가 어긋날 가능성이 있습니다.

Video2X 대안

Video2X는 품질 향상이라는 약속을 잘 이행하지만, 필요한 하드웨어와 다소 기술적인 특성은 모든 사용자에게 적합하지 않을 수 있습니다. 보다 간단하게 사용할 수 있고 적당한 품질을 제공하는 AI 동영상 업스케일러를 찾고 있다면, VideoProc Converter AI 제공하는 가치에 비해 높은 가격표 없이 사용할 수 있는 좋은 대안입니다.

VideoProc Converter AI는 Windows와 macOS를 기본적으로 지원합니다. 이 소프트웨어에는 내장된 AI 고해상도 동영상의 해상도와 전반적인 품질을 향상시키기 위해 각기 다른 유형의 동영상에 적합한 다양한 알고리즘을 포함한 모듈입니다. 이 도구는 해상도를 최대 4배(400%)까지 증가시킬 수 있으며, 예를 들어 480p 영상을 1080p 또는 4K로 변환하면서 세부 사항을 유지 및 개선합니다. 애니메이션 영상이든 현실적인 영상이든 상관없이 1배에서 4배까지의 업스케일링 비율을 자유롭게 선택하거나 인기 있는 출력 해상도를 지정할 수 있습니다.

또한, 그것은 함께 제공됩니다. 프레임 보간 저속 FPS 영상을 고속 FPS 영상으로 변환하는 모듈입니다. 이 AI는 운동 추정 알고리즘을 사용하여 새로운 프레임을 생성하므로, 저속 FPS를 고속 FPS로 쉽게 변환하고 AI 수준의 부드러움으로 멋진 슬로 모션 영상을 만들 수 있습니다.

사실, 빠르고 신뢰할 수 있는 결과와 매끄러운 작업 흐름을 필요로 하는 일반 사용자라면 VideoProc Converter AI와 같은 사용자 친화적인 솔루션이 더 적합할 수 있습니다. 이 소프트웨어는 다양한 모델을 제공하고, 하드웨어에 최적화되며, 작업을 더 빠르게 완료하는 경우가 많습니다. 이러한 소프트웨어의 비용은 시간과 간편함을 제공합니다. 업스케일링 작업의 세부적인 내용에 반드시 관심이 있는 것이 아니라, 버튼 하나만 누르고 뛰어난 결과를 얻고자 하는 사람들에게 추천됩니다.

마무리

Video2X는 비디오 향상을 위해 AI를 활용하는 데 있어 비용을 들일 필요가 없다는 것을 증명합니다. 비디오, 이미지, GIF를 업스케일하여 고품질 결과를 제공하는 훌륭한 도구로, 적절한 하드웨어만 갖춘다면 더욱 빛을 발합니다. 이 리뷰에서는 설치 방법, 기능, 그리고 성능에 관한 솔직한 의견을 다뤘습니다. 많은 취미 활동자들뿐만 아니라 일부 전문가들에게도 Video2X는 특히 예산이 중요할 때 귀중한 도구가 될 수 있습니다.

하지만 자신의 시간과 사용 편의성을 우선시하는 사람들에게는 더 많은 기능과 빠른 처리 속도를 갖춘 VideoProc Converter AI와 같은 대안을 탐색하는 것이 더 나은 선택일 수 있습니다.