Video2X: Guida e recensione sull'upscaling video tramite intelligenza artificiale

Il miglioramento dei video tramite AI ha rivoluzionato il modo in cui si possono ottimizzare vecchi filmati o contenuti a bassa risoluzione. Avviato nel 2018, Video2X è da allora diventato una soluzione molto popolare su GitHub per questo scopo. Basato sull'apprendimento automatico, il suo obiettivo principale è migliorare la risoluzione, il frame rate e la qualità dei video. Si tratta di un progetto gratuito e open source. In termini semplici, puoi prendere un video a bassa risoluzione, aumentare la sua risoluzione (ad esempio, da 480p a 1080p o 4K) e migliorare il frame rate per un movimento più fluido, senza il costo elevato dei software commerciali.

In questo blog esploreremo tutto ciò che riguarda Video2X, condivideremo le nostre esperienze e vedremo come si confronta con altri strumenti AI per l'upscaling video. Alla fine, potrai decidere se è la scelta migliore per le tue esigenze.

Esperienza di Download e Configurazione di Video2X

Video2X è completamente gratuito da usare. È rilasciato sotto la licenza open-source AGPL. Tuttavia, qualsiasi altro sito web, come il sito video2x.app che potresti trovare su Google, non è affiliato al progetto ufficiale Video2X.

Il software funziona su Windows e Linux (il supporto per macOS da parte della comunità è limitato). Puoi scaricare e utilizzare tutte le funzionalità gratuitamente, ma richiede un sistema adeguato per garantire prestazioni soddisfacenti. Per un uso pratico, si consiglia una GPU di fascia media o alta.

Google Colab

Se il tuo PC non è abbastanza potente, Video2X può funzionare nel cloud. Gli sviluppatori mettono a disposizione un notebook Google Colab, permettendoti di utilizzare una GPU potente (ad esempio Nvidia Tesla K80/T4) per un massimo di 12 ore gratuitamente. Questo è un ottimo escamotage.

Windows

Puoi scaricare e utilizzare Video2X tramite l’installer per Windows o il pacchetto precompilato.

1. Scarica il programma di installazione dal pagina dei rilasci.
2. Fai doppio clic sull'installer.
3. Scegli la directory di installazione.
4. Segui le istruzioni sullo schermo per completare l'installazione.

Per i binari precompilati:

Usa il metodo seguente:

$latestTag = (Invoke-RestMethod -Uri https://api.github.com/repos/k4yt3x/video2x/releases/latest).tag_name curl -LO "https://github.com/k4yt3x/video2x/releases/download/$latestTag/video2x-windows-amd64.zip" New-Item -Path "$env:LOCALAPPDATA\Programs\video2x" -ItemType Directory -Force Expand-Archive -Path .\video2x-windows-amd64.zip -DestinationPath "$env:LOCALAPPDATA\Programs\video2x"

Puoi quindi aggiungere %LOCALAPPDATA%\Programs\video2x alla variabile d'ambiente PATH per eseguire Video2X dalla linea di comando.

Linux

Video2X può essere installato tramite gestori di pacchetti o compilato dal sorgente. Per gli utenti di Arch Linux, il software è disponibile nell'AUR attraverso pacchetti come video2x, video2x-git, e video2x-qt6 o video2x-qt6-git per l'interfaccia grafica Qt6.

Sono disponibili pacchetti forniti dalla community e un container Docker. Il formato AppImage è inoltre offerto come opzione portabile per altre distribuzioni Linux, consentendo l’esecuzione senza la necessità di gestire le dipendenze.

Video2X Mac

Non esiste una build ufficiale di Video2X per Mac. Tuttavia, teoricamente è possibile eseguire Video2X su macOS con i driver e la configurazione corretti. Gli utenti più esperti dal punto di vista tecnico sono riusciti a utilizzarlo tramite container o installando driver Vulkan compatibili. Gli utenti Mac più casuali potrebbero trovare questo processo troppo complesso. Quindi, se utilizzi macOS, ricorrere a un alternativa Come VideoProc Converter AI potrebbe essere preferibile, poiché i metodi non ufficiali attuali richiedono una notevole competenza tecnica e molta pazienza.

Tutorial Video2X

Video2X ora dispone di un'interfaccia grafica (GUI) migliorata per rendere il processo di upscaling accessibile a tutti. Dopo aver avviato la GUI di Video2X, puoi aggiungere file video alla coda, scegliere il modello AI per l'upscaling e configurare le impostazioni di output. L'interfaccia è intuitiva. Non è necessaria una conoscenza tecnica approfondita per iniziare.

Passaggio 1. Aggiungi il file video o immagine al software.

Passaggio 2. Seleziona una modalità di elaborazione appropriata: Filtro (Upscaling) per aumentare la risoluzione oppure Interpolazione Fotogrammi per incrementare il frame rate.

Passaggio 3. Scegli il modello di AI o shader in base alle tue esigenze.

Passaggio 4. Modifica impostazioni come risoluzione, formato di output, ecc.

Passaggio 5. Premi Avvia per avviare l'elaborazione.

Test delle Funzionalità Principali e Recensione

Upscaler Video2X

Video2X non è legato a un singolo algoritmo. Integra diversi metodi all'avanguardia di super risoluzione. In particolare, supporta Real-ESRGAN, Real-CUGAN e Anime4K, tra gli altri. Puoi scegliere il processore che meglio si adatta al tuo contenuto. Ad esempio, Anime4K funziona al meglio con contenuti animati, mentre Real-ESRGAN è ideale per filmati live-action. Con il modello giusto, questo strumento può rendere un vecchio video sfocato drasticamente più chiaro.

Quindi ho selezionato alcuni video e ho fatto dei test su questo filtro di upscaling. Il primo è un clip anime di 5 secondi (854×480 pixel) in formato MPEG-4 AVC a 30 fps. Ho utilizzato il realesr-animevideov3 modello e impostare il fattore di scaling a 2. Video2X ha ingrandito il video in soli 17 secondi. Ecco cosa ho ottenuto.

Direi che Video2X ha eseguito in modo eccezionale su questo video di animazione digitale 2D. Come puoi vedere, i bordi neri intorno al personaggio, le pupille e i contorni della bocca sono stati trasformati in linee ultra nitide. Il rumore di compressione a blocchi presente nella strada scura e negli alberi sullo sfondo del video originale è stato quasi completamente eliminato e smussato. Ha ripristinato l'opera d'arte a quella che sembra essere la sua risoluzione vettoriale nativa ad alta velocità, senza introdurre texture indesiderate o distorsioni ai bordi.

Tuttavia, il problema si presenta con i video in stile realistico. Tra tutti i vari modelli e le loro varianti, solo il modello Real-ESRGAN-Plus gestisce il materiale video realistico. Altri modelli, come Real-CUGAN o Anime4K, sono stati addestrati su contenuti in stile anime. Sebbene Real-ESRGAN-Plus disponga già di un modello in grado di effettuare un upscaling video 2x, sembra che i manutentori non abbiano ancora aggiunto questa opzione. Di conseguenza, per i video realistici, sei limitato all'utilizzo del modello Real-ESRGAN-x4plus in Video2X, che impone un fattore di upscaling fisso di 4x.

In questo caso, ho dovuto scegliere i modelli-pro di Real-CUGAN per ottenere un risultato di upscaling 2x per il secondo video di test, una clip verticale di 7,5 secondi di un cane soffice con un totale di 225 fotogrammi. Questa volta, Video2X ha impiegato 172 secondi per completare il lavoro. Come previsto, il risultato è stato un disastro. Ad ogni modo, ecco cosa ho ottenuto.

Osserva attentamente il muso, il mento e gli occhiali rossi del cane. Video2X ha tracciato contorni pesanti, scuri e simili a vettori lungo i bordi ad alto contrasto. Sebbene questo renda l'immagine estremamente nitida a prima vista, compromette il realismo fotografico. Senza dimenticare l'alone, l'effetto ringing e gli artefatti dei contorni scuri intorno al cane.

Interpolazione Fotogrammi (Aumento FPS)

Oltre ad aumentare la risoluzione, Video2X può interpolare nuovi fotogrammi per incrementare fluidamente il frame rate di un video. Integra algoritmi come RIFE (Real-Time Intermediate Flow Estimation) per l'interpolazione dei fotogrammi basata sull'intelligenza artificiale. Questa funzione è ideale per creare effetti in slow-motion o migliorare vecchi filmati registrati a basso FPS. L'interfaccia grafica consente di selezionare la modalità di Interpolazione Fotogrammi e un moltiplicatore del frame target. Video2X genererà quindi i fotogrammi intermedi utilizzando l'AI.

Codifica e Flusso di Lavoro Personalizzabili

Sotto il cofano, Video2X utilizza FFmpeg per l'I/O video e offre agli utenti il controllo sulle impostazioni di codifica, se lo desiderano. È possibile specificare i formati di output, le opzioni dell'encoder tramite parametri aggiuntivi, oppure semplicemente utilizzare le impostazioni predefinite.

L'ultima architettura (v6.x) è ottimizzata per essere efficiente. I fotogrammi vengono elaborati in memoria anziché scritti su disco tra un passaggio e l'altro. Questo evita un enorme spazio di archiviazione temporaneo e velocizza l'intero processo. Si tratta di un grande miglioramento rispetto alle versioni precedenti, che scrivevano migliaia di fotogrammi su disco (consumando centinaia di GB). La versione attuale è molto più semplificata, permettendo esecuzioni di upscaling più rapide e con un utilizzo della memoria più efficiente.

Completamente Gratuito e Basato sulla Comunità

Un grande punto positivo è che Video2X è un software gratuito. È davvero apprezzabile che uno strumento così potente non abbia alcun costo, soprattutto se paragonato ai software commerciali di miglioramento video con AI che possono essere piuttosto costosi.

La natura open-source significa anche che riceve contributi da sviluppatori di tutto il mondo e gli utenti possono suggerire miglioramenti su GitHub. La comunità intorno a Video2X ha creato guide, condiviso impostazioni per ottenere i migliori risultati e persino sviluppato front-end (come interfacce grafiche alternative). Questo ecosistema collaborativo permette al tool di continuare a migliorare.

Sfide e Limitazioni

Problemi di GPU e Compatibilità

Collegato a quanto sopra, alcuni utenti hanno riscontrato problemi nell'utilizzo corretto della GPU con Video2X. Poiché richiede il supporto di Vulkan, gli utenti con GPU meno recenti o su macOS hanno avuto difficoltà. Inoltre, abbiamo notato che è necessario aggiornare i driver grafici o installare CUDA/cuDNN affinché alcuni modelli funzionino alla massima velocità.

Limitazioni sui Fattori di Scala per Video Realistici

Per i filmati reali, Video2X attualmente supporta solo il realesrgan-x4plus modello. Poiché questo modello è stato addestrato esclusivamente con un'architettura di scaling 4x, supporta solo un fattore di upscaling fisso di 4x.

In altre parole, se desideri aumentare la risoluzione di un video non anime di 2x o 3x utilizzando Video2X, puoi ingrandirlo di 4x e poi effettuare ulteriori regolazioni, oppure tentare la tua fortuna con un modello addestrato per anime.

Inoltre, Video2X non include modelli in grado di migliorare la qualità di video realistici senza modificarne la risoluzione. È possibile verificarlo esaminando i file dei modelli del progetto.

Limitazioni di Velocità

Lo svantaggio più comune menzionato è quello delle prestazioni. L'elaborazione dei fotogrammi video con reti neurali è molto dispendiosa in termini di calcolo. Video2X elabora i video in stile anime in modo estremamente rapido. Tuttavia, quando si tratta di video realistici, molti utenti segnalano che Video2X può essere molto lento se non si dispone di una GPU di fascia alta.

Ad esempio, utilizzare il modello Real-ESRGAN su un PC standard potrebbe elaborare solo 1-2 fotogrammi al secondo, il che significa che un minuto intero di video potrebbe richiedere ore per essere migliorato. Nella nostra esperienza, ci è voluto 614 secondi per eseguire un ingrandimento 4x su un video di 15 secondi con una risoluzione di 636x480 pixel, una frequenza fotogrammi di 23,976 fps e un totale di 364 fotogrammi. Non è di certo un processo rapido. E puoi vedere il risultato qui sotto.

Il nostro precedente test di upscaling utilizzando il video realistico conferma anche questo. Di seguito è riportato un confronto affiancato dei risultati dei test per diversi software di miglioramento video, inclusi Video2X.

Come possiamo vedere, Video2X non è particolarmente veloce, ma uno dei suoi principali vantaggi è il bassissimo utilizzo massimo di VRAM. Tuttavia, abbiamo anche riscontrato che Video2X ha perso 2 dei 225 fotogrammi originali durante il rendering, producendo solo 223 fotogrammi. Se il video fosse più lungo, ciò potrebbe causare uno sfasamento nella sincronizzazione audio.

Alternativa a Video2X

Mentre Video2X mantiene la sua promessa di migliorare la qualità, i requisiti hardware e la natura piuttosto tecnica potrebbero non soddisfare le esigenze di tutti. Se stai cercando un upscaler video basato sull'intelligenza artificiale più semplice da utilizzare e con una qualità discreta, VideoProc Converter AI è una buona alternativa senza un prezzo eccessivo rispetto al valore che offre.

VideoProc Converter AI supporta nativamente Windows e macOS. Dispone di un integrato Super Risoluzione AI Modulo con diversi algoritmi per differenti tipi di video, progettato per migliorare la risoluzione e la qualità complessiva. Lo strumento può aumentare la risoluzione fino a 4x (400%), ad esempio convertendo un video da 480p a 1080p o 4K, preservando e migliorando i dettagli. Che si tratti di anime o riprese realistiche, puoi liberamente scegliere un fattore di upscaling da 1x a 4x, oppure specificare una risoluzione di output tra quelle più comuni.

Inoltre, è dotato di un Interpolazione Fotogrammi Modulo per convertire video a basso FPS in video ad alto FPS. L'IA utilizza algoritmi di stima del movimento per generare nuovi fotogrammi, consentendoti di trasformare facilmente video a basso FPS in video ad alto FPS e creare epici rallentamenti con una fluidità a livello di IA.

Infatti, se sei un utente occasionale che cerca risultati rapidi, affidabili e un flusso di lavoro fluido, potresti trovare più adatta una soluzione intuitiva come VideoProc Converter AI. Questo software offre diversi modelli, è ottimizzato per il tuo hardware e spesso completa le operazioni più rapidamente. Il costo di un software del genere ti garantisce tempo e semplicità. È consigliato per chi non è necessariamente interessato ai dettagli tecnici di come funziona l'upscaling, ma desidera semplicemente premere un pulsante e ottenere ottimi risultati.

Conclusione

Video2X dimostra che non è necessario spendere un centesimo per sfruttare l’intelligenza artificiale per il miglioramento dei video. È uno strumento encomiabile per l’upscaling di video, immagini e GIF, offrendo risultati di alta qualità con l’hardware adeguato. Questa recensione ha trattato come configurarlo, le sue capacità e impressioni oneste sulle sue prestazioni. Per molti appassionati e persino alcuni professionisti, Video2X può essere una soluzione salvavita, soprattutto quando il budget è un fattore importante.

Ma per coloro che danno priorità al proprio tempo e alla facilità d'uso, esplorare un'alternativa come VideoProc Converter AI, con il suo set di funzionalità più ampio e una velocità di elaborazione più rapida, potrebbe essere la scelta migliore.