La mise à l'échelle vidéo par IA est devenue une révolution pour améliorer les vidéos anciennes ou de basse résolution. Lancé en 2018, Video2X s'est depuis imposé comme une solution populaire sur GitHub. Basé sur l'apprentissage automatique, son objectif principal est d'améliorer la résolution, la fréquence d'images et la qualité vidéo. Il s'agit d'un projet gratuit et open source. En termes simples, vous pouvez prendre une vidéo basse résolution, en augmenter la définition (par exemple, passer du 480p au 1080p ou à la 4K) et accroître sa fréquence d'images pour obtenir un mouvement plus fluide, le tout sans le coût élevé des logiciels commerciaux.
Dans ce blog, nous allons explorer tout ce qu'il faut savoir sur Video2X, partager nos expériences et voir comment il se compare aux autres outils d'upscaling vidéo basés sur l'IA. En fin de compte, vous pourrez déterminer s'il s'agit du meilleur choix pour répondre à vos besoins.
Téléchargement et installation de Video2X
Video2X est entièrement gratuit à utiliser. Il est publié sous la licence open source AGPL. Tout autre site web, tel que le site video2x.app que vous pourriez trouver sur Google, n'est pas affilié au projet officiel Video2X.
Le logiciel fonctionne sous Windows et Linux (le support communautaire pour macOS est limité). Vous pouvez télécharger et utiliser toutes les fonctionnalités gratuitement, mais il nécessite un système performant pour garantir une utilisation raisonnable. Pour une utilisation pratique, il est recommandé de disposer d'un GPU de gamme moyenne à élevée.
Google Colab
Si votre PC n'est pas assez puissant, Video2X peut fonctionner dans le cloud. Les développeurs proposent un notebook Google Colab, vous permettant d'utiliser un GPU puissant (par exemple, Nvidia Tesla K80/T4) pendant jusqu'à 12 heures gratuitement. C'est une excellente solution de contournement.
Windows
Vous pouvez télécharger et exécuter Video2X via l'installateur Windows ou le package pré-construit.
- Téléchargez le programme d'installation depuis le page des versions.
- Double-cliquez sur le programme d'installation.
- Choisissez le répertoire d'installation.
- Suivez les instructions à l'écran pour terminer l'installation.
Pour les binaires précompilés :
Utilisez la méthode ci-dessous :
$latestTag = (Invoke-RestMethod -Uri https://api.github.com/repos/k4yt3x/video2x/releases/latest).tag_name
curl -LO "https://github.com/k4yt3x/video2x/releases/download/$latestTag/video2x-windows-amd64.zip"
New-Item -Path "$env:LOCALAPPDATA\Programs\video2x" -ItemType Directory -Force
Expand-Archive -Path .\video2x-windows-amd64.zip -DestinationPath "$env:LOCALAPPDATA\Programs\video2x"
Vous pouvez ensuite ajouter %LOCALAPPDATA%\Programs\video2x à votre variable d'environnement PATH pour exécuter Video2X depuis la ligne de commande.
Linux
Video2X peut être installé via des gestionnaires de paquets ou compilé à partir du code source. Pour les utilisateurs d'Arch Linux, le logiciel est disponible dans l'AUR à travers des paquets tels que video2x, video2x-git, et video2x-qt6 ou video2x-qt6-git pour l'interface graphique Qt6.
Il existe des packages proposés par la communauté ainsi qu'un conteneur Docker disponible. Le format AppImage est également fourni comme option portable pour d'autres distributions Linux, permettant une exécution sans gestion des dépendances.
Video2X Mac
Il n'existe pas de version officielle de Video2X pour Mac. Cependant, il est théoriquement possible d'exécuter Video2X sur macOS avec les pilotes et la configuration appropriés. Des utilisateurs technophiles ont réussi à le faire fonctionner en utilisant des conteneurs ou en installant des pilotes Vulkan compatibles. En revanche, les utilisateurs occasionnels sur Mac pourraient trouver la procédure trop complexe.
Donc, si vous êtes sur macOS, utiliser un alternative comme VideoProc Converter AI pourrait être préférable, car les méthodes non officielles actuelles nécessitent une expertise technique importante et beaucoup de patience.
Tutoriel Video2X
Video2X dispose désormais d'une interface graphique soignée pour rendre le processus d'upscaling accessible à tous. Une fois l'interface lancée, vous pouvez ajouter des fichiers vidéo à la file d'attente, choisir le modèle d'IA pour l'upscaling et configurer les paramètres de sortie. L'interface est intuitive ; aucune connaissance technique approfondie n'est requise pour commencer.
Étape 1. Ajoutez le ou les fichiers vidéo ou image au logiciel.
Étape 2. Sélectionnez un mode de traitement en conséquence : Filtre (Upscaling) pour augmenter la résolution, ou Interpolation d'Images pour améliorer la fréquence d'images.
Étape 3. Choisissez le modèle d'IA ou le shader en fonction de vos besoins.
Étape 4. Ajustez les paramètres comme la résolution, le format de sortie, etc.
Étape 5. Appuyez sur Démarrer pour commencer le traitement.
Test et évaluation des fonctionnalités clés
L'Upscaling
Video2X ne se limite pas à un seul algorithme. Il intègre plusieurs méthodes de super résolution de pointe. Notamment, il prend en charge Real-ESRGAN, Real-CUGAN et Anime4K, entre autres. Vous pouvez choisir le modèle le plus adapté à votre contenu. Par exemple, Anime4K fonctionne mieux pour les contenus animés, tandis que Real-ESRGAN convient aux séquences en prises de vue réelles. Avec le modèle approprié, l'outil peut rendre une vieille vidéo floue nettement plus nette.
J'ai donc sélectionné quelques vidéos et effectué des tests avec ce filtre d'upscaling. Le premier exemple est un court extrait d'anime de 5 secondes (854×480 pixels) au format MPEG-4 AVC à 30 fps. J'ai utilisé le modèle realesr-animevideov3 et réglé le facteur d'échelle sur 2. Video2X a mis à l’échelle la vidéo en seulement 17 secondes. Voici le résultat obtenu.
Je dirais que Video2X a excellé dans cette vidéo d'animation numérique en 2D. Comme vous pouvez le voir, les bordures noires autour du personnage, les pupilles et les contours de la bouche ont été transformés en lignes ultra-nettes. Les artefacts de compression en blocs présents dans la route sombre et les arbres en arrière-plan de l'original ont été presque entièrement supprimés et lissés. L'outil a restauré l'œuvre à ce qui ressemble à sa résolution vectorielle native, le tout très rapidement et sans introduire de textures indésirables ni de distorsion des contours.
Cependant, le problème se pose avec les vidéos de style réaliste. Parmi tous les différents modèles et leurs variantes, seul le modèle « Real-ESRGAN-Plus » est adapté aux séquences réalistes. Les autres modèles, tels que Real-CUGAN ou Anime4K, ont été entraînés sur du contenu de style anime. Bien qu'il existe une version de Real-ESRGAN-Plus capable de réaliser un agrandissement vidéo en 2x, il semble que les mainteneurs n'aient pas encore ajouté cette option. Par conséquent, pour les vidéos réalistes, vous êtes limité à l'utilisation du modèle « Real-ESRGAN-x4plus » dans Video2X, qui impose un facteur de mise à l'échelle fixe de 4x.
Dans ce cas précis, j'ai dû opter pour le modèle « models-pro » de Real-ESRGAN pour obtenir un résultat d'upscaling 2x sur la seconde vidéo de test : un clip vertical de 7,5 secondes mettant en scène un chien pelucheux, composé de 225 images au total. Cette fois, Video2X a pris 172 secondes pour terminer la tâche. Sans surprise, le résultat a été désastreux. Quoi qu'il en soit, voici ce que j'ai obtenu.
Regardez attentivement le museau, le menton et les lunettes rouges du chien. Video2X a tracé des contours lourds, sombres et ressemblant à des vecteurs le long des bordures à fort contraste. Si cela donne à l'image une netteté apparente extrême, le réalisme photographique en pâtit. Sans parler des artefacts tels que les halos, l'effet de « ringing » (oscillations parasites) et les contours sombres qui entourent le chien.
Interpolation d'images (Augmentation des FPS)
En plus d'agrandir la résolution, Video2X peut interpoler de nouvelles images pour augmenter le taux de rafraîchissement d'une vidéo de manière fluide. Il intègre des algorithmes tels que RIFE (Real-Time Intermediate Flow Estimation) pour l'interpolation d'images basée sur l'IA. Cela est idéal pour créer des effets de ralenti ou améliorer des vidéos anciennes enregistrées avec un faible nombre d'images par seconde (FPS). L'interface graphique permet de choisir le mode d'Interpolation d'Images ainsi qu'un multiplicateur de taux d'images cible. Video2X générera ensuite les images intermédiaires grâce à l'IA.
Encodage et flux de travail personnalisables
Sous le capot, Video2X utilise FFmpeg pour l'entrée et la sortie vidéo, et offre aux utilisateurs la possibilité de contrôler les paramètres d'encodage si souhaité. Vous pouvez spécifier les formats de sortie, les options d'encodage via des paramètres supplémentaires, ou simplement utiliser les paramètres par défaut.
La dernière architecture (v6.x) est optimisée pour être efficiente. Les images sont traitées directement en mémoire plutôt que d'être écrites sur le disque entre les étapes. Cela permet d'éviter une énorme utilisation de stockage temporaire et d'accélérer le processus. C'est une amélioration majeure par rapport aux premières versions, qui enregistraient des milliers d'images sur le disque (occupant ainsi des centaines de gigaoctets). La version actuelle est bien plus rationalisée, ce qui permet des exécutions de mise à l'échelle plus rapides et beaucoup plus économes en mémoire.
Entièrement gratuit et porté par la communauté
Un énorme point positif est que Video2X est un logiciel gratuit. On ressent une certaine appréciation pour le fait qu'un outil aussi puissant ne coûte rien, surtout lorsqu'on le compare aux logiciels d'amélioration vidéo basés sur l'IA, qui peuvent être assez coûteux.
La nature open source signifie également qu'il bénéficie des contributions de développeurs du monde entier, et les utilisateurs peuvent suggérer des améliorations sur GitHub. La communauté autour de Video2X a créé des guides, partagé des paramètres pour obtenir les meilleurs résultats, et même développé des interfaces (comme des GUIs alternatives). Cet écosystème collaboratif garantit que l'évolution constante de l'outil.
Défis et limitations
Problèmes liés au GPU et à la compatibilité
Lié à ce qui précède, certains utilisateurs ont rencontré des difficultés pour faire fonctionner Video2X correctement avec leur GPU. Comme le logiciel nécessite la prise en charge de Vulkan, les utilisateurs disposant de cartes graphiques anciennes ou sous macOS ont parfois peiné. De plus, nous avons également constaté qu'il était nécessaire de mettre à jour les pilotes graphiques ou d'installer CUDA/cuDNN pour que certains modèles fonctionnent à pleine vitesse.
Limites des facteurs de mise à l'échelle pour des vidéos réalistes
Pour les séquences du monde réel, Video2X ne prend actuellement en charge que le modèle realesrgan-x4plus. Comme ce modèle a été entraîné exclusivement avec une architecture de mise à l'échelle 4x, il ne prend en charge qu'un facteur de suréchantillonnage fixe de 4x.
Autrement dit, si vous souhaitez agrandir une vidéo non-anime par 2x ou 3x dans Video2X, vous pouvez soit l'agrandir par 4x puis effectuer des ajustements supplémentaires, soit tenter votre chance avec un modèle entraîné pour les vidéos d'anime.
Par ailleurs, Video2X n'inclut pas de modèles capables d'améliorer la qualité des vidéos réalistes sans en modifier la résolution. Vous pouvez le vérifier en examinant les fichiers de modèles du projet.
Limites de vitesse
Le principal inconvénient souvent mentionné est la performance. L'upscaling des images vidéo à l'aide de réseaux neuronaux est très gourmand en ressources informatiques. Video2X traite les vidéos de style anime extrêmement rapidement. Cependant, lorsqu'il s'agit de vidéos réalistes, de nombreux utilisateurs signalent que Video2X peut être très lent si vous ne disposez pas d'un GPU haut de gamme.
Par exemple, l'utilisation du modèle Real-ESRGAN sur un PC standard peut ne traiter que 1 à 2 images par seconde, ce qui signifie qu'une minute entière de vidéo pourrait prendre des heures à être améliorée. D'après notre expérience, il a fallu 614 secondes pour réaliser un agrandissement x4 sur une vidéo de 15 secondes (résolution de 636 x 480 pixels, cadence de 23,976 ips, soit 364 images au total). Ce n'est en aucun cas rapide. Vous pouvez voir le résultat ci-dessous.
Notre précédent test de mise à l'échelle utilisant une vidéo réaliste confirme également cela. Vous trouverez ci-dessous une comparaison côte à côte des résultats des tests pour plusieurs logiciels d'amélioration vidéo, y compris Video2X.
| Spécifications | Video2X | VideoProc Converter AI | Topaz Video |
|---|---|---|---|
Modèle utilisé |
Real-CUGAN |
Gen Detail |
Proteus |
Durée (s) |
172 |
88 |
308 |
FPS moyen de traitement |
1,30 |
2,56 |
0,73 |
Utilisation maximale du GPU |
99% |
99% |
99% |
Utilisation maximale de la VRAM |
1411 Mo |
5454 Mo |
6715 Mo |
Utilisation maximale du CPU |
90,634 |
35,608 |
70,990 |
Débit binaire du fichier de sortie |
8,20 Mbps |
8,71 Mbps |
6,25 Mbps |
Nombre total d'images |
223 |
225 |
225 |
Comme nous pouvons le constater, Video2X n'est pas particulièrement rapide, mais l'un de ses principaux avantages est sa très faible utilisation maximale de la mémoire VRAM. Cependant, nous avons également remarqué que Video2X a perdu 2 des 225 images originales lors du rendu, ne produisant que 223 images. Si la vidéo était plus longue, cela pourrait entraîner un décalage de synchronisation audio.
Alternative à Video2X
Bien que Video2X tienne sa promesse d'amélioration de la qualité, ses exigences matérielles et son aspect quelque peu technique peuvent ne pas convenir à tout le monde. Si vous recherchez un upscaler vidéo basé sur l'IA, plus facile à utiliser et offrant une qualité correcte, VideoProc Converter AI est une bonne alternative sans un prix élevé pour la valeur qu'elle offre.
VideoProc Converter AI prend en charge nativement Windows et macOS. Il intègre un module Super Résolution IA proposant différents algorithmes adaptés aux types de vidéos, afin d'en améliorer la résolution et la qualité globale. Cet outil peut augmenter la résolution jusqu'à 4 fois (400 %), par exemple, convertir une vidéo en 480p en 1080p ou en 4K, tout en préservant et en améliorant les détails. Que vous travailliez avec des animes ou des séquences réalistes, vous pouvez librement choisir un facteur d'agrandissement allant de 1x à 4x, ou même spécifier une résolution de sortie populaire.
Le logiciel inclut également un module Interpolation d'Images pour convertir des vidéos à faible FPS en vidéos à FPS élevé. L'IA utilise des algorithmes d'estimation de mouvement pour générer de nouvelles images, vous permettant ainsi de convertir facilement des vidéos à faible FPS en vidéos à FPS élevé et de créer des ralentis épiques avec une fluidité de niveau IA.
En somme, si vous êtes un utilisateur occasionnel à la recherche de résultats rapides, fiables et d'un flux de travail fluide, une solution conviviale comme VideoProc Converter AI pourrait mieux répondre à vos besoins. Ce logiciel propose divers modèles, optimise les performances en fonction de votre matériel et accomplit souvent les tâches plus rapidement. Le coût d'un tel logiciel vous permet de gagner du temps et de bénéficier de la simplicité. Il est recommandé pour ceux qui ne souhaitent pas forcément s'intéresser aux détails techniques du fonctionnement de la mise à l'échelle, mais préfèrent simplement appuyer sur un bouton et obtenir d'excellents résultats.
Conclusion
Video2X prouve qu'il n'est pas nécessaire de dépenser un centime pour tirer parti de l'IA pour l'amélioration des vidéos. C'est un outil remarquable pour augmenter la résolution des vidéos, des images et des GIFs, offrant des résultats de haute qualité avec le matériel adéquat. Cette revue a couvert la configuration, les capacités et des avis honnêtes sur ses performances. Pour de nombreux amateurs et même certains professionnels, Video2X peut s'avérer être une véritable bouée de sauvetage, surtout lorsque le budget est une préoccupation.
Mais pour ceux qui privilégient leur temps et la facilité d'utilisation, explorer une alternative comme VideoProc Converter AI, avec son ensemble de fonctionnalités plus large et une vitesse de traitement plus rapide, pourrait être la meilleure option.
