Adobe, l’éditeur de Photoshop et After Effects, annonce le développement d’un nouveau modèle d’IA générative permettant d’augmenter considérablement la résolution des vidéos floues. Baptisé VideoGigaGAN, ce système supprime aussi les artefacts habituels associés aux méthodes de super résolution vidéo.
Les approches de super-résolution vidéo (VSR) contribuent à améliorer la qualité des images. Mais elles présentent encore quelques limites. Ces approches ont par exemple du mal à maintenir la cohérence entre les images d’entrée et de sortie. Aussi, elles ont tendance à générer des résultats plus flous que leurs équivalents en images, car limitées dans leur capacité générative.
Adobe supprime les limites des VSR
Ces défauts pourraient bientôt être de vieux souvenirs. En effet, le groupe Adobe, éditeur de Facebook et After Effects notamment, annonce le développement d’un nouveau modèle d’IA générative permettant d’augmenter considérablement la résolution de vidéos floues. Ce système améliorerait la résolution jusqu’à huit fois leur taille d’origine. De plus, il évite les artefacts habituels associés aux méthodes de super résolution vidéo.
VideoGigaGAN dispose d’une architecture unique
Baptisé VideoGigaGAN, le modèle d’IA d’Adobe combine la puissance des réseaux antagonistes génératifs (GAN) et celle des nouvelles techniques. Son ingéniosité réside dans son architecture unique. Celui-ci comprend des couches d’attention temporelle dans les blocs de décodage ainsi qu’un module de propagation guidée par le flux optique pour renforcer la cohérence temporelle entre les trames. Il incorpore aussi un bloc anticrénelage dans l’encodeur afin de supprimer les artefacts de repliement ou d’alias.
Le modèle d’IA d’Adobe génère des vidéos ultra-détaillées
Enfin, le modèle d’IA d’Adobe utilise une connexion de saut pour transférer directement les caractéristiques à haute fréquence aux couches du décodeur. Cette liaison directe permet de compenser la perte de détails dans le processus BlurPool. Le groupe américain a présenté des démonstrations de son VideoGigaGAN et elles sont assez exceptionnelles. Un œil non averti ne peut pas identifier clairement l’intervention de l’IA générative, qui génère des vidéos ultra-détaillées et sans coquilles (sans scintillement ou distorsion).
Le système ouvre des perspectives prometteuses pour les professionnels de la vidéo
Les chercheurs de Google ont validé l’efficacité de VideoGigaGAN en le comparant aux principales approches VSR sur des ensembles de données publiques. Et il n’y avait pas photo. Bien qu’encore au stade expérimental, son modèle d’IA donne des résultats époustouflants. VideoGigaGAN intéressera en premier les professionnels de la vidéo. Cette technologie pourrait leur permettre d’améliorer énormément la qualité de séquences anciennes ou tournées dans des conditions difficiles.
Adobe Premiere Pro et After Effects en ont besoin
VideoGigaGAN pourrait également aider à restaurer de vieux films et leur donner une seconde vie en haute définition. Adobe gagnerait à l’intégrer à ses logiciels de montage comme Adobe Premiere Pro et After Effects pour sauver des plans à faible résolution. Par ailleurs, il devrait rendre accessible le système au grand public. Les utilisateurs l’utiliseraient pour augmenter la qualité de vieilles vidéos de famille et d’autres souvenirs.
Adobe doit d’abord corriger certains défauts du système
Adobe devrait penser sérieusement à le rendre disponible pour tous d’autant que l’intelligence artificielle se démocratise. L’IA intègre de plus en plus d’outils de retouche vidéo en ligne. Et puis, il faut souligner que d’autres acteurs tels que NVIDIA, Microsoft et Blackmagic Design travaillent aussi sur des technologies similaires. Mais Adobe doit d’abord améliorer son modèle. En effet, VideoGigaGAN peine encore à traiter des vidéos extrêmement longues, ainsi que les petits détails tels que les textes et les caractères.
