ToonMe est un outil et une application qui permet aux internautes de se transformer en héros de films Disney ou Pixar.
Doron Adler et Justin Pinkney, deux ingénieurs en logiciel, ont récemment publié un modèle d’intelligence artificielle qui transforme de vrais visages en personnages de dessins animés. Et tandis que l’outil de toonification, «Toonify», était à l’origine disponible au public, il est devenu trop populaire pour être soutenu à moindre coût. Mais certaines personnes ont réussi à Toonifier des célébrités avant que l’outil ne soit retiré, et toutes les animations sont stellaires.
Dans une série de billets de blog, Pinkney explique comment lui et Adler ont créé Toonify. Pinkney, qui est basé au Royaume-Uni, dit qu’il a commencé le processus en utilisant un réseau antagoniste génératif (ou GAN) appelé StyleGAN2. Un GAN est un type de système de machine learning qui oppose un réseau neuronal à un autre afin d’obtenir un résultat souhaité; dans ce cas, sélectionner les meilleurs visages Toonifiés.
En utilisant StyleGAN2, qui est capable de créer des visages incroyablement réalistes (chacun des visages sur thispersondoesnotexist.com, par exemple, est complètement faux), Doron a pu créer un GAN modifié qui toonifie un peu un visage. Il l’a fait en alimentant StyleGAN2 une série d’environ 300 images de personnages de films d’animation.
Mais il y avait encore un hic dans le processus de Toonification. Le problème était lié à l’ensemble de données et au fait qu’il contenait des personnages de différents types de films d’animation. La liste comprenait tout, de Moana à La Petite Sirène en passant par Blanche-Neige et les Sept Nains. Et cela signifiait des styles d’animation très différents.
Pour résoudre ce problème, les ingénieurs en logiciel disent qu’ils ont permuté différentes couches du modèle pour affecter les visages Toonifiés de différentes manières. Les «couches» auxquelles il est fait référence dans ce contexte sont différents sous-ensembles de code qui «apprennent» différents aspects des données et, par la suite, sont capables de repérer des modèles et de générer des images en conséquence.
Plus précisément, les ingénieurs en logiciel disent avoir programmé Toonify pour que les couches de résolution inférieure affectent la pose de la tête et la forme du visage, tandis que les couches de résolution plus élevée sont responsables de choses comme la texture et l’éclairage. Pour une description plus complète du processus, l’utilisateur de YouTube, bycloud, donne une excellente et courte explication dans la vidéo ci-dessous.
À l’avenir, Adler et Pinkney disent qu’ils travaillent sur un moyen de livrer à nouveau Toonify aux masses. Il semble qu’ils se détournent des publicités et cherchent toujours une solution financière. Une fois ce problème résolu, cependant, il ne fait aucun doute que les photos de profil de dessin animé seront légions.
