Introduction
Etant intéressé par les IA génératives et voulant explorer les limites, je me suis amusé à entraîner le modèle Stable Diffusion XL sur mes photos perso afin de voir s’il pourrait générer des images de moi fidèles a la réalité.
J’ai été vraiment impressionné par la qualité et précision des images qu’il a pu me générer, les moindre détails sur le visage par exemple.
Étant donné qu’il s’agissait d’un entraînement relativement rapide de 5h sur une vingtaine de photos.
Détails techniques
Images
Concernant les images utilisées pour l’entrainement, je me suis vraiment pas cassé la tête, j’ai balancé toutes les images que j’ai pu trouver sur le moment.
Au final j’avais 26 images zoomés sur mon visage (voir aperçu ci-dessous).
Entrainement
C’était galère a tout assembler et enfin faire tourner un entrainement optimisé qui n’échoue pas et donne au final un résultat impressionnant.
L’entrainement a été fait sur un GPU RTX 3090 et a duré environ 5 heures.
Modèle entraîné: stable-diffusion-xl 1.0
Technos: Pytorch, diffusers, accelerate
Aperçu dataset
Aperçu résultats
L’attention aux moindres détails du visage est fou, le modèle se débrouille vraiment bien.
Conclusion
On sait que Stable diffusion XL est vraiment puissant et capable de générer des images photo-réalistes.
Avec un peu plus d’efforts sur les photos d’entrainement cela pourrait être encore plus intéressant que ce que j’ai pu avoir, j’en suis convaincu.
Un petit mot si jamais vous voulez faire la même, moi perso mon but dans ce projet était d’apprendre et découvrir les limites et capacités de SDXL, c’est pour cela que j’ai tout fait moi-même.
Si ce n’est pas le votre et vous voulez juste vous générer des images le mieux serait d’utiliser un service en ligne qui automatise tout ce process via une app mobile par exemple. il y en a pleins !