La Joconde et l'intelligence artificielle : de la Joconde qui parle aux deepfakes

La Joconde est devenue l'image de démonstration de l'intelligence artificielle. En mai 2019, des chercheurs du Samsung AI Center de Moscou l'animent à partir d'une seule image ; en avril 2024, le modèle VASA-1 de Microsoft Research Asia la fait rapper sur une voix enregistrée. Entre les deux, transfert de style et générateurs d'images l'ont déclinée par millions. Ces images fascinent, mais aucune ne dit quoi que ce soit de neuf sur le tableau de Léonard : elles montrent ce que savent faire les machines, et posent des questions très concrètes de confiance, de droit et d'étiquetage.

Pourquoi la Joconde IA est-elle partout ?

Le choix n'a rien d'un hasard. Le tableau est dans le domaine public — Léonard de Vinci est mort en 1519 — et n'importe quel laboratoire peut l'utiliser sans négocier de droits. Le visage, presque de face, est doucement éclairé, sans ombre portée marquée, la bouche est fermée, l'expression neutre : un point de départ idéal pour un modèle chargé de fabriquer des mouvements. Et c'est une peinture, non une photographie : l'animer prouve qu'un système généralise au-delà des visages réels sur lesquels il a été entraîné.

La raison décisive est culturelle. Une démonstration sur un inconnu passe inaperçue ; une Joconde qui cligne des yeux fait le tour du monde en quelques heures. Le tableau, qui doit une grande part de sa célébrité à sa reproduction de masse, est devenu le support de communication préféré des laboratoires.

Ce rôle de cobaye précède l'IA générative. Fin 2005, des chercheurs de l'université d'Amsterdam soumettent le tableau à un logiciel de reconnaissance des émotions développé avec l'université de l'Illinois : le sourire est classé « heureux » à 83 %, avec de faibles parts de dégoût, de peur et de colère. Le chiffre décrit la position de quelques points du visage selon les catégories du logiciel ; il ne dit rien de l'intention de Léonard ni de l'humeur de Lisa Gherardini.

2019 : la première Joconde qui parle

En mai 2019, Egor Zakharov, Aliaksandra Shysheya, Egor Burkov et Victor Lempitsky (Samsung AI Center de Moscou et institut Skoltech) publient « Few-Shot Adversarial Learning of Realistic Neural Talking Head Models », présenté ensuite à la conférence ICCV 2019. Le système apprend d'abord, sur un vaste corpus de vidéos, comment bougent les visages humains ; il peut ensuite produire une « tête parlante » d'une personne nouvelle à partir de quelques images, voire d'une seule. Les auteurs précisent que la méthode fonctionne aussi sur des portraits peints.

Concrètement, les repères faciaux (contour des yeux, des lèvres, de la mâchoire) d'une personne filmée servent de marionnettiste : le réseau génère, image par image, une Joconde qui tourne la tête, ouvre la bouche et sourit. La presse parle de « portraits vivants ». Le système ne produit que l'image, sans voix : la Joconde « parle » en silence. Dès la publication, des journalistes spécialisés relèvent que la technique pourrait servir à fabriquer des deepfakes.

En février 2021, l'application Deep Nostalgia de MyHeritage met ce type d'animation à la portée de tous : des millions d'internautes font sourire photos de famille et portraits anciens.

2024 : VASA-1, la Joconde qui rappe

Le 16 avril 2024, une équipe de Microsoft Research Asia (Sicheng Xu, Guojun Chen, Jiaolong Yang, Baining Guo et coll.) met en ligne « VASA-1: Lifelike Audio-Driven Talking Faces Generated in Real Time ». Le saut est double : le modèle part d'une seule image fixe et d'un fichier audio, et génère une vidéo de 512 × 512 pixels jusqu'à 40 images par seconde, avec des lèvres synchronisées sur la parole, des expressions et des mouvements de tête. Parmi les exemples publiés, la Joconde rappe sur un enregistrement de l'actrice Anne Hathaway.

Microsoft a indiqué ne prévoir ni démonstration en ligne, ni API, ni produit tant qu'elle ne serait pas assurée d'un usage responsable et conforme à la réglementation. Le tableau servait ici de paravent commode : animer une peinture du XVIe siècle montre la puissance de l'outil sans exhiber le visage d'une personne vivante — alors même que la voix, elle, appartient à une actrice bien réelle.

Transfert de style et générateurs : la Joconde à toutes les sauces

Le transfert de style naît en 2015 avec l'article de Leon Gatys, Alexander Ecker et Matthias Bethge, « A Neural Algorithm of Artistic Style » : un réseau de neurones sépare le contenu d'une image de son style (texture, touche, palette) et recombine les deux. La Joconde « à la manière de » Van Gogh devient un exercice d'école. En 2022, les modèles de diffusion — DALL·E 2 en avril, Midjourney ouvert au public durant l'été, Stable Diffusion en août — génèrent des images à partir d'une simple phrase.

Avec la Joconde, ces modèles rencontrent une difficulté particulière : le tableau figure des milliers de fois dans leurs données d'entraînement. Or les travaux de Nicholas Carlini et de ses coauteurs (2023) ont montré que les images très dupliquées dans ces corpus sont les plus susceptibles d'être restituées presque à l'identique, phénomène appelé mémorisation. Demander « la Joconde en mosaïque » produit souvent une copie de la composition recouverte d'une texture ; obtenir une véritable relecture exige de décrire précisément la technique visée. C'est le principe de la galerie de douze Joconde revisitées par l'IA publiée sur ce site.

Ces images s'inscrivent dans une longue histoire de détournements, de L.H.O.O.Q. de Duchamp (1919) aux sérigraphies d'Andy Warhol (1963), avec une différence de taille : l'auteur ne décide plus de chaque trait, il oriente une machine.

Deepfakes : ce que la Joconde qui parle annonce

La technique qui fait sourire un portrait de la Renaissance peut aussi faire dire n'importe quoi à un responsable politique, à une célébrité ou à un proche. Lisa Gherardini, morte vers 1542, n'a plus de droits à faire valoir ; une personne vivante, si. La Joconde animée est donc moins un sujet de préoccupation qu'un signal : elle montre qu'une seule image et quelques secondes d'audio suffisent désormais à produire une vidéo crédible.

Le droit a suivi. En France, la loi n° 2024-449 du 21 mai 2024 visant à sécuriser et réguler l'espace numérique (dite SREN) a complété l'article 226-8 du Code pénal : diffuser sans son consentement un contenu visuel ou sonore généré par traitement algorithmique représentant l'image ou les paroles d'une personne est puni, s'il n'apparaît pas à l'évidence qu'il s'agit d'un tel contenu ou si ce n'est pas expressément mentionné. Au niveau européen, le règlement sur l'intelligence artificielle (AI Act, règlement 2024/1689) impose dans son article 50 un marquage des contenus synthétiques et l'obligation de signaler les hypertrucages ; ces obligations s'appliquent à partir du 2 août 2026 selon le calendrier du texte.

L'IA peut-elle authentifier une Joconde ?

Des sociétés proposent désormais d'attribuer des tableaux par apprentissage automatique. La suisse Art Recognition a ainsi annoncé en septembre 2021 qu'une analyse par IA donnait 91 % de probabilité que Samson et Dalila de la National Gallery de Londres ne soit pas de Rubens ; le musée n'a pas modifié son attribution. Ces outils comparent des textures et des touches à un corpus de référence : avec Léonard, qui a laissé très peu de tableaux et dont l'atelier a produit de nombreuses copies, ce corpus est mince.

Le cas le plus discuté est la Joconde d'Isleworth, présentée en 2012 par la Mona Lisa Foundation comme une version antérieure de la main de Léonard. Ses défenseurs s'appuient notamment sur des analyses d'images assistées par ordinateur menées par le physicien John F. Asmus (1988, puis 2016). Les spécialistes de référence, dont Martin Kemp et Frank Zöllner, rejettent l'attribution. Dans nos vérifications, aucune analyse par IA publiée et reconnue par la communauté scientifique n'a tranché la question : un score de probabilité ne remplace ni l'examen matériel du panneau, ni la provenance documentée.

Imagerie scientifique ou image générée : deux mondes

La confusion est fréquente : des images « de la Joconde sans vernis » ou « restaurée par IA » circulent régulièrement. Ce sont des hypothèses visuelles, pas des documents. Ce que l'on sait réellement de la matière du tableau provient d'instruments de mesure, détaillés dans la page secrets et mystères de la Joconde.

L'apprentissage automatique peut aider la recherche — classer des spectres, débruiter une image, repérer des motifs — à condition que ses sorties soient vérifiées sur la matière. Une image générée, elle, ne contient que ce que le modèle a appris ailleurs.

Domaine public, transparence, étiquetage : les règles du jeu

• Le tableau est libre. On peut reproduire, transformer ou parodier la Joconde sans autorisation. Depuis la directive européenne 2019/790 (article 14), une reproduction fidèle d'une œuvre d'art visuel tombée dans le domaine public ne peut plus être protégée par le droit d'auteur, sauf si elle est elle-même originale.
• Tout n'est pas libre autour. Une photographie créative, le nom et les marques d'un musée, et surtout l'image et la voix de personnes vivantes restent protégés : c'est précisément la voix réelle de l'exemple VASA-1 qui pose question.
• La transparence devient la norme. L'article 50 de l'AI Act allège l'obligation pour les œuvres manifestement artistiques, créatives, satiriques ou fictionnelles : il suffit alors de signaler l'existence du contenu généré, d'une manière qui ne gêne pas la présentation de l'œuvre.
• Le risque principal est la confusion. Dans un manuel, un exposé ou un article, une variation générée peut être prise pour l'original ou pour une étape documentée de sa création.

Comment joconde.net signale ses illustrations IA

Les illustrations de ce site sont générées par IA, et chacune porte la mention « Illustration IA » dans sa légende, sans exception ; les reproductions d'œuvres anciennes portent la mention « Domaine public ». Ce choix précède l'obligation légale et répond à un risque simple : qu'une variation soit prise pour le tableau du Louvre.

• Des consignes écrites d'après l'original : pose de trois quarts, mains croisées, paysage, pour que chaque variation reste lisible comme une relecture.
• Aucune personne réelle identifiable, aucune marque, aucun texte inventé dans l'image.
• Un texte alternatif descriptif qui dit ce que montre l'image, non ce qu'elle prétendrait prouver.
• Un renvoi systématique à l'original : pour voir le tableau tel qu'il est, consultez la notice du musée sur collections.louvre.fr ou la page le tableau de la Joconde.

La méthode de la page À propos détaille le reste : sources identifiées, faits séparés des hypothèses, corrections datées.

Questions fréquentes

Comment faire parler la Joconde avec une IA ?

Des outils d'animation de portraits génèrent une vidéo à partir d'une image fixe et d'un fichier audio ou d'une vidéo « pilote ». La Joconde étant dans le domaine public, l'image ne pose pas de problème de droits. La voix, en revanche, ne doit pas être celle d'une personne réelle sans son accord, et le résultat doit être signalé comme généré par IA lorsqu'il est diffusé.

Qu'est-ce que VASA-1, l'IA qui a fait rapper la Joconde ?

VASA-1 est un modèle de recherche de Microsoft Research Asia présenté le 16 avril 2024. À partir d'une seule photo et d'un enregistrement audio, il génère en temps réel une vidéo de visage parlant en 512 × 512 pixels. Microsoft n'a publié ni démonstration en ligne ni produit, en invoquant les risques d'usurpation d'identité.

L'IA a-t-elle découvert des secrets dans la Joconde ?

Non. Les connaissances matérielles sur le tableau viennent de l'imagerie scientifique (infrarouge, fluorescence X, synchrotron), menée notamment par le C2RMF. Les images virales de la Joconde « restaurée » ou « sans vernis » par IA sont des inventions plausibles, sans valeur de preuve, même lorsqu'elles semblent réalistes.

Est-il légal de transformer la Joconde avec une IA ?

Oui : l'œuvre est dans le domaine public et peut être reproduite, modifiée ou parodiée librement, y compris à des fins commerciales. Les limites portent sur ce qui entoure l'image : droits sur une photographie originale, marques, image et voix de personnes vivantes, et obligation de transparence sur les contenus générés prévue par l'AI Act.

Pourquoi les chercheurs en IA utilisent-ils tant la Joconde ?

Parce qu'elle cumule les avantages : libre de droits, visage presque frontal et expression neutre, faciles à animer, et notoriété mondiale qui garantit l'écho médiatique. Animer un portrait peint prouve aussi qu'un modèle généralise au-delà des photographies sur lesquelles il a été entraîné.

Sources

• E. Zakharov, A. Shysheya, E. Burkov, V. Lempitsky, « Few-Shot Adversarial Learning of Realistic Neural Talking Head Models », arXiv:1905.08233, mai 2019 ; ICCV 2019.
• N. Cohen, article sur la démonstration de Samsung, Tech Xplore, 24 mai 2019.
• S. Xu et coll., « VASA-1: Lifelike Audio-Driven Talking Faces Generated in Real Time », arXiv:2404.10667, 16 avril 2024 ; page du projet, Microsoft Research.
• Biometric Update, article sur la décision de Microsoft de ne pas diffuser VASA-1, 22 avril 2024.
• L. Gatys, A. Ecker, M. Bethge, « A Neural Algorithm of Artistic Style », arXiv:1508.06576, 2015.
• N. Carlini et coll., « Extracting Training Data from Diffusion Models », arXiv:2301.13188, 2023.
• Règlement (UE) 2024/1689 sur l'intelligence artificielle, article 50 ; directive (UE) 2019/790, article 14.
• Loi n° 2024-449 du 21 mai 2024 visant à sécuriser et réguler l'espace numérique ; Code pénal, article 226-8.
• J.-P. Mohen, M. Menu, B. Mottin (dir.), Au cœur de la Joconde. Léonard de Vinci décodé, Gallimard / Musée du Louvre, 2006.
• L. de Viguerie, P. Walter et coll., étude par fluorescence X des glacis de Léonard, Angewandte Chemie, 2010.
• V. Gonzalez et coll., étude de la couche de préparation de la Joconde, Journal of the American Chemical Society, 2023.
• M. Kemp, G. Pallanti, Mona Lisa: The People and the Painting, Oxford University Press, 2017.
• Analyse par logiciel de reconnaissance des émotions (université d'Amsterdam, université de l'Illinois), décembre 2005, rapportée par la presse scientifique.