Intelligence artificielle générative

L'intelligence artificielle générative ou IA générative (IAg ou GenAI) est un type de système d'intelligence artificielle (IA) capable de générer du texte, des images ou d'autres médias en réponse à des invites (ou prompts en anglais). Elle est dite multimodale quand elle est construite à partir de plusieurs modèles génératifs, ou d'un modèle entraîné sur plusieurs types de données et qu'elle peut produire plusieurs types de données. Par exemple, la version GPT-4 d'OpenAI accepte les entrées sous forme de texte et/ou d'image.

Elle semble avoir des applications possibles dans presque tous les domaines, avec une balance des risques et des opportunités encore discutée : l'IA générative est en effet aussi source d'inquiétudes et des défis éthiques, techniques et socioéconomiques à la hauteur des espoirs qu'elle suscite. Elle peut contribuer à des usages abusifs, accidentels ou détournés (militaires notamment), à une suppression massive d'emploi, à une manipulation de la population via la création de fausses nouvelles, de deepfakes ou de nudges numériques. Elle questionne aussi philosophiquement la nature de la conscience, de la créativité, de la paternité, et crée de nouvelles interactions homme-machine. L'IA est encore peu régulée et la difficulté d’évaluer la qualité et la fiabilité des contenus générés ou l’impact sur la créativité et la propriété intellectuelle humaines est croissante. Certains experts craignent que des IA génératives à venir soient capables de manipuler les humains, d'accéder à des systèmes d'armes, d'exploiter des failles de cybersécurité, voire peut-être bientôt d'acquérir une forme de conscience et/ou de devenir incontrôlable au point de menacer l'existence de l'humanité. Un premier sommet mondial en sûreté de l'IA est organisée début novembre 2023 à Londres, où la création d'un équivalent du GIEC pour informer sur les risques liés à l'IA a notamment été discutée.

Capacités

Selon une analyse d’OpenAI en 2018 : « depuis 2012, la quantité de calcul utilisée dans les plus grands entraînements d’IA a augmenté de manière exponentielle avec un temps de doublement de 3,4 mois (en comparaison, la loi de Moore avait une période de doublement de 2 ans). Depuis 2012, cette métrique a augmenté de plus de 300 000 fois (une période de doublement de 2 ans ne donnerait qu’une augmentation de 7 fois). ». Cette augmentation de la puissance de calcul a facilité l’émergence d’IA génératives pouvant créer des choses originales comme des images, des tableaux, de la musique ou du texte, en s'inspirant de données existantes sans les copier. Elles ne se contentent pas de classer les données d'entrée qu'on leur a fourni, ni de prédire des données statistiquement probables ; elles génèrent des contenus nouveaux dont les bases ne sont qu'en partie similaire aux bases issues de données d'apprentissage qu'on leur a fourni.

Les versions publiques de grands modèles d'IA générative disponibles en 2022 et 2023 produisent des contenus modulés et filtrés de manière à limiter leurs biais, les contenus trompeurs, dangereux, racistes, biaisés, choquants, haineux, non sollicités, les images pornographiques ou sexuellement explicites. Au début des années 2020, la puissance de calcul de l’IA a doublé tous les six à dix mois, permettant aux modèles d’IA de progresser à un rythme exponentiel.

Les anglophones parlent de « Frontier AI » pour désigner les modèles d'IA aux capacités les plus élevées et générales, et qui pourraient présenter des risques nouveaux. Ce type d'IA s'est faite connaitre du public par ChatGPT (et sa variante Bing Chat), un chatbot (agent conversationnel programmable) conçu par OpenAI à partir de ses grands modèles de langage de fondation GPT-3 et GPT-4, ainsi que par Bard, un chatbot de Google basé sur LaMDA. D'autres modèles d'IA générative incluent des systèmes artistiques d'intelligence artificielle tels que Stable Diffusion, Midjourney et DALL-E. Ces IA ont un très large spectre d'applications potentielles dans des domaines créatifs (arts plastiques, cinéma, musique, écriture, design, météo, architecture...), mais aussi dans les secteurs de la santé, de la finance, des jeux vidéo et des simulateurs, dans tous les domaines des sciences et techniques, des sciences sociales, de l'industrie et de la connaissance. Elles ont récemment permis un bond en avant en biologie moléculaire et en compréhension de phénomènes physiques complexes. Elles permettent de synthétiser des visage et des voix humaines réalistes. Elles offrent de nouveaux modes d'exploration d'hypothèses et de scenarios (notamment depuis peu grâce à la production de données synthétiques sophistiquées, issues du domaine de la recherche générative assistée par IA)^{[réf. nécessaire]}...

Principes sous-jacents

Les cadres technologiques et conceptuels les plus importants pour aborder l'IA générative sont en cours d’élaboration depuis un certain temps, mais ils n'ont vraiment abouti que dans les années 2020 à plusieurs types de modèles d'IA particulièrement efficaces :

• les réseaux antagonistes génératifs (GAN), composés de deux parties : un réseau générateur créant de nouveaux échantillons de données, et un réseau discriminateur qui évalue si les échantillons sont réels ou faux. Les deux réseaux sont formés ensemble dans le cadre d'un processus concurrentiel, le réseau générateur essayant continuellement de produire des échantillons de meilleure qualité et plus réalistes, tandis que le réseau discriminateur s'efforce d'identifier avec précision les faux échantillons ;
• les auto-encodeurs variationnels (VAE) ;
• les modèles de diffusion (ex. : Dall-e, Stable Diffusion) ;
• les transformeurs génératifs pré-entraînés (Generative Pretrained Transformers, ou GPT en anglais), qui sont des réseaux de neurones artificiels fondés sur l'architecture du transformeur, pré-entraînés sur de grands ensembles de données de texte non étiqueté, équipés d'un « mécanisme d'attention » et capables de générer un nouveau texte de type humain.

L'IA générative est encore loin de répondre « de manière fiable ou digne de confiance, et il reste encore beaucoup de travail à faire pour rendre ces sources fiables et impartiales », mais elle a des applications (actuelles ou potentielles) dans des domaines aussi variés que l’art, l'industrie, le jeu vidéo, la musique, la médecine, le développement logiciel, le marketing, les biotechnologies, la finance, la mode...

Modalités

Théâtre d'opéra spatial, une image générée par Midjourney et ayant remporté un prix en 2022 a suscité bien des débats.

Un système d'IA générative est construit en appliquant un apprentissage automatique non supervisé ou auto-supervisé à un ensemble de données. Les capacités d'un système d'IA générative dépendent de la modalité ou du type d'ensemble de données utilisé.

• Texte : les systèmes d'IA générative formés sur des mots ou des jetons de mots (tokens) incluent GPT-3, LaMDA, LLaMA, BLOOM, GPT-4 et d'autres. Ils sont capables de traiter du langage naturel, de faire de la traduction automatique et de générer du langage naturel et peuvent être utilisés comme modèles de base pour d'autres tâches. Deux des principaux ensembles de données sont BookCorpus et Wikipédia.
• Code : Outre les textes en langage naturel, de grands modèles de langage peuvent être entraînés sur du texte en langage de programmation, ce qui leur permet de générer du code source de nouveaux programmes informatiques.
• Images : Les systèmes d'IA générative formés sur des ensembles d'images avec des légendes textuelles comprennent Imagen, DALL-E, Midjourney, Stable Diffusion et autres. Ils sont couramment utilisés pour la génération de texte en image et le transfert de style neuronal. Les jeux de données sont notamment LAION-5B et d'autres.
• Molécules : Les systèmes d'IA générative peuvent être entraînés sur des séquences d'acides aminés ou des représentations moléculaires telles que SMILES représentant l'ADN ou les protéines. Ces systèmes, comme AlphaFold, sont utilisés pour la prédiction de la structure des protéines et la découverte de médicaments. Les ensembles de données comprennent divers ensembles de données biologiques.
• Musique : les systèmes d'IA générative tels que MusicLM peuvent être formés sur les formes d'ondes sonores de la musique enregistrée avec des annotations textuelles afin de générer de nouveaux échantillons musicaux fondés sur des descriptions de texte telles qu'« une mélodie de violon apaisante soutenue par un riff de guitare distordu ».
• Vidéo : L'IA générative entraînée sur une vidéo annotée peut générer des clips vidéo cohérents dans le temps. Des IA comme Gen1 par RunwayML et Make-A-Video de Meta peuvent générer des vidéos de cette manière.
• L'IA générative est dite « unimodale » quand elle ne peut accepter et créer qu'un seul type de données (du texte par exemple) ; et « multimodale » quand elle peut traiter ou générer plusieurs types de contenus (par exemple du texte, des images ou du son).

Investissements financiers

L'investissement public et privé dans l'IA générative a bondi, à partir du début des années 2020, principalement avec de grandes entreprises telles que Microsoft, Google et Baidu, mais aussi avec de nombreuses petites entreprises développant des modèles d'IA générative. Les grands acteurs du cloud public cherchent aussi à tirer des revenus de l'IA générative, via des acquisitions et des partenariats stratégiques.

Selon le PitchBook report (mars 2023) de la plateforme sur le capital-risque PitchBook, le marché de l'IAg (IA générative) devrait atteindre 42,6 milliards de dollars en 2023. Si les chatbots, les assistants virtuels et les voicebots ont capté 57,8 % des investissements en capital-risque dans les interfaces en langage naturel en 2022, les secteurs de la programmation et de la santé devraient aussi générer des revenus importants. Cependant, peu de start-up de l'IA ont éprouvé le besoin d'entrer en bourse en 2023, ce qui a limité les bénéfices à court terme des investisseurs (« baisse de 94 % par rapport à la même période [3 premiers trimestres de l'année] en 2021 »).
Selon un rapport McKinsey & Company (juin 2023), l'IAg est en 2023 déjà utilisée par environ un tiers des organisations interrogées par McKinsey, notamment dans les secteurs de la technologie, des médias et du divertissement, de la santé et des services financiers. Elle a un fort potentiel transformatif de l'économie, en augmentant la productivité, l'innovation, la personnalisation et la qualité des produits et services, en créant de nouveaux produits et services ; l'IAg devrait apporter l'équivalent de 2,6 à 4,4 milliards de dollars par an à l'économie mondiale de 2023 à 2040 (2 à 4 % du PIB mondial), avec des opportunités, mais aussi avec des défis, risques et effets complexes sur le travail, les compétences et la société. Les organisations qui n'investissent pas dans cette technologie risquent de se trouver dépassées.
De son côté J.P. Morgan Private Bank Asia (septembre 2023) confirme des opportunités d'investissement et estime que les secteurs des semi-conducteurs, des cartes graphiques et autres puces de calcul hautement performantes, des fonderies de circuits intégrés, des datacenters, des hyperscalers et des logiciels devraient profiter de l'IA. Cependant, la banque met en garde contre les risques de sécurité, d'éthique, de règlementation et de concurrence, et recommande aux investisseurs une approche prudente et responsable.

Transparence du système d'IA ?

En 2023, il est reproché aux systèmes d’IA et notamment d'IA générative de ne pas être transparents, autrement dit d'être des « boites noires » dont même les développeurs de l'IA ne comprennent pas le fonctionnement interne. De grands concepteurs d’IA comme OpenAI et Meta ont commencé à publier des « Fiches Système » (ou « System Cards », inspirées des « Model Cards », une norme largement acceptée pour la documentation des modèles d’IA). Ces fiches contiennent des informations sur l’architecture et le fonctionnement de leurs IA : objectifs, composants, données, performances, impacts potentiels d’un système d’IA et mesures d’atténuation… C’est une première étape vers une documentation des systèmes d’IA, lesquels combinent souvent plusieurs modèles et technologies interagissant pour accomplir des tâches spécifiques.

Une étude récente laisse penser qu'il semble cependant possible de rendre plus transparente cette boite noire, grâce à l’analyse de Fourier appliquée aux réseaux de neurones profonds. En effet, des chercheurs de l’Université Rice, après avoir formé un réseau de neurones profonds à reconnaître les flux complexes d’air ou d’eau et prédire comment ces flux changeraient avec le temps, lui ont ensuite appliqué une analyse de Fourier (sur les équations régissant le réseau de neurones). Cette méthode a révélé ce que le réseau de neurones avait appris, et surtout comment il était parvenu à ces connaissances.

Vers une régulation, une réglementation et une gestion des risques

Différents tests comme HELM ou MMLU permettent d'estimer les capacités ou les comportements indésirables (réponses biaisées, fausses, hallucinations, reprise de contenu protégé par le droit d’auteur...) de grands modèles de langage.

L'Union européenne, les États-Unis et la Chine ont commencé à se doter de législations sur le numérique commençant à prendre en compte l'IA, mais qui s'est avérée dépassée par les progrès rapides de l'IA générative.

En 2023, de nombreuses alertes ont été lancées par des pionniers du deep learning (ex. : Geoffrey Hinton, Yoshua Bengio, Sam Altman ou Demis Hassabis). Notamment via une demande de moratoire de 6 mois dans le développement de l’IA (lancé le 28 mars par le Future of Life Institute qui sera signée par plus de 30 000 personnes dont beaucoup de sommités de l’IA telles que le lauréat du prix Turing Yoshua Bengio et Elon Musk). Puis, en mai 2023, une déclaration du Center for AI Safety (« Centre pour la sûreté de l'IA ») affirmant que « l’atténuation du risque d’extinction de l’humanité lié à l’IA devrait être une priorité mondiale au même titre que la prévention des pandémies et des guerres nucléaires » est signée par d'éminents chercheurs ainsi que par les dirigeants de OpenAI, Google DeepMind et Anthropic.

Selon Heidy Khlaaf (directrice chargée de l’assurance de l’apprentissage automatique chez Trail of Bits, une société de recherche et de conseil en cybersécurité), les centrales nucléaires ont des milliers de pages de documents pour prouver que le système ne cause de tort à personne, et pour Melissa Heikkilä : « la chose la plus importante que la communauté de l’IA pourrait apprendre du risque nucléaire est l’importance de la traçabilité », deux choses encore peu développées dans le secteur de l'IA. La réglementation de l'IA est parfois comparée à la réglementation du secteur nucléaire. Sam Altman (PDG d’OpenAI) a suggéré la mise en place d'un système de licences, dans lequel l'entraînement de systèmes d'IA ayant des capacités élevées nécessiterait l'octroi d'une licence, et pour ce faire de se conformer à des exigences de sécurité (de même que les opérateurs d’installations nucléaires sont tenus d’être licenciés par un régulateur nucléaire). Aidan Gomez (cofondateur de Cohere) a jugé cette formule excessive et détournant l'attention de risques - selon lui plus réels - de l'IA mal utilisée dans les médias sociaux et la médecine, de même que Yann LeCun (embauché comme scientifique en chef de l’IA chez Meta, le groupe qui détient Facebook et travaille à la création d'un Métavers) et Joelle Pineau (vice-présidente de la recherche en IA chez Meta) qui jugent ces craintes ridicules et déraisonnables, affirmant que les IAs comme ChatGPT ne sont pas encore conscientes et ne peuvent donc pas selon eux manipuler ou détruire l'humanité. Mais en 2023, des chercheurs d’Oxford, de Cambridge, de l’Université de Toronto, de l’Université de Montréal, de Google DeepMind, d’OpenAI, d’Anthropic, de plusieurs organismes de recherche à but non lucratif sur l’IA et Yoshua Bengio (lauréat du prix Turing) suggèrent dans un article que les créateurs des modèles d'IA les plus puissants doivent pouvoir évaluer si leurs IAs ont des capacités pouvant présenter des risques « extrêmes » (planification à long terme, manipulation, auto-prolifération, conscience de la situation, capacités à mener des cyberattaques ou à acquérir des armes notamment biologiques...). Les développeurs doivent également apprendre à mesurer la propension des modèles à appliquer leurs capacités à nuire (ceci peut se faire grâce à des « évaluations d’alignement »). Selon eux, « ces évaluations deviendront cruciales pour informer les décideurs politiques et les autres parties prenantes, et pour prendre des décisions responsables concernant l’entraînement, le déploiement et la sécurité des modèles d'IA ».

Aleksander Mądry (professeur d’informatique au Cadence Design Systems du MIT, et directeur du Center for Deployable Machine Learning du MIT) a été audité en mars 2023 par le Sous-comité sur la cybersécurité, les technologies de l’information et l’innovation gouvernementale lors d'une cession intitulée « Progrès de l’IA : sommes-nous prêts pour une révolution technologique ? ». Selon Mądry, « nous sommes à un point d’inflexion en ce qui concerne ce que l’IA du futur apportera(...) le gouvernement devrait plutôt s’interroger sur l’objectif et l’explicabilité des algorithmes utilisés par les entreprises, en tant que précurseur à la réglementation » pour s’assurer que l’IA est cohérente avec les objectifs de la société. Ce serait une erreur selon lui de réglementer l’IA comme si elle était humaine – par exemple en demandant à l’IA d’expliquer son raisonnement et en supposant que les réponses qui en résultent sont fiables.

Concernant le risque de suppression massive d'emplois, dans le TIME, Altman a annoncé qu’OpenAI aborderait en 2024 le sujet de la redistribution des richesses (« OpenAI mène actuellement une étude de cinq ans sur le revenu universel », qui doit se terminer en 2024). Rishi Sunak (premier ministre britannique) a invité la communauté internationale à Bletchey park en novembre 2023 pour un premier sommet mondial en sûreté de l'IA, abordant notamment les risques existentiels liés à l'IA. Sunak propose que soit créé un groupe d’experts internationaux, sur le modèle du GIEC, qui serait dans un premier temps chargé de publier un état des lieux de l’IA. Le 1^er novembre, la Chine, les États-Unis, l’Union européenne et une vingtaine de pays ont signé la déclaration de Bletchley pour un développement « sûr » de l’intelligence artificielle. La veille, trois de ces pays (France, Allemagne et Italie) avaient signé à Rome un accord de coopération sur l'IA « dans le prolongement des efforts globaux déployés en faveur de la transition numérique et écologique ».

En février 2024, l'Autorité de la concurrence française s'autosaisit et lance un consultation publique des acteurs de l'AI générative en vue d'émettre un avis.

Éléments de prospective

L'IA générative, telle qu'elle se développe à partir de 2022 pourrait évoluer vers les formes suivantes d'IA :

1. L'IA interactive, déjà en cours de développement, et capable d'interagir avec le monde réel de manière plus complexe, en collaborant avec d'autres logiciels, des machines ou des robots. Pour Mustafa Suleyman (cofondateur de DeepMind et ex- vice-président des produits et des politiques d’IA de Google), interrogé par la MIT Technology Review (septembre 2023) c'est l'étape qui suivra l'IA générative, avec les mêmes risques et atouts mais plus difficile à contrôler en cas d'usage malveillant. Pour Demis Hassabis (autre cofondateur de DeepMind), elle « a le potentiel de transformer de nombreux aspects de nos vies ».
2. L'IA autonome, à ses débuts avec par exemple le véhicule autonome, permettra à des machines d'accomplir des tâches sans intervention humaine. Elle semble pouvoir notamment concerner les transports, la santé et la sécurité.
3. L'IA consciente, généralement considérée comme une possibilité encore lointaine, serait capable d'une forme de ressenti des émotions et d'avoir une conscience de soi. C'est une technologie controversée, qui soulève des questions éthiques et philosophiques complexes.

Articles connexes

• Arts de l'intelligence artificielle
• Recherche générative assistée par intelligence artificielle
• Réseau antagoniste génératif
• Transformateur génératif pré-entraîné
• Grand modèle de langage
• Google Gemini
• Falcon 180B