« Il n’existe pas de mur ». Cette déclaration de Sam Altman, PDG d’OpenAI et créateur de ChatGPT, met en lumière le vif débat en cours dans la Silicon Valley concernant le ralentissement des avancées en intelligence artificielle (IA). Bien que des menaces menacent l’avenir, les grandes entreprises du secteur s’efforcent de proposer des solutions. Voici un éclairage sur la situation.
Les menaces pesant sur l’IA
Business Insider a récemment interrogé douze experts pour mieux comprendre la situation. Dans l’ensemble, le développement de ces technologies pourrait être compromis par des difficultés d’approvisionnement en puces spécialisées. En effet, Nvidia éprouve parfois des difficultés à satisfaire une demande extrêmement élevée.
Par ailleurs, les entreprises technologiques rencontrent un autre défi majeur : l’accès aux données de formation. Elles ont largement exploité les informations publiques disponibles sur Internet, ce qui a suscité des critiques et des poursuites de la part de certains médias et artistes.
Ce manque de ressources risque de freiner l’innovation et pourrait mener à une réelle stagnation des modèles. Selon le cabinet Epoch AI, les données textuelles exploitables pourraient être épuisées d’ici 2028.
Comment surmonter ces obstacles ?
Pour faire face à ces défis, les entreprises envisagent d’enrichir leurs bases de données avec des informations multimodales. Cela impliquerait d’intégrer des sources visuelles et audio en plus des textes accessibles en ligne.
Les données privées pourraient également jouer un rôle crucial dans la formation des IA. À cet égard, des entreprises comme OpenAI et Google multiplient les partenariats avec des médias ou des plateformes destinées aux développeurs, telles que Stack Overflow.
Pour continuer à améliorer leurs modèles, les entreprises doivent impérativement chercher à collecter des sources de qualité. Elles pourraient notamment se tourner vers des données synthétiques générées par l’IA elle-même. Toutefois, la supervision humaine demeurera essentielle pour éviter les erreurs, selon les experts consultés.
Comme l’indique un ancien employé de Google DeepMind cité par Business Insider, « Gemini a changé de cap. Ils ont compris qu’il était coûteux de gérer des modèles si volumineux et qu’il valait mieux les spécialiser pour diverses tâches grâce à une formation plus ciblée. »
Enfin, une autre approche consiste à accorder plus de temps à l’IA pour réfléchir. Sivesh Sukumar souligne que des réponses fournies en quelques millisecondes n’ont pas de sens. « Si l’on considère le fonctionnement du cerveau humain, même les individus les plus brillants mettent du temps à résoudre des problèmes. »
La question énergétique en suspens
OpenAI a d’ailleurs pris les devants sur ce sujet en lançant o1 à l’automne dernier, un système conçu pour réfléchir quelques secondes à une question avant de fournir une réponse.
Au-delà des défis techniques, les entreprises doivent également faire face à des enjeux énergétiques. Les data centers, essentiels à leur fonctionnement, consomment énormément d’électricité, suscitant des doutes sur la durabilité de ces innovations, qui sont également très gourmandes en eau.
