Bien que prometteuse pour de nombreux domaines, l’IA pose encore problème dans nos sociétés modernes qui se veulent durables. En effet, elle consomme beaucoup d’énergie pour effectuer des calculs complexes et traiter d’énormes quantités de données. Heureusement, une équipe d’ingénieurs annonce la mise au point d’une méthode permettant de réduire la quasi-totalité de ses besoins énergétiques.
C’est son péché mignon. Si elle révolutionne de nombreux domaines de la vie humaine, l’intelligence artificielle se montre trop gourmande en énergie. Elle en consomme énormément pour effectuer des calculs complexes et traiter une quantité gigantesque de données. ChatGPT, par exemple, a besoin d’environ 564 MWh par jour, soit l’équivalent de la consommation énergétique de 18 000 foyers américains.
L’IA risque de créer une crise énergétique majeure dans les prochaines années
Au rythme actuel de sa voracité, certains experts estiment que l’IA pourrait engendrer une crise énergétique majeure d’ici un an ou deux. Face à de telles perspectives, les scientifiques du monde entier s’activent pour trouver une solution. Une équipe d’ingénieurs de la société de technologie BitEnergy AI annonce avoir mis au point une méthode permettant de réduire la quasi-totalité des besoins énergétiques de l’intelligence artificielle, et cela sans entraîner une diminution des performances.
Une nouvelle technique connue sous le nom de L-Mul pourrait nous sauver
Dans un article publié sur le serveur de pré-impression arXiv, les chercheurs décrivent leur nouvelle technique connue sous le nom de « multiplication de complexité linéaire » ou L-Mul (« Linear-Complexity Multiplication » en anglais). Il faut savoir que les modèles d’IA actuels s’appuient largement sur des calculs complexes, notamment des multiplications en virgule flottante. Celles-ci sont essentielles pour gérer les vastes quantités de données traitées. Et ces opérations engloutissent beaucoup d’énergie.
Cette méthode décompose les multiplications complexes en étapes plus faciles à gérer
L’application de L-Mul au matériel de traitement optimise les calculs mathématiques nécessaires pour le fonctionnement des algorithmes. Elle permet de remplacer les multiplications à virgule flottante par des approximations obtenues via des additions d’entiers bien plus simples. En décomposant les multiplications complexes en étapes plus faciles à gérer, elle réduit considérablement l’énergie nécessaire aux calculs. « Nos expériences indiquent que L-Mul surpasse les transformateurs 8 bits avec une consommation de calcul plus faible et atteint des performances sans perte. », soulignent les chercheurs.
Réduction quasi-totale des coûts énergétiques et une précision quasi-intacte
Selon les premiers tests, l’application de L-Mul permet de réduire jusqu’à 95% des coûts énergétiques liés à une opération par produits tensoriels à virgule flottante. Elle baisse aussi de 80 % la consommation énergétique pour les produits scalaires, un autre calcul mathématique effectué par les modèles d’JA. De plus, les ingénieurs ont constaté une précision similaire. En effet, ils ont enregistré une perte de seulement 0,07 % de précision pour les tâches de raisonnement en langage naturel et de 0,12 % pour les tâches visuelles.
L-Mul est hautement compatible avec les modèles d’IA actuels
Ces pertes minimes ont été obtenues dès les premières expérimentations. Ainsi, avec des entraînements supplémentaires et quelques ajustements, on devrait avoir un meilleur résultat. La différence de performance pourrait même disparaître complètement. L-Mul serait d’ailleurs hautement compatible avec les modèles d’IA basés sur les transformateurs, l’architecture sur laquelle reposent les systèmes populaires comme ChatGPT. Ce qui est un bon point pour l’intégration rapide de cette solution. Toutefois, BitEnergy AI devra d’abord convaincre les fabricants de GPU.
