Le mardi 23 juillet, Meta a annoncé la sortie de Llama 3.1, la dernière version de son modèle de langage à grande échelle. Selon l’entreprise, cette version rivalise avec les modèles d’OpenAI et Anthropic. A noter que ce nouveau modèle sort trois mois seulement après l’intégration de Llama 3 dans Meta AI.
Meta AI est un chatbot qui est actuellement présent sur Facebook, Messenger, Instagram et WhatsApp. Il a également intégré les lunettes intelligentes de Meta.
Llama 3.1 contient pas moins de 405 milliards de paramètres
Selon Meta, son nouveau modèle, baptisé Llama 3.1 405B, est le premier modèle disponible en libre accès qui peut rivaliser avec ses concurrents dans divers domaines. Il peut s’agir de connaissances générales, de compétences en mathématiques ou encore de traductions dans plusieurs langues. Apparemment, Llama 3.1 a été entraîné sur plus de 16 000 GPU Nvidia H100. Ce sont les puces les plus rapides du moment, coûtant chacune 25 000 dollars environ. Meta affirme que Llama 3.1 a battu ses concurrents sur plus de 150 tests.
La mention « 405B » dans le nom de Llama 3.1 fait référence à 405 milliards de paramètres. Ce sont des variables internes qu’un modèle d’IA utilise pour raisonner et prendre des décisions. Par conséquent, plus ce nombre de paramètres est élevé, plus un modèle d’IA devrait être intelligent. En comparaison, les rumeurs disent que le modèle GPT-4 d’OpenAI comprend 1.5 billion de paramètres. Mais OpenAI n’a pas confirmé ce chiffre.
Qu’est-ce que cette nouvelle version peut apporter à Meta AI ?
Par ailleurs, Meta a aussi publié des versions améliorées des modèles Llama existants, avec 70 milliards et 8 milliards de paramètres chacun, selon Engadget. Ces nouvelles versions auraient ainsi des capacités de raisonnement accrues.
Les développeurs peuvent télécharger Llama 3.1 depuis son site officiel. Quant aux utilisateurs lambda, ils peuvent jouer avec Llama 3.1 via Meta AI dans WhatsApp ou sur meta.ai, le site de Meta dédié à son chatbot.
Meta a déclaré dans un billet de blog que :
Les capacités de raisonnement améliorées de Llama 405B permettent à Meta AI de comprendre et de répondre à vos questions les plus complexes, en particulier sur les sujets de mathématiques et de codage. Vous pouvez obtenir de l’aide pour vos devoirs de mathématiques avec des explications et des commentaires étape par étape, écrire du code plus rapidement avec l’aide au débogage et à l’optimisation.
Pour le moment, Meta AI sur Facebook, Messenger et Instagram est limité à la version plus petite de Llama 3.1 qui utilise 70 milliards de paramètres.
Mark Zuckerberg dénonce la malhonnêteté de ses rivaux
Il faut noter que, contrairement aux modèles d’IA exclusifs d’OpenAI, Google, Microsoft et Anthropic, Meta a choisi de mettre ses modèles d’IA en open source. Cela signifie que n’importe qui peut les modifier et les utiliser gratuitement sans partager de données personnelles avec Meta.
Dans une lettre publiée le mardi 23 juillet, le PDG de Meta, Mark Zuckerberg, a déclaré qu’une approche open source du développement de l’IA garantirait un plus large accès aux avantages de la technologie. De plus, cela empêcherait la concentration du pouvoir entre quelques grandes entreprises et permettrait un déploiement plus sûr de l’IA dans la société.
Meta compte faire de Llama, la « norme industrielle » pour tous ceux qui veulent développer des applications et des services basés sur l’IA. Par ailleurs, Mark Zuckerberg n’a pas manqué de critiquer Apple et son écosystème fermé. Selon lui, les politiques restrictives et arbitraires d’Apple ont limité les avancées de Meta. Mark Zuckerberg affirme ainsi que :
Meta et de nombreuses autres entreprises seraient libres de créer de bien meilleurs services pour les gens si nous pouvions créer les meilleures versions de nos producteurs et que nos concurrents n’étaient pas en mesure de limiter ce que nous pouvions créer.
