Thinking Machines Lab présente le modèle Inkling de 975 milliards de paramètres

Un nouvel acteur puissant fait son apparition dans le monde de l'IA : la startup Thinking Machines Lab, fondée par d'anciens dirigeants d'OpenAI, a dévoilé son premier modèle universel, Inkling. Ce développement se distingue par son caractère open source, ce qui signifie que toute organisation ou développeur peut le télécharger, l'utiliser sur son infrastructure privée et le réentraîner selon ses besoins. C'est ce que rapporte Ixbt.com rapporte .

Bien que le modèle Inkling possède un nombre impressionnant de 975 milliards de paramètres, il repose sur une architecture Mixture of Experts. Cela signifie que lors de l'exécution d'une tâche spécifique, ce ne sont pas toutes les ressources du modèle qui sont sollicitées, mais seulement environ 41 milliards de paramètres actifs. Une telle approche permet d'économiser de la puissance de calcul tout en maintenant une haute qualité.

Capacités techniques et flexibilité

Selon les informations d'ixbt.com, Inkling ne se limite pas au texte, mais est également capable de comprendre des données audio et vidéo. Il prend également en charge une fenêtre de contexte immense allant jusqu'à 1 million de tokens. Les développeurs soulignent que le modèle n'a pas été créé pour occuper la première place dans les benchmarks, mais pour servir de base flexible et pratique aux clients entreprises.

Parallèlement à Inkling, l'entreprise a également présenté une version plus petite, le modèle Inkling-Small. Avec 12 milliards de paramètres actifs, cette version se distingue par sa rapidité et ses faibles coûts d'exploitation. Les deux modèles peuvent être réentraînés sur des données d'entreprise via la plateforme Tinker de l'entreprise.

Il est intéressant de noter qu'au cours du processus d'entraînement, Inkling a commencé à abandonner spontanément l'expression de conclusions logiques en langage humain. Le modèle considérait ces explications comme des coûts de calcul inutiles. Cependant, les ingénieurs ont dû restaurer cette fonction pour garantir que le processus de prise de décision du modèle reste transparent et compréhensible.

Le succès de l'ancienne équipe d'OpenAI

La startup Thinking Machines Lab a été fondée en février 2025 par Mira Murati, ancienne directrice technique d'OpenAI, John Schulman, l'un des créateurs de ChatGPT, et Lilian Weng, experte en sécurité. La startup est entrée sur le marché avec force l'année dernière, levant un montant record de 2 milliards de dollars pour une valorisation de 12 milliards de dollars.

Le lancement du modèle Inkling promeut l'idée que les technologies d'IA ne doivent pas rester sous le contrôle de quelques entreprises géantes. Pour les spécialistes et les entreprises locales, l'émergence de tels modèles ouverts permet de créer des systèmes d'IA sécurisés et indépendants basés sur leurs propres bases de données.