Science de l’évaluation
Des benchmarks représentant tâches, opérateurs, défaillances et économie de production.
Une recherche qui change les décisions d’ingénierie.
L’IA évolue trop vite pour séparer pratique et recherche. Notre programme cible les questions qui modifient faisabilité, architecture, évaluation et performance.
Principe de travail
Un résultat utile doit changer ce qui est construit, comment on l’évalue ou s’il faut le construire.
Programme de recherche
Quatre thèmes techniques liés.
Systèmes de modèles
L’architecture autour des modèles : routage, recherche, mémoire, outils, permissions et contrôle.
Intelligence multimodale
Des systèmes qui perçoivent et raisonnent sur informations visuelles, textuelles, audio et structurées.
Systèmes apprenants en production
Infrastructure et méthodes pour des systèmes à observer, améliorer et rendre dignes de confiance.
Notes de terrain actuelles
Questions à résoudre.
Des perspectives techniques de travail, pas des commentaires de tendance ni des revendications de publication académique.
01Systèmes d’évaluation
Évaluer les systèmes agentiques face aux défaillances du monde réel
La réussite de la tâche ne suffit pas : permissions, récupération, observabilité et confiance des opérateurs transforment le benchmark.
02Décisions d’architecture
Quand la génération augmentée par recherche n’est plus la bonne architecture
Un cadre pratique pour la qualité de recherche, la volatilité des connaissances, la latence et l’état du processus.
03Économie de production
L’économie d’ingénierie du choix de modèle
Comparer API de pointe, petits modèles hébergés et systèmes spécialisés selon qualité, débit, charge d’exploitation et risque de changement.