Contexte
τ²-bench (Sierra Research) est un benchmark d’agents conversationnels
: un agent LLM, doté d’outils et d’une politique métier doit résoudre
les demandes d’un utilisateur lui aussi simulé par un LLM.
Ce projet ne consiste pas à obtenir le meilleur
score. Il consiste à étudier ce que le benchmark mesure
vraiment, à concevoir un protocole d’évaluation rigoureux, à
l’appliquer à deux ou trois agents simples, et à en rendre compte de
façon critique et traçable.
Travail demandé
Rapport 1
- Prise en main du benchmark
- Domaines, tâches, outils, etc
- Biais et limites du benchmark
Rapport 2
Tout ce qui précède, mis à jour et corrigé, plus:
- Identification de questions de recherche
- Proposition d’un protocole d’évaluation précis et motivé
- Proposition des expériences à lancer
Rapport final
Tout ce qui précède, mis à jour et corrigé, plus:
- Résultats expérimentaux et leur analyse
- Pistes d’améliorations
- Limites identifiées
- Conclusion
Foire aux questions
- Comment obtenir une clé API pour les modèles cloud ?
-
Voir sur mattermost. Créer une clé par personne (pas par groupe) et
indiquer votre nom complet et votre adresse Sorbonne.
- Quel est le budget alloué ?
-
3$ pour commencer, j’augmenterai votre crédit si besoin.
- J’ai consommé accidentellement tout notre budget, que faire
?
-
Venez m’en parler, c’est pour ça que je mets une limite aussi basse.
- Des groupes de combien ?
-
2 ou 3 (pas plus, pas moins !)
- Comment faire des exemples peu coûteux ?
-
Utiliser le domaine
mock.
- Comment configurer tau2-bench pour passer par le proxy
?
-
Créer un fichier
.env dans le répertoire
tau2-bench avec le contenu suivant
OPENAI_BASE_URL=https://litellm.isir.upmc.fr
OPENAI_API_KEY=sk-XXXX # Votre clé