Le juge automatique, et comment ne pas se mentir

Quand il n'y a pas de bonne réponse unique, comment noter mille sorties ? À la main, c'est impossible au-delà de quelques dizaines. La réponse pratique du domaine s'appelle LLM-as-a-judge : un modèle note les productions d'un autre. Ça marche remarquablement bien, à condition de savoir exactement où ça ne marche pas.

À la fin de ce chapitre, tu sauras :

• Écrire un juge qui note de façon reproductible.
• Mesurer son accord avec un humain, la seule chose qui le valide.
• Éviter les cinq biais connus.