Pourquoi tester une consigne
Si un cuisinier réussit une bonne soupe, on ne sait pas encore si la recette est bonne. Peut-être qu'il a eu de la chance ce jour-là. Une recette est bonne quand elle fonctionne plusieurs jours, avec plusieurs marmites. On teste une consigne de la même façon : sur plusieurs entrées, pas seulement une.
- Une consigne peut sembler parfaite sur le seul exemple que vous avez essayé et échouer sur le suivant. Tester, c'est lancer la consigne sur plusieurs entrées réalistes et noter les résultats.
- La documentation d'Anthropic sur la définition des critères de réussite et la création d'évaluations dit que définir des critères de réussite, puis concevoir des évaluations pour mesurer la performance par rapport à ces critères, est au cœur de l'ingénierie de consignes. Son schéma du processus va ainsi : cas de test, consigne préliminaire, tests et améliorations répétés, validation finale, mise en service.
- Une évaluation (« eval », abréviation d'evaluation) est un test que vous lancez sur une consigne : un ensemble d'entrées et une façon de noter les réponses.
- Le guide de rédaction de consignes d'Anthropic dit que, quand une technique nomme un modèle précis, elle a été mesurée sur ce modèle, et que vous devez la revérifier avec vos propres évaluations avant de l'appliquer à un autre modèle. Les tests vous protègent donc aussi quand le modèle change.
- Les réponses de l'IA ne sont pas identiques à chaque fois. Lancer deux fois la même consigne peut donner des résultats différents, alors un seul bon essai est une preuve faible.
- Les tests ne sont pas réservés aux programmeurs. Un enseignant, un employé de bureau ou un propriétaire de commerce peut lancer un jeu de tests à la main dans un chiffrier.
| Sans tests | Avec des tests |
|---|---|
| « Ça a marché quand j'ai essayé. » | « Elle a réussi 17 cas sur 20. » |
| Vous changez la consigne et vous espérez. | Vous changez une chose et vous voyez si la note bouge. |
| Un nouveau modèle arrive; vous ne savez pas ce qui est brisé. | Vous relancez vos cas et vous voyez exactement ce qui a changé. |
- Choisissez une consigne que vous utilisez au moins chaque semaine (par exemple la chaîne ou la consigne JSON du cours 1.2.2).
- Écrivez le travail de la consigne en une phrase.
- Lancez-la sur une entrée et notez le résultat.
- Relancez-la sur la même entrée, dans un nouveau clavardage. Notez si la réponse est différente.
- Maintenant, lancez-la sur une entrée très différente (courte, désordonnée, ou avec des renseignements manquants). Notez ce qui arrive.
- Écrivez une ligne : « Je ne sais pas encore si cette consigne fonctionne parce que ... ».
- Vérifiez : vous avez vu au moins une différence entre les essais ou les entrées, et vous pouvez expliquer pourquoi un seul essai ne suffit pas.
Videos by other creators on YouTube, for reference. They are not made by or affiliated with The Future Market.
Read the video script
[Host] "Une bonne réponse ne prouve rien. Peut-être que vous avez eu de la chance."
[Screen: la même consigne lancée sur trois entrées différentes, une échoue] "Même consigne, trois entrées différentes. Deux fonctionnent. Une plante."
[Text on screen: Consigne, entrées, note] "Tester, c'est simple : une consigne, plusieurs entrées et une note."
[Host] "Faites ça, et vous arrêtez d'espérer pour commencer à savoir."
Lancez une de vos consignes sur trois entrées différentes, deux fois chacune. Notez chaque différence que vous remarquez entre les essais.
ClaudeStuck? Copy a ready-made prompt for Claude
Copy this, open Claude, paste it, and Claude will walk you through the lesson step by step.
For a grown-up: Claude is for adults (18+). Copy this, paste it into Claude, and use the answer to explain the lesson to your child.
I'm learning "Tester ses consignes : évaluer et améliorer vos prompts" on The Future Market. Lesson 1: "Pourquoi tester une consigne". What the lesson teaches: - Une consigne peut sembler parfaite sur le seul exemple que vous avez essayé et échouer sur le suivant. Tester, c'est lancer la consigne sur plusieurs entrées réalistes et noter les résultats. - La documentation d'Anthropic sur la définition des critères de réussite et la création d'évaluations dit que définir des critères de réussite, puis concevoir des évaluations pour mesurer la performance par rapport à ces critères, est au cœur de l'ingénierie de consignes. Son schéma du processus va ainsi : cas de test, consigne préliminaire, tests et améliorations répétés, validation finale, mise en service. - Une évaluation (« eval », abréviation d'evaluation) est un test que vous lancez sur une consigne : un ensemble d'entrées et une façon de noter les réponses. - Le guide de rédaction de consignes d'Anthropic dit que, quand une technique nomme un modèle précis, elle a été mesurée sur ce modèle, et que vous devez la revérifier avec vos propres évaluations avant de l'appliquer à un autre modèle. Les tests vous protègent donc aussi quand le modèle change. - Les réponses de l'IA ne sont pas identiques à chaque fois. Lancer deux fois la même consigne peut donner des résultats différents, alors un seul bon essai est une preuve faible. - Les tests ne sont pas réservés aux programmeurs. Un enseignant, un employé de bureau ou un propriétaire de commerce peut lancer un jeu de tests à la main dans un chiffrier. - Sans tests - Avec des tests The exercise I'm working on: Lancez une de vos consignes sur trois entrées différentes, deux fois chacune. Notez chaque différence que vous remarquez entre les essais. I'm stuck. Please: 1. Explain the main idea in plain, simple words with one everyday example. 2. Walk me through the exercise one small step at a time. Ask me what I've done so far before giving the next step. 3. Don't just give me the final answer. Help me do it myself, and check my work when I share it.
I'm a parent helping my child (about 8 years old) with a lesson called "Pourquoi tester une consigne" from the course "Tester ses consignes : évaluer et améliorer vos prompts". Here's what the lesson says: Si un cuisinier réussit une bonne soupe, on ne sait pas encore si la recette est bonne. Peut-être qu'il a eu de la chance ce jour-là. Une recette est bonne quand elle fonctionne plusieurs jours, avec plusieurs marmites. On teste une consigne de la même façon : sur plusieurs entrées, pas seulement une. The activity: Lancez une de vos consignes sur trois entrées différentes, deux fois chacune. Notez chaque différence que vous remarquez entre les essais. Please explain this so an 8-year-old understands: short sentences, a fun everyday example, and no hard words. Then give me 3 simple questions I can ask my child to check they understood, and a way to do the activity together, one tiny step at a time.
Sources
- Anthropic, Define success criteria and build evaluations: platform.claude.com/docs/en/test-and-evaluate/develop-tests
- Anthropic, Prompting best practices (General principles): platform.claude.com/docs/en/build-with-claude/prompt-engineering/claud
Définir ce que « bon » veut dire
This lesson is part of full access: every course and every level for one payment.
Bâtir un jeu de tests
This lesson is part of full access: every course and every level for one payment.
Noter les réponses avec une grille
This lesson is part of full access: every course and every level for one payment.
Comparer équitablement des versions de consigne
This lesson is part of full access: every course and every level for one payment.
Trouver et réduire les erreurs
This lesson is part of full access: every course and every level for one payment.
Suivre les changements et garder ce qui aide
This lesson is part of full access: every course and every level for one payment.
Final project
This lesson is part of full access: every course and every level for one payment.
Quiz
Pourquoi une bonne réponse ne suffit-elle pas pour faire confiance à une consigne?
Les réponses de l'IA peuvent varier d'un essai et d'une entrée à l'autre, alors il faut plusieurs cas réalistes.
Qu'est-ce qu'une évaluation (eval)?
Un test pour une consigne : un ensemble d'entrées et une façon de noter les réponses.
Nommez les quatre qualités de bons critères de réussite selon Anthropic.
Précis, mesurables, réalisables et pertinents.
Pourquoi inclure des cas limites dans un jeu de tests?
Les vraies entrées en comprennent d'étranges, de manquantes, de longues ou de hors sujet, et la consigne doit les gérer.
Qu'est-ce qu'un jeu de tests réservé?
Des cas que vous n'utilisez pas pour écrire ou ajuster la consigne, gardés pour une vérification finale équitable.
Qu'est-ce qu'une réponse de référence?
La bonne réponse que vous décidez à l'avance pour un cas de test.
Nommez les trois méthodes de notation de la documentation d'Anthropic.
La notation par code, la notation humaine et la notation par LLM.
Quelle est une bonne règle quand une IA sert d'évaluateur?
Utiliser un modèle différent de celui qui a produit les réponses, et vérifier soi-même les notes par échantillonnage.
Pourquoi ne changer qu'une seule chose entre les versions?
Pour savoir quel changement a causé le résultat.
Qu'est-ce qu'une régression?
Un cas qui passait avant et qui échoue maintenant après un changement.
Que fait la permission de dire « je ne sais pas »?
Elle peut réduire considérablement les fausses informations.
Ces techniques éliminent-elles complètement les hallucinations?
Non. Elles les réduisent, donc vous validez quand même les résultats importants.
Final exam
This lesson is part of full access: every course and every level for one payment.
Certificate
This lesson is part of full access: every course and every level for one payment.