THE FUTURE MARKETACADEMY
Your classroomRoom 01 · AI Lab
School of AI

Tester ses consignes : évaluer et améliorer vos prompts

What you'll be able to do
  • Expliquer pourquoi une bonne réponse ne prouve pas qu'une consigne fonctionne, et comment les tests règlent ce problème.
  • Rédiger des critères de réussite précis et mesurables.
  • Bâtir un petit jeu de tests qui comprend des cas normaux, des cas limites et des réponses que vous connaissez déjà.
  • Noter les réponses avec une grille, en utilisant des vérifications de type code, des vérifications humaines et un évaluateur IA là où chacun convient.
  • Comparer équitablement deux versions d'une consigne et ne garder que les changements qui aident.
  • Réduire les erreurs et tenir un journal pour savoir ce qui a changé et pourquoi.

Avant ce cours : Prompting for Complex Tasks: chains, roles and structured outputs (course 1.2.2). Vous savez déjà découper un travail en chaîne, étiqueter les parties d'une consigne, demander des tableaux et du JSON, ajouter des exemples et des auto-vérifications, et déboguer une consigne sur trois entrées. Le cours 1.2.2 se terminait par un journal de tests sur 3 entrées. Ce cours rend ces tests sérieux : un vrai jeu de tests, une grille de notation, des comparaisons équitables et un journal des changements. Aucune programmation n'est nécessaire; là où les pages d'Anthropic montrent du code, nous faisons la même chose à la main dans un clavardage ou un chiffrier.

Words in this course 50Open the Vocabulary Hall
01

Pourquoi tester une consigne

In simple words

Si un cuisinier réussit une bonne soupe, on ne sait pas encore si la recette est bonne. Peut-être qu'il a eu de la chance ce jour-là. Une recette est bonne quand elle fonctionne plusieurs jours, avec plusieurs marmites. On teste une consigne de la même façon : sur plusieurs entrées, pas seulement une.

Key facts
  • Une consigne peut sembler parfaite sur le seul exemple que vous avez essayé et échouer sur le suivant. Tester, c'est lancer la consigne sur plusieurs entrées réalistes et noter les résultats.
  • La documentation d'Anthropic sur la définition des critères de réussite et la création d'évaluations dit que définir des critères de réussite, puis concevoir des évaluations pour mesurer la performance par rapport à ces critères, est au cœur de l'ingénierie de consignes. Son schéma du processus va ainsi : cas de test, consigne préliminaire, tests et améliorations répétés, validation finale, mise en service.
  • Une évaluation (« eval », abréviation d'evaluation) est un test que vous lancez sur une consigne : un ensemble d'entrées et une façon de noter les réponses.
  • Le guide de rédaction de consignes d'Anthropic dit que, quand une technique nomme un modèle précis, elle a été mesurée sur ce modèle, et que vous devez la revérifier avec vos propres évaluations avant de l'appliquer à un autre modèle. Les tests vous protègent donc aussi quand le modèle change.
  • Les réponses de l'IA ne sont pas identiques à chaque fois. Lancer deux fois la même consigne peut donner des résultats différents, alors un seul bon essai est une preuve faible.
  • Les tests ne sont pas réservés aux programmeurs. Un enseignant, un employé de bureau ou un propriétaire de commerce peut lancer un jeu de tests à la main dans un chiffrier.
Sans testsAvec des tests
« Ça a marché quand j'ai essayé. »« Elle a réussi 17 cas sur 20. »
Vous changez la consigne et vous espérez.Vous changez une chose et vous voyez si la note bouge.
Un nouveau modèle arrive; vous ne savez pas ce qui est brisé.Vous relancez vos cas et vous voyez exactement ce qui a changé.
Step by step
  1. Choisissez une consigne que vous utilisez au moins chaque semaine (par exemple la chaîne ou la consigne JSON du cours 1.2.2).
  2. Écrivez le travail de la consigne en une phrase.
  3. Lancez-la sur une entrée et notez le résultat.
  4. Relancez-la sur la même entrée, dans un nouveau clavardage. Notez si la réponse est différente.
  5. Maintenant, lancez-la sur une entrée très différente (courte, désordonnée, ou avec des renseignements manquants). Notez ce qui arrive.
  6. Écrivez une ligne : « Je ne sais pas encore si cette consigne fonctionne parce que ... ».
  7. Vérifiez : vous avez vu au moins une différence entre les essais ou les entrées, et vous pouvez expliquer pourquoi un seul essai ne suffit pas.
Watch on YouTube
Evaluate prompts in the Anthropic ConsoleAnthropic · YouTube · youtube.com

Videos by other creators on YouTube, for reference. They are not made by or affiliated with The Future Market.

LESSON 01Pourquoi tester une consigne
LESSON 01 / ANIMATED LESSON / ENGLISH VOICE00:00 / 01:00
Read the video script
[Host] "Une bonne réponse ne prouve rien. Peut-être que vous avez eu de la chance."
[Screen: la même consigne lancée sur trois entrées différentes, une échoue] "Même consigne, trois entrées différentes. Deux fonctionnent. Une plante."
[Text on screen: Consigne, entrées, note] "Tester, c'est simple : une consigne, plusieurs entrées et une note."
[Host] "Faites ça, et vous arrêtez d'espérer pour commencer à savoir."
Try it now

Lancez une de vos consignes sur trois entrées différentes, deux fois chacune. Notez chaque différence que vous remarquez entre les essais.

ClaudeStuck? Copy a ready-made prompt for Claude

Copy this, open Claude, paste it, and Claude will walk you through the lesson step by step.

For a grown-up: Claude is for adults (18+). Copy this, paste it into Claude, and use the answer to explain the lesson to your child.

I'm learning "Tester ses consignes : évaluer et améliorer vos prompts" on The Future Market. Lesson 1: "Pourquoi tester une consigne".

What the lesson teaches:
- Une consigne peut sembler parfaite sur le seul exemple que vous avez essayé et échouer sur le suivant. Tester, c'est lancer la consigne sur plusieurs entrées réalistes et noter les résultats.
- La documentation d'Anthropic sur la définition des critères de réussite et la création d'évaluations dit que définir des critères de réussite, puis concevoir des évaluations pour mesurer la performance par rapport à ces critères, est au cœur de l'ingénierie de consignes. Son schéma du processus va ainsi : cas de test, consigne préliminaire, tests et améliorations répétés, validation finale, mise en service.
- Une évaluation (« eval », abréviation d'evaluation) est un test que vous lancez sur une consigne : un ensemble d'entrées et une façon de noter les réponses.
- Le guide de rédaction de consignes d'Anthropic dit que, quand une technique nomme un modèle précis, elle a été mesurée sur ce modèle, et que vous devez la revérifier avec vos propres évaluations avant de l'appliquer à un autre modèle. Les tests vous protègent donc aussi quand le modèle change.
- Les réponses de l'IA ne sont pas identiques à chaque fois. Lancer deux fois la même consigne peut donner des résultats différents, alors un seul bon essai est une preuve faible.
- Les tests ne sont pas réservés aux programmeurs. Un enseignant, un employé de bureau ou un propriétaire de commerce peut lancer un jeu de tests à la main dans un chiffrier.
- Sans tests - Avec des tests

The exercise I'm working on:
Lancez une de vos consignes sur trois entrées différentes, deux fois chacune. Notez chaque différence que vous remarquez entre les essais.

I'm stuck. Please:
1. Explain the main idea in plain, simple words with one everyday example.
2. Walk me through the exercise one small step at a time. Ask me what I've done so far before giving the next step.
3. Don't just give me the final answer. Help me do it myself, and check my work when I share it.
I'm a parent helping my child (about 8 years old) with a lesson called "Pourquoi tester une consigne" from the course "Tester ses consignes : évaluer et améliorer vos prompts".

Here's what the lesson says:
Si un cuisinier réussit une bonne soupe, on ne sait pas encore si la recette est bonne. Peut-être qu'il a eu de la chance ce jour-là. Une recette est bonne quand elle fonctionne plusieurs jours, avec plusieurs marmites. On teste une consigne de la même façon : sur plusieurs entrées, pas seulement une.

The activity:
Lancez une de vos consignes sur trois entrées différentes, deux fois chacune. Notez chaque différence que vous remarquez entre les essais.

Please explain this so an 8-year-old understands: short sentences, a fun everyday example, and no hard words.
Then give me 3 simple questions I can ask my child to check they understood, and a way to do the activity together, one tiny step at a time.
Open Claude
Sources
My notes
02

Définir ce que « bon » veut dire

This lesson is part of full access: every course and every level for one payment.

03

Bâtir un jeu de tests

This lesson is part of full access: every course and every level for one payment.

04

Noter les réponses avec une grille

This lesson is part of full access: every course and every level for one payment.

05

Comparer équitablement des versions de consigne

This lesson is part of full access: every course and every level for one payment.

06

Trouver et réduire les erreurs

This lesson is part of full access: every course and every level for one payment.

07

Suivre les changements et garder ce qui aide

This lesson is part of full access: every course and every level for one payment.

++

Final project

This lesson is part of full access: every course and every level for one payment.

??

Quiz

  1. Pourquoi une bonne réponse ne suffit-elle pas pour faire confiance à une consigne?

  2. Qu'est-ce qu'une évaluation (eval)?

  3. Nommez les quatre qualités de bons critères de réussite selon Anthropic.

  4. Pourquoi inclure des cas limites dans un jeu de tests?

  5. Qu'est-ce qu'un jeu de tests réservé?

  6. Qu'est-ce qu'une réponse de référence?

  7. Nommez les trois méthodes de notation de la documentation d'Anthropic.

  8. Quelle est une bonne règle quand une IA sert d'évaluateur?

  9. Pourquoi ne changer qu'une seule chose entre les versions?

  10. Qu'est-ce qu'une régression?

  11. Que fait la permission de dire « je ne sais pas »?

  12. Ces techniques éliminent-elles complètement les hallucinations?

EX

Final exam

This lesson is part of full access: every course and every level for one payment.

CE

Certificate

This lesson is part of full access: every course and every level for one payment.