Bakit susubukan ang prompt
Kung nakagawa ang isang kusinero ng isang masarap na sopas, hindi pa natin alam kung magaling ang recipe. Baka suwerte lang siya noong araw na iyon. Magaling ang recipe kapag gumagana ito sa maraming araw, sa maraming kaldero. Ganoon din natin sinusubukan ang prompt: sa maraming input, hindi lang isa.
- Maaaring mukhang perpekto ang prompt sa isang halimbawang sinubukan mo at pumalpak sa susunod. Ang testing ay ang pagpapatakbo ng prompt sa maraming makatotohanang input at pagbibigay ng iskor sa mga resulta.
- Sinasabi ng dokumentasyon ng Anthropic tungkol sa pagtatakda ng success criteria at pagbuo ng mga evaluation na sentro ng prompt engineering ang pagtatakda ng success criteria at pagdidisenyo ng mga evaluation para sukatin ang performance laban dito. Ang flowchart nito ng proseso ay: test cases, preliminary prompt, iterative testing at refinement, final validation, ship.
- Ang eval (maikli para sa evaluation) ay test na pinapatakbo mo sa prompt: set ng mga input at paraan ng pagbibigay ng iskor sa mga sagot.
- Sinasabi ng prompting guide ng Anthropic na kung ang isang teknik ay may pinangalanang tiyak na model, sinukat ito sa model na iyon, at dapat mo itong suriin ulit laban sa sarili mong evals bago ilapat sa ibang model. Kaya pinoprotektahan ka rin ng mga test kapag nagbago ang model.
- Hindi magkapareho ang mga sagot ng AI sa bawat pagkakataon. Ang pagpapatakbo ng parehong prompt nang dalawang beses ay maaaring magbigay ng magkaibang resulta, kaya mahinang ebidensya ang isang magandang takbo.
- Hindi lang para sa mga programmer ang testing. Ang guro, empleyado sa opisina o may-ari ng tindahan ay kayang magpatakbo ng test set nang mano-mano sa spreadsheet.
| Kapag walang testing | Kapag may testing |
|---|---|
| "Gumana noong sinubukan ko." | "Pumasa ito sa 17 sa 20 kaso." |
| Binabago mo ang prompt at umaasa ka. | Binabago mo ang isang bagay at tinitingnan kung gumalaw ang iskor. |
| Dumating ang bagong model; hindi mo alam kung ano ang nasira. | Pinapatakbo mo ulit ang mga kaso mo at nakikita mo mismo kung ano ang nagbago. |
- Pumili ng isang prompt na ginagamit mo kahit lingguhan (halimbawa ang chain o JSON prompt mula sa course 1.2.2).
- Isulat ang gawain ng prompt sa isang pangungusap.
- Patakbuhin ito sa isang input at itala ang resulta.
- Patakbuhin ulit sa parehong input, sa bagong chat. Itala kung iba ang sagot.
- Ngayon, patakbuhin sa napakaibang input (maikli, magulo, o may kulang na impormasyon). Itala ang nangyari.
- Sumulat ng isang linya: "Hindi ko pa alam kung gumagana ang prompt na ito dahil ...".
- Suriin: nakakita ka ng kahit isang pagkakaiba sa pagitan ng mga takbo o input, at maipapaliwanag mo kung bakit hindi sapat ang isang subok.
Videos by other creators on YouTube, for reference. They are not made by or affiliated with The Future Market.
Read the video script
[Host] "Walang napapatunayan ang isang magandang sagot. Baka suwerte ka lang."
[Screen: parehong prompt na pinatakbo sa tatlong magkakaibang input, isa ang pumalpak] "Parehong prompt, tatlong magkakaibang input. Dalawa ang gumana. Isa ang pumalpak."
[Text on screen: Prompt, inputs, score] "Simple ang testing: isang prompt, maraming input, at isang iskor."
[Host] "Gawin iyan, at titigil ka sa pag-asa at magsisimulang malaman."
Patakbuhin ang isa sa mga prompt mo sa tatlong magkakaibang input, dalawang beses bawat isa. Isulat ang bawat pagkakaibang napansin mo sa pagitan ng mga takbo.
ClaudeStuck? Copy a ready-made prompt for Claude
Copy this, open Claude, paste it, and Claude will walk you through the lesson step by step.
For a grown-up: Claude is for adults (18+). Copy this, paste it into Claude, and use the answer to explain the lesson to your child.
I'm learning "Prompt Testing: suriin at pagandahin ang mga prompt mo" on The Future Market. Lesson 1: "Bakit susubukan ang prompt". What the lesson teaches: - Maaaring mukhang perpekto ang prompt sa isang halimbawang sinubukan mo at pumalpak sa susunod. Ang testing ay ang pagpapatakbo ng prompt sa maraming makatotohanang input at pagbibigay ng iskor sa mga resulta. - Sinasabi ng dokumentasyon ng Anthropic tungkol sa pagtatakda ng success criteria at pagbuo ng mga evaluation na sentro ng prompt engineering ang pagtatakda ng success criteria at pagdidisenyo ng mga evaluation para sukatin ang performance laban dito. Ang flowchart nito ng proseso ay: test cases, preliminary prompt, iterative testing at refinement, final validation, ship. - Ang eval (maikli para sa evaluation) ay test na pinapatakbo mo sa prompt: set ng mga input at paraan ng pagbibigay ng iskor sa mga sagot. - Sinasabi ng prompting guide ng Anthropic na kung ang isang teknik ay may pinangalanang tiyak na model, sinukat ito sa model na iyon, at dapat mo itong suriin ulit laban sa sarili mong evals bago ilapat sa ibang model. Kaya pinoprotektahan ka rin ng mga test kapag nagbago ang model. - Hindi magkapareho ang mga sagot ng AI sa bawat pagkakataon. Ang pagpapatakbo ng parehong prompt nang dalawang beses ay maaaring magbigay ng magkaibang resulta, kaya mahinang ebidensya ang isang magandang takbo. - Hindi lang para sa mga programmer ang testing. Ang guro, empleyado sa opisina o may-ari ng tindahan ay kayang magpatakbo ng test set nang mano-mano sa spreadsheet. - Kapag walang testing - Kapag may testing The exercise I'm working on: Patakbuhin ang isa sa mga prompt mo sa tatlong magkakaibang input, dalawang beses bawat isa. Isulat ang bawat pagkakaibang napansin mo sa pagitan ng mga takbo. I'm stuck. Please: 1. Explain the main idea in plain, simple words with one everyday example. 2. Walk me through the exercise one small step at a time. Ask me what I've done so far before giving the next step. 3. Don't just give me the final answer. Help me do it myself, and check my work when I share it.
I'm a parent helping my child (about 8 years old) with a lesson called "Bakit susubukan ang prompt" from the course "Prompt Testing: suriin at pagandahin ang mga prompt mo". Here's what the lesson says: Kung nakagawa ang isang kusinero ng isang masarap na sopas, hindi pa natin alam kung magaling ang recipe. Baka suwerte lang siya noong araw na iyon. Magaling ang recipe kapag gumagana ito sa maraming araw, sa maraming kaldero. Ganoon din natin sinusubukan ang prompt: sa maraming input, hindi lang isa. The activity: Patakbuhin ang isa sa mga prompt mo sa tatlong magkakaibang input, dalawang beses bawat isa. Isulat ang bawat pagkakaibang napansin mo sa pagitan ng mga takbo. Please explain this so an 8-year-old understands: short sentences, a fun everyday example, and no hard words. Then give me 3 simple questions I can ask my child to check they understood, and a way to do the activity together, one tiny step at a time.
Sources
- Anthropic, Define success criteria and build evaluations: platform.claude.com/docs/en/test-and-evaluate/develop-tests
- Anthropic, Prompting best practices (General principles): platform.claude.com/docs/en/build-with-claude/prompt-engineering/claud
Tukuyin kung ano ang "maganda"
This lesson is part of full access: every course and every level for one payment.
Bumuo ng test set
This lesson is part of full access: every course and every level for one payment.
Bigyan ng iskor ang mga sagot gamit ang rubric
This lesson is part of full access: every course and every level for one payment.
Ihambing nang patas ang mga bersyon ng prompt
This lesson is part of full access: every course and every level for one payment.
Hanapin at bawasan ang mga error
This lesson is part of full access: every course and every level for one payment.
Subaybayan ang mga pagbabago at panatilihin ang nakakatulong
This lesson is part of full access: every course and every level for one payment.
Final project
This lesson is part of full access: every course and every level for one payment.
Quiz
Bakit hindi sapat ang isang magandang sagot para pagkatiwalaan ang prompt?
Nag-iiba ang mga sagot ng AI sa pagitan ng mga takbo at input, kaya kailangan mo ng maraming makatotohanang kaso.
Ano ang eval?
Test para sa prompt: set ng mga input at paraan ng pagbibigay ng iskor sa mga sagot.
Pangalanan ang apat na katangian ng magagandang success criteria ayon sa Anthropic.
Specific, measurable, achievable at relevant.
Bakit magsasama ng mga edge case sa test set?
Kasama sa mga totoong input ang kakaiba, kulang, mahaba o walang kaugnayan, at dapat kayanin ng prompt ang mga ito.
Ano ang held-out test set?
Mga kasong hindi mo ginagamit sa pagsulat o pag-tune ng prompt, itinatabi para sa patas na panghuling check.
Ano ang golden answer?
Ang tamang sagot na pinapasyahan mo nang maaga para sa isang test case.
Pangalanan ang tatlong paraan ng grading sa dokumentasyon ng Anthropic.
Code-based, human at LLM-based grading.
Ano ang magandang patakaran kung sino ang nagg-grade gamit ang AI?
Gumamit ng ibang model mula sa gumawa ng mga sagot, at i-spot-check mo mismo ang mga grado.
Bakit isang bagay lang ang babaguhin sa pagitan ng mga bersyon?
Para malaman mo kung aling pagbabago ang nagdulot ng resulta.
Ano ang regression?
Kasong dating pumapasa at pumapalpak na ngayon pagkatapos ng pagbabago.
Ano ang ginagawa ng pahintulot na sabihing "I don't know"?
Maaari nitong lubhang bawasan ang maling impormasyon.
Tuluyan bang inaalis ng mga teknik na ito ang hallucination?
Hindi. Binabawasan lang nila ito, kaya kailangan mo pa ring i-validate ang mahahalagang output.
Final exam
This lesson is part of full access: every course and every level for one payment.
Certificate
This lesson is part of full access: every course and every level for one payment.