ใช้เวิร์กโฟลว์ที่ใช้ Git กับการทดสอบการเพิ่มประสิทธิภาพ

การทดลองการเพิ่มประสิทธิภาพจําเป็นต้องมีการจัดระเบียบอย่างเป็นระบบเพื่อติดตามการเปลี่ยนแปลงที่ทดสอบและผลลัพธ์ที่เกิดขึ้น เวิร์กโฟลว์ที่ใช้ Git ช่วยให้คุณสามารถทดสอบตัวแปรของตัวแทนได้อย่างปลอดภัย จัดทําเอกสารผลการประเมิน และเปรียบเทียบการทดลองเพื่อระบุว่าการกําหนดค่าใดทํางานได้ดีที่สุด

1. สร้างสาขา: สร้างสาขาการทดสอบสําหรับแต่ละตัวแปร
2. เพิ่มข้อความแจ้งการทดสอบ: จัดเก็บข้อความแจ้งการทดสอบในโฟลเดอร์การทดสอบ
3. เรียกใช้สคริปต์การประเมิน: ปรับใช้เวอร์ชันตัวแทนเรียกใช้ข้อความแจ้งการทดสอบบันทึกการตอบสนอง
4. คะแนนคําตอบ: ประเมินคําตอบด้วยตนเองสําหรับเมตริกคุณภาพ
5. เปรียบเทียบและตัดสินใจ: ตรวจสอบผลลัพธ์ข้ามสาขา รวมการทดสอบที่ประสบความสําเร็จ

สร้างสาขาการทดสอบ

การทดสอบการเพิ่มประสิทธิภาพแต่ละรายการจะอยู่ในสาขาของตัวเอง โดยแยกการเปลี่ยนแปลงการทดสอบออกจากตัวแทนการผลิตของคุณ สร้างหนึ่งสาขาต่อตัวแปรการทดสอบเพื่อแยกสิ่งที่เปลี่ยนแปลง โดยทดสอบข้อความแจ้งใหม่ แบบจําลองอื่น หรือการปรับการกําหนดค่าทีละรายการ วิธีการที่มีการควบคุมนี้ช่วยให้คุณสามารถระบุแหล่งที่มาของการเปลี่ยนแปลงประสิทธิภาพกับการปรับเปลี่ยนที่เฉพาะเจาะจงแทนที่จะผสมการเปลี่ยนแปลงหลายรายการในสาขาเดียว

ด้วย Adventure Works Trail Guide Agent คุณจะสร้างสาขาการทดลองเพื่อทดสอบตัวแปรต่างๆ ดังนี้

main                              # Production baseline (prompt v1)
experiment/prompt-v2-concise      # Test shorter, more focused prompt
experiment/prompt-v2-detailed     # Test enhanced prompt with examples
experiment/gpt4o-mini-model       # Test GPT-4o-mini model
experiment/token-optimization     # Reduce token usage

เมื่อการทดสอบพิสูจน์ได้ว่าประสบความสําเร็จผ่านการประเมิน คุณจะรวมการทดสอบเข้ากับการทดสอบหลัก สําหรับการทดสอบที่ล้มเหลว คุณสามารถเก็บสาขาไว้เป็นเอกสารประกอบของสิ่งที่ไม่ได้ผล (ป้องกันไม่ให้ทีมในอนาคตทําซ้ําวิธีการที่ไม่ประสบความสําเร็จ) หรือลบสาขาเพื่อขจัดความยุ่งเหยิง (หากผลการประเมินได้รับการยอมรับและจัดทําเป็นเอกสารแล้ว)

จัดเก็บข้อความแจ้งการทดสอบและเรียกใช้สคริปต์การประเมิน

แต่ละสาขาการทดสอบจะจัดระเบียบไฟล์ในโครงสร้างที่สอดคล้องกันซึ่งแยกโค้ด ข้อความแจ้ง และข้อมูลการประเมิน:

adventure-works-agent/
├── agent.py                                    # Agent creation script
├── run-agent.py                                # Script to run agent with test prompts
├── prompts/
│   ├── system-prompt-v1.txt                   # Production prompt
│   └── system-prompt-v2-concise.txt           # Experimental variant
├── test-prompts/
│   ├── scottish-highlands-march.txt           # Digital nomad weekend hike
│   ├── family-london-trails.txt               # Family with teenagers
│   ├── five-day-backpacking.txt               # Experienced hiker extended trip
│   ├── ambiguous-hiking-gear.txt              # Edge case: vague request
│   └── incomplete-scotland-trip.txt           # Edge case: missing details
└── experiments/
    ├── prompt-v2-concise/
    │   ├── agent-responses.json            # Raw agent outputs
    │   └── evaluation.csv                  # Manual quality scores and observations
    ├── gpt4o-mini-model/
    │   ├── agent-responses.json
    │   └── evaluation.csv
    └── token-optimization/
        ├── agent-responses.json
        └── evaluation.csv

prompts/โฟลเดอร์จะจัดเก็บเวอร์ชันพร้อมต์ที่แตกต่างกันเป็น.txtไฟล์ที่agent.pyโหลดเมื่อสร้างเวอร์ชันเอเจนต์ โฟลเดอร์ประกอบด้วย test-prompts/ ไฟล์แต่ละไฟล์ .txt สําหรับแต่ละสถานการณ์การทดสอบ โดยมีชื่อที่สื่อความหมายซึ่งระบุว่าผู้ใช้ต้องการอะไร run-agent.pyสคริปต์จะโหลดไฟล์พร้อมท์ทดสอบเหล่านี้ โทรหาเอเจนต์สําหรับแต่ละไฟล์ และบันทึกการตอบกลับ การทดสอบแต่ละรายการมีโฟลเดอร์ของตัวเองซึ่งมี experiments/ เฉพาะผลลัพธ์เท่านั้น

ไฟล์พร้อมท์ทดสอบประกอบด้วยสถานการณ์ทดสอบ 5-10 สถานการณ์จากหน่วยที่ 2 run-agent.pyสคริปต์ทําให้เวิร์กโฟลว์การทดสอบเป็นไปโดยอัตโนมัติ:

1. ตรวจสอบสาขาการทดลอง: git checkout experiment/prompt-v2-concise
2. ปรับใช้เวอร์ชันตัวแทน: python agent.py (สร้างเวอร์ชันตัวแทนใน Microsoft Foundry)
3. เรียกใช้การประเมิน: python run-agent.py (โหลดพรอมต์การทดสอบ, โทรหาตัวแทนสําหรับแต่ละพรอมต์, บันทึกการตอบสนอง, บันทึกไปที่ agent-responses.json)

สคริปต์จะบันทึกการตอบกลับของตัวแทนจาก API และบันทึกลงในagent-responses.json จากนั้น คุณสร้าง evaluation.csv ไฟล์ที่คุณให้คะแนนการตอบกลับแต่ละครั้งด้วยตนเองโดยใช้รูปแบบเดียวกับที่พอร์ทัล Microsoft Foundry ใช้สําหรับการส่งออกการประเมิน

ให้คะแนนการตอบกลับด้วยตนเอง

ตรวจสอบการตอบกลับของตัวแทนที่บันทึกไว้ในagent-responses.json สําหรับการทดสอบด้วยตนเองอย่างรวดเร็วแนวทางปฏิบัติที่ดีที่สุดคือการเลือกเกณฑ์การประเมินสามถึงห้าเกณฑ์ที่สําคัญที่สุดสําหรับกรณีการใช้งานของคุณรวมถึงช่องเปิดเสริมสําหรับข้อคิดเห็นเพิ่มเติม สร้าง evaluation.csv ไฟล์ด้วยคอลัมน์เหล่านี้เพื่อให้ตรงกับรูปแบบการส่งออกของพอร์ทัล:

รวมชื่อไฟล์พรอมต์การทดสอบ ข้อความที่ตัดตอนมาจากการตอบกลับของเจ้าหน้าที่ คะแนนคุณภาพของคุณ (มาตราส่วน 1-5) และความคิดเห็นเกี่ยวกับคุณภาพการตอบกลับ

เปรียบเทียบการทดสอบและตัดสินใจ

หลังจากเสร็จสิ้นการประเมินในสาขาการทดสอบหลายสาขาแล้ว ให้ใช้ข้อมูล CSV ของคุณเพื่อเปรียบเทียบประสิทธิภาพและทําการตัดสินใจตามหลักฐาน ตรวจสอบแต่ละสาขาการทดลองและตรวจสอบ evaluation.csv เพื่อดูว่ามีประสิทธิภาพเป็นอย่างไร จดบันทึกข้อค้นพบที่สําคัญจากแต่ละสาขา จากนั้นสร้างการเปรียบเทียบเพื่อระบุว่าตัวเลือกสินค้าใดตรงตามเกณฑ์ความสําเร็จของคุณ

สําหรับการทดลอง Adventure Works คุณอาจบันทึกการเปรียบเทียบของคุณ:

หาก prompt-v2-concise ตรงตามเกณฑ์คุณภาพและปรับปรุงความกระชับ ให้ใช้ Git เพื่อรวมการทดสอบที่ชนะ:

git checkout main
git merge experiment/prompt-v2-concise
git tag promoted-to-prod-2026-02-17
git push origin main --tags

สําหรับการทดสอบที่ไม่ตรงตามเกณฑ์ ให้บันทึกเหตุผลก่อนตัดสินใจว่าจะเก็บหรือลบสาขา: "gpt4o-mini-model: คุณภาพลดลงต่ํากว่าเกณฑ์ 4.2 ในข้อความแจ้งการวางแผนการเดินทางที่ซับซ้อน ไม่แนะนําสําหรับการผลิต"

ด้วยเวิร์กโฟลว์ Git ที่สร้างขึ้นสําหรับการจัดระเบียบการทดสอบ คุณพร้อมที่จะดําเนินการประเมินจริงโดยเรียกใช้เอเจนต์กับข้อความแจ้งการทดสอบและให้คะแนนผลลัพธ์อย่างเป็นระบบ