บทนำ

ทีมของคุณปรับใช้ตัวแทน AI ที่จัดการคําถามของลูกค้า และในตอนแรกก็ทํางานได้ดี แต่เมื่อต้นทุนสูงขึ้นและความคิดเห็นของลูกค้าเน้นย้ําถึงปัญหาด้านคุณภาพการตอบสนอง คุณก็ต้องเผชิญกับความท้าทายที่สําคัญ: คุณจะปรับปรุงเจ้าหน้าที่อย่างเป็นระบบได้อย่างไรโดยไม่ต้องเดาว่าการเปลี่ยนแปลงใดจะช่วยได้

ความพยายามในการเพิ่มประสิทธิภาพแบบสุ่มทําให้เสียเวลาและทรัพยากร คุณอาจเปลี่ยนโมเดลโดยหวังว่าจะได้ประสิทธิภาพที่ดีขึ้น แต่หากไม่มีการวัดผลกระทบ คุณจะไม่สามารถระบุได้ว่าคุณภาพดีขึ้น ต้นทุนลดลง หรือเวลาตอบสนองเปลี่ยนแปลงอย่างมีนัยสําคัญ สมาชิกในทีมแต่ละคนประเมินการตอบสนองของตัวแทนเดียวกันแตกต่างกัน

การเพิ่มประสิทธิภาพตัวแทนที่มีประสิทธิภาพจําเป็นต้องมีการประเมินที่มีโครงสร้าง: ตัวชี้วัดที่ชัดเจนซึ่งเปิดเผยลักษณะคุณภาพ ต้นทุน และประสิทธิภาพ การทดลองควบคุมที่ทดสอบการเปลี่ยนแปลงทีละรายการ และวิธีการให้คะแนนที่สอดคล้องกันซึ่งขจัดอคติของมนุษย์ หากไม่มีวิธีการที่เป็นระบบนี้ การเพิ่มประสิทธิภาพจะกลายเป็นการคาดเดามากกว่าวิศวกรรมตามหลักฐาน

Adventure Works บริษัทผจญภัยกลางแจ้งดําเนินการ Trail Guide Agent ที่ช่วยลูกค้าวางแผนการเดินทางเดินป่าพร้อมคําแนะนําเส้นทาง ทีมงานต้องการลดต้นทุนการดําเนินงานโดยเปลี่ยนจาก GPT-4 เป็น GPT-4 mini แต่พวกเขาจําเป็นต้องตรวจสอบว่าคุณภาพไม่ลดลงต่ํากว่าเป้าหมายความพึงพอใจของลูกค้า 4.2/5.0 และเวลาตอบสนองยังคงต่ํากว่า 30 วินาที พวกเขาต้องการแนวทางที่มีโครงสร้างเพื่อทดสอบการเปลี่ยนแปลงนี้อย่างเป็นกลาง

วัตถุประสงค์การเรียนรู้

ในโมดูลนี้ คุณจะได้เรียนรู้ที่จะ:

• ออกแบบการทดลองประเมินผลด้วยตัวชี้วัดที่ชัดเจนสําหรับคุณภาพ ต้นทุน และประสิทธิภาพ
• ใช้เวิร์กโฟลว์ตาม git เพื่อจัดระเบียบและเปรียบเทียบตัวแปรของเอเจนต์อย่างเป็นระบบ
• สร้างเกณฑ์การประเมินที่รับประกันการให้คะแนนที่สอดคล้องกันระหว่างผู้ประเมินที่เป็นมนุษย์

เริ่มต้นด้วยการค้นพบวิธีออกแบบการทดลองประเมินผลที่วัดประสิทธิภาพของตัวแทนอย่างเป็นกลาง