ออกแบบการทดลองประเมินผล

การเพิ่มประสิทธิภาพตัวแทน AI ต้องการมากกว่าการเปลี่ยนแปลงและหวังว่าจะทํางานได้ดีขึ้น การเพิ่มประสิทธิภาพที่มีประสิทธิภาพขึ้นอยู่กับการทดลองที่มีโครงสร้างที่เปรียบเทียบตัวแปรของตัวแทนอย่างเป็นกลางการวัดการปรับปรุงคุณภาพผลกระทบด้านต้นทุนและลักษณะการทํางาน พิจารณา Adventure Works บริษัทผจญภัยกลางแจ้งที่จัดการตัวแทน Trail Guide ที่ช่วยลูกค้าวางแผนการเดินทางเดินป่าพร้อมคําแนะนําเส้นทาง ทีมงานต้องการลดต้นทุนการดําเนินงานโดยเปลี่ยนจาก GPT-4 เป็น GPT-4 mini แต่พวกเขาจําเป็นต้องตรวจสอบว่าคุณภาพไม่ลดลงต่ํากว่าเป้าหมายความพึงพอใจของลูกค้า 4.2/5.0 และเวลาตอบสนองยังคงต่ํากว่า 30 วินาที ที่นี่ คุณจะได้เรียนรู้วิธีออกแบบการทดลองประเมินผลโดยการกําหนดตัวชี้วัด การเลือกตัวแปรที่จะทดสอบ และสร้างแนวทางการทดสอบอย่างเป็นระบบ

เมตริกการประเมินจะ วัดคุณภาพตามวัตถุประสงค์ (ความละเอียดของเจตนา ความเกี่ยวข้อง ความเป็นพื้นฐาน) ต้นทุน (การใช้โทเค็น การกําหนดราคาแบบจําลอง) และประสิทธิภาพ (เวลาตอบสนอง เวลาถึงโทเค็นแรก)

ตัวแปรที่ต้องทดสอบ ได้แก่ เวอร์ชันพื้นฐาน รูปแบบพร้อมท์ ทางเลือกของโมเดล (GPT-4, GPT-4 mini) และการเปลี่ยนแปลงการกําหนดค่าเอเจนต์ (max_tokens, การสตรีม) เพื่อเปิดเผยว่าการเปลี่ยนแปลงใดช่วยปรับปรุงประสิทธิภาพในทั้งสามมิติ

แนวทางการทดสอบ ครอบคลุมข้อความแจ้งการทดสอบที่ครอบคลุมกรณีการใช้งานที่หลากหลายเกณฑ์ความสําเร็จและเกณฑ์วิธีการเปรียบเทียบและเอกสารประกอบสําหรับการทําซ้ําเพื่อให้แน่ใจว่าผลลัพธ์ที่เชื่อถือได้และการทํางานร่วมกันเป็นทีม

กําหนดเมตริกการประเมิน

การทดลองทุกครั้งต้องการมาตรการตามวัตถุประสงค์ที่เปิดเผยว่าการเปลี่ยนแปลงปรับปรุงหรือลดประสิทธิภาพของตัวแทน หากไม่มีเมตริกที่ชัดเจน คุณจะไม่สามารถแยกแยะระหว่างการปรับปรุงที่แท้จริงกับความชอบตามอัตนัยได้

ตัวชี้วัดคุณภาพจะวัดว่าตัวแทนตอบสนองความต้องการของผู้ใช้ได้ดีเพียงใด Microsoft Foundry มีตัวประเมินในตัวที่จัดเป็นประเภทที่ออกแบบมาสําหรับสถานการณ์การประเมินที่แตกต่างกัน:

• ตัวประเมินวัตถุประสงค์ทั่วไป (ความสอดคล้องกัน ความคล่องแคล่ว): ใช้เพื่อประเมินการไหลเชิงตรรกะ ความสอดคล้อง และคุณภาพภาษาธรรมชาติในทุกแอปพลิเคชัน

• ตัวประเมินความคล้ายคลึงกันของข้อความ (ความคล้ายคลึงกัน, คะแนน F1, BLEU, GLEU, ROUGE, METEOR): ใช้เมื่อเปรียบเทียบคําตอบที่สร้างขึ้นกับคําตอบที่คาดหวังหรือคําตอบที่เป็นความจริง โดยเฉพาะอย่างยิ่งสําหรับงานแปลหรือการเปรียบเทียบ

• ตัวประเมินตัวแทน (การปฏิบัติตามงาน, การทําภารกิจให้เสร็จสมบูรณ์, การแก้ไขเจตนา, ความแม่นยําในการเรียกใช้เครื่องมือ, การเลือกเครื่องมือ, ความแม่นยําในการป้อนข้อมูลของเครื่องมือ): ใช้สําหรับแอปพลิเคชันตัวแทนที่ดําเนินการเวิร์กโฟลว์หลายขั้นตอน

• ตัวประเมิน RAG (Retrieval, Document Retrieval, Groundedness, Groundedness Pro): ใช้เมื่อตัวแทนของคุณดึงข้อมูลจากฐานความรู้หรือเอกสาร และคุณต้องตรวจสอบว่าการตอบกลับมีพื้นฐานมาจากแหล่งข้อมูลที่เชื่อถือได้

• ตัวประเมินความเสี่ยงและความปลอดภัย (ความเกลียดชังและความไม่เป็นธรรม, ทางเพศ, ความรุนแรง, การทําร้ายตัวเอง, เนื้อหาที่ได้รับการคุ้มครอง, ความปลอดภัยของเนื้อหา): ใช้สําหรับแอปพลิเคชันที่ต้องเผชิญกับลูกค้าทั้งหมดเพื่อให้แน่ใจว่ามีแนวทางปฏิบัติด้าน AI อย่างมีความรับผิดชอบและรักษาความไว้วางใจของผู้ใช้

• ตัวให้คะแนน Azure OpenAI (Model Labeler, String Checker, Text Similarity, Model Scorer): ใช้สําหรับตรรกะการให้คะแนนแบบกําหนดเองและรูปแบบการตรวจสอบความถูกต้องที่ยืดหยุ่นเมื่อผู้ประเมินในตัวไม่ตรงกับเกณฑ์เฉพาะของคุณ

• ตัวประเมินแบบกําหนดเอง: สร้างตรรกะการประเมินของคุณเองสําหรับข้อกําหนดเฉพาะทางธุรกิจ เช่น การปฏิบัติตามเสียงของแบรนด์

เมตริกต้นทุนจะวัดปริมาณค่าใช้จ่ายในการดําเนินงานของเจ้าหน้าที่ของคุณ การใช้โทเค็นจะวัดจํานวนโทเค็นอินพุตและเอาต์พุตที่โมเดลประมวลผลสําหรับแต่ละคําขอ การกําหนดราคาแบบจําลองจะแปลงจํานวนโทเค็นเป็นต้นทุนจริงตามโครงสร้างอัตราของแบบจําลอง สําหรับ GPT-4 คุณอาจจ่าย 30 ต่อล้านโทเค็น ในขณะที่ GPT-4 mini มีราคา 7.50 ต่อล้านโทเค็น ด้วยเมตริกเหล่านี้ คุณสามารถคํานวณได้ว่าการประมวลผลโทเค็น 800 โทเค็นด้วย GPT-4 มีค่าใช้จ่ายประมาณ 0.024 ต่อคําขอ ในขณะที่คําขอเดียวกันกับ GPT-4 mini มีค่าใช้จ่าย 0.006 ซึ่งลดลง 75% ในระดับของ Adventure Works ในการจัดการคําถามของลูกค้าหลายพันรายการต่อวันความแตกต่างนี้ส่งผลกระทบต่อเป้าหมายประสิทธิภาพการดําเนินงานอย่างมาก รายละเอียดราคาปัจจุบันสําหรับทุกรุ่นมีอยู่ในราคา Microsoft Foundry

ตัวชี้วัดประสิทธิภาพจะวัดความเร็วในการตอบสนองและประสบการณ์ของผู้ใช้ เวลาตอบสนองแบบ end-to-end จะบันทึกระยะเวลาที่ลูกค้ารอคําตอบที่สมบูรณ์ ซึ่งมีความสําคัญอย่างยิ่งสําหรับการโต้ตอบแบบเรียลไทม์ที่ Adventure Works กําหนดเป้าหมายการตอบกลับโดยเฉลี่ย 30 วินาที สําหรับแอปพลิเคชันที่ใช้การสตรีม เวลาถึงโทเค็นแรกจะวัดการตอบสนองที่รับรู้: ผู้ใช้เห็นตัวแทนเริ่มสร้างการตอบกลับได้เร็วเพียงใด เวลาในการรับโทเค็นแรกที่สั้นลงจะสร้างประสบการณ์ผู้ใช้ที่ดีขึ้นแม้ว่าเวลาตอบกลับทั้งหมดจะยังคงเท่าเดิม การเลือกโมเดลส่งผลต่อเมตริกเหล่านี้อย่างมาก โดยปกติแล้ว GPT-4 mini จะตอบสนองได้เร็วกว่า GPT-4 ในขณะที่ระยะเวลาและขนาดการสร้าง (ควบคุมโดย max_tokens) จะส่งผลโดยตรงต่อเวลาตอบสนอง

เลือกตัวเลือกสินค้าที่จะทดสอบ

การทดลองการเพิ่มประสิทธิภาพจะเปรียบเทียบเวอร์ชันพื้นฐานกับตัวแปรอย่างน้อยหนึ่งตัวเพื่อระบุว่าการกําหนดค่าใดทํางานได้ดีที่สุด พื้นฐานแสดงถึงตัวแทนการผลิตปัจจุบันของคุณหรือจุดเริ่มต้นของคุณ ในขณะที่ตัวแปรแนะนําการเปลี่ยนแปลงเฉพาะที่คุณต้องการประเมิน

รูปแบบพร้อมท์ จะปรับเปลี่ยนคําสั่งของระบบที่แนะนําพฤติกรรมของตัวแทน คุณอาจทดสอบข้อความแจ้งที่กระชับกับข้อความแจ้งโดยละเอียด หรือเปรียบเทียบแนวทางต่างๆ ในการจัดการกรณีและปัญหา Edge ด้วย Adventure Works Trail Guide Agent ตัวแปรหนึ่งอาจเน้นคําแนะนําการขายอุปกรณ์ ในขณะที่อีกตัวหนึ่งสร้างสมดุลระหว่างคําแนะนําเกี่ยวกับเกียร์กับข้อควรพิจารณาด้านความปลอดภัย ความยาวของข้อความแจ้งยังส่งผลต่อประสิทธิภาพการทํางาน: ข้อความแจ้งที่สั้นลงจะช่วยลดเวลาแฝง ในขณะที่ข้อความแจ้งที่มีรายละเอียดมากขึ้นอาจปรับปรุงคุณภาพการตอบกลับ การทดสอบทั้งสองขั้วจะเผยให้เห็นความสมดุลที่เหมาะสมที่สุดสําหรับกรณีการใช้งานของคุณ

ทางเลือกของโมเดล เปรียบเทียบระดับโมเดลต่างๆ เพื่อปรับสมดุลความสามารถ ต้นทุน และประสิทธิภาพ GPT-4 นําเสนอเหตุผลที่ซับซ้อนซึ่งเก่งในสถานการณ์การวางแผนการเดินทางที่ซับซ้อน แต่มีค่าใช้จ่ายมากกว่าและตอบสนองช้ากว่า GPT-4 mini ให้ประสิทธิภาพที่แข็งแกร่งด้วยค่าใช้จ่ายที่ต่ําลงพร้อมเวลาตอบสนองที่เร็วขึ้น จึงเหมาะอย่างยิ่งสําหรับแอปพลิเคชันที่มีปริมาณมากและไวต่อเวลาแฝง การทดสอบทั้งสองเผยให้เห็นว่าโมเดลที่ง่ายกว่านั้นรักษาคุณภาพที่ยอมรับได้สําหรับเป้าหมายของ Adventure Works ที่ 85% การแก้ปัญหาการสอบถามโดยไม่มีการยกระดับของมนุษย์ในขณะที่ตรงตามข้อกําหนดเวลาตอบสนองเฉลี่ย 30 วินาทีหรือไม่

การเปลี่ยนแปลงการกําหนดค่าตัวแทน จะปรับพารามิเตอร์ทางเทคนิคที่ส่งผลต่อคุณภาพ ต้นทุน และประสบการณ์ของผู้ใช้:

• max_tokens พารามิเตอร์: จํากัดระยะเวลาในการสร้าง - ค่าที่ต่ํากว่าจะช่วยลดทั้งต้นทุนและเวลาในการตอบสนอง แต่อาจตัดทอนข้อมูลที่เป็นประโยชน์
• สตรีมมิ่ง (stream: true): ไม่เปลี่ยนเวลาตอบสนองทั้งหมด แต่ปรับปรุงการตอบสนองที่รับรู้โดยการแสดงโทเค็นขณะที่สร้างขึ้น ซึ่งสร้างประสบการณ์ผู้ใช้ที่ดีขึ้นสําหรับอินเทอร์เฟซการสนทนา
• การตั้งค่าอุณหภูมิ: อุณหภูมิที่ต่ํากว่าทําให้เกิดการตอบสนองที่คาดเดาได้และสม่ําเสมอมากขึ้น
• กลยุทธ์การเรียกดู: การกําหนดค่าการเรียกดูที่ปรับแล้วอาจแสดงข้อมูลที่เกี่ยวข้องมากขึ้นตามบริบท ความใกล้ชิด หรือเกณฑ์อื่นๆ

การเพิ่มประสิทธิภาพตัวแทนเกี่ยวข้องกับการสร้างสมดุลระหว่างลําดับความสําคัญที่แข่งขันกันสามประการ: คุณภาพ (การตอบสนองตอบสนองความต้องการของผู้ใช้ได้ดีเพียงใด) ต้นทุน (ค่าใช้จ่ายในการดําเนินงานตามขนาด) และ ประสิทธิภาพ (ความเร็วในการตอบสนองและประสบการณ์ของผู้ใช้) ตัวแปรที่ลดต้นทุนลง 75% จะไม่ช่วยอะไรหากลดคุณภาพลงต่ํากว่าเกณฑ์ที่ยอมรับได้ หรือทําให้เกิดเวลาแฝงที่ยอมรับไม่ได้สําหรับการโต้ตอบกับลูกค้าแบบเรียลไทม์ การทดสอบของคุณต้องวัดทั้งสามมิติเพื่อทําการตัดสินใจแลกเปลี่ยนอย่างมีข้อมูล

หลักการสําคัญคือการเปรียบเทียบที่มีการควบคุม เมื่อคุณทดสอบการเปลี่ยนแปลงหลายรายการพร้อมกัน คุณจะไม่สามารถระบุได้ว่าการเปลี่ยนแปลงใดทําให้เกิดความแตกต่างที่สังเกตได้ การทดสอบพรอมต์ใหม่ด้วยโมเดลใหม่สร้างความคลุมเครือ: ความพึงพอใจของลูกค้าดีขึ้นเนื่องจากข้อความแจ้ง โมเดล หรือการโต้ตอบของพวกเขาหรือไม่ เปลี่ยนตัวแปรทีละตัวเพื่อแยกผลกระทบของการแก้ไขแต่ละครั้ง หลังจากตรวจสอบความถูกต้องของการเปลี่ยนแปลงแต่ละรายการแล้ว คุณสามารถทดสอบการรวมกันของตัวเลือกสินค้าที่ประสบความสําเร็จได้

ออกแบบแนวทางการทดสอบ

แนวทางการทดสอบอย่างเป็นระบบจะเปลี่ยนเป้าหมายการปรับปรุงที่คลุมเครือให้เป็นผลการทดลองที่เชื่อถือได้ผ่านการออกแบบข้อความแจ้งการทดสอบอย่างรอบคอบเกณฑ์ความสําเร็จที่ชัดเจนและวิธีการที่เป็นเอกสาร

ข้อความแจ้งการทดสอบที่เป็นตัวแทนครอบคลุมสเปกตรัมของการใช้งานจริง สําหรับตัวแทน Adventure Works Trail Guide ข้อความแจ้งการทดสอบจะรวมถึงการสอบถามจากกลุ่มลูกค้าต่างๆ ที่กําลังมองหาคําแนะนําเกี่ยวกับอุปกรณ์:

• คนเร่ร่อนดิจิทัลวางแผนเดินป่าช่วงสุดสัปดาห์: "ฉันกําลังเดินป่าในที่ราบสูงสกอตแลนด์ในเดือนมีนาคม ฉันต้องการอุปกรณ์กันน้ําอะไรจาก Adventure Works"
• ครอบครัวเตรียมตัวสําหรับการผจญภัยกลางแจ้งครั้งแรก: "เรากําลังพาวัยรุ่นของเราไปตามเส้นทางง่ายๆ ใกล้ลอนดอนในเดือนหน้า เราควรซื้อหรือเช่าอุปกรณ์พื้นฐานอะไรบ้าง"
• นักปีนเขาที่มีประสบการณ์วางแผนการเดินทางระยะยาว: "ฉันต้องการรายการอุปกรณ์ที่สมบูรณ์สําหรับทริปแบกเป้ห้าวันในภูมิประเทศปานกลางที่มีสภาพอากาศแปรปรวน"

กรณีขอบทดสอบวิธีที่ตัวแทนจัดการกับสถานการณ์ที่ท้าทาย:

• คําขอที่คลุมเครือ: "ฉันควรเตรียมอะไรไปเดินป่า"
• รายละเอียดการเดินทางที่ไม่สมบูรณ์: "ฉันต้องการอุปกรณ์สําหรับสกอตแลนด์"
• การเปลี่ยนเกียร์ในนาทีสุดท้าย: "ฉันสามารถเปลี่ยนการเช่าอุปกรณ์ตั้งแคมป์เป็นขนาดอื่นได้หรือไม่"

การรวมข้อความแจ้งการทดสอบที่หลากหลายห้าถึง 10 รายการให้ความคุ้มครองที่เพียงพอสําหรับการทดสอบด้วยตนเองและการทดสอบควันในขณะที่ยังคงใช้งานได้จริงสําหรับการประเมินของมนุษย์ พรอมต์การทดสอบแต่ละรายการจะบันทึกการสอบถามของผู้ใช้ความต้องการข้อมูลที่คาดหวังและลักษณะการตอบสนองในอุดมคติ

เกณฑ์ความสําเร็จจะกําหนดสิ่งที่ถือเป็นประสิทธิภาพที่ยอมรับได้ก่อนที่คุณจะทําการทดสอบ การกําหนดเกณฑ์ล่วงหน้าจะช่วยป้องกันการหาเหตุผลเข้าข้างตัวเอง Adventure Works กําหนดเกณฑ์ความสําเร็จในมิติการเพิ่มประสิทธิภาพทั้งสามมิติ:

• คุณภาพ: เฉลี่ย 4.2+ (ระดับห้าคะแนน) ขั้นต่ํา 3.5 ต่อการตอบกลับเพื่อให้สอดคล้องกับเป้าหมายความพึงพอใจของลูกค้าและป้องกันการกัดเซาะความไว้วางใจ
• ค่าใช้จ่าย: ลดค่าใช้จ่าย 60% เพื่อให้บรรลุเป้าหมายประสิทธิภาพการดําเนินงานในขณะที่รักษาอัตราการแก้ปัญหา 85%
• ประสิทธิภาพ: เวลา <ตอบสนองเฉลี่ย 30 วินาที เวลาถึงโทเค็น <แรก 2 วินาที (สตรีมมิ่ง) เพื่อให้แน่ใจว่าผู้ใช้ได้รับประสบการณ์ที่ยอมรับได้สําหรับการโต้ตอบแบบเรียลไทม์

ข้อกําหนดทางธุรกิจมีอิทธิพลต่อเกณฑ์เหล่านี้: เจ้าหน้าที่ที่ต้องเผชิญหน้ากับลูกค้าที่จัดการการวางแผนการเดินทางต้องการมาตรฐานคุณภาพที่สูงขึ้นและเวลาตอบสนองที่เร็วกว่าเครื่องมือภายใน

วิธีการเปรียบเทียบของคุณจะเรียกใช้แต่ละตัวแปรกับข้อความแจ้งการทดสอบเดียวกัน โดยบันทึกคะแนนคุณภาพ การใช้โทเค็น และเวลาตอบสนอง การจัดระเบียบผลลัพธ์เผยให้เห็นรูปแบบ ตัวอย่างเช่น GPT-4 mini อาจเก่งในการสืบค้นที่ตรงไปตรงมา แต่มีปัญหากับการวางแผนที่ซับซ้อน จัดทําเอกสารการออกแบบการทดสอบของคุณเพื่อให้แน่ใจว่าสามารถทําซ้ําได้: ข้อความแจ้งการทดสอบ เกณฑ์การให้คะแนน การกําหนดค่าตัวแปร และเหตุผล

เมื่อการออกแบบการทดสอบที่ครอบคลุมเสร็จสมบูรณ์ คุณก็พร้อมที่จะนําการทดลองเหล่านี้ไปใช้โดยใช้เวิร์กโฟลว์การควบคุมเวอร์ชันที่ช่วยให้สามารถทดสอบได้อย่างปลอดภัยและการทํางานร่วมกันเป็นทีม