การจัดการโทเค็น

ลองจินตนาการว่าคุณได้รับการเข้าชมอย่างฉับพลันต่อ API ของคุณอาจมีการขายหรือเหตุผลอื่น เพื่อหลีกเลี่ยงการใช้งานและการหยุดชะงักของบริการคุณต้องคิดวิธีการจัดการนั้น

นโยบายขีดจํากัดโทเค็น Azure OpenAI

ตามที่กล่าวถึงในจุดเริ่มต้นของหน่วยนี้การขัดขวางอย่างฉับพลันเป็นสิ่งที่คุณต้องจัดการ ข่าวดีก็คือ Azure API Management มีบางอย่างที่เรียกว่า นโยบายขีดจํากัดของโทเค็น

นโยบายนี้ช่วยให้ลูกค้าสามารถตั้งค่าขีดจํากัดการใช้โทเค็นซึ่งแสดงในโทเค็นต่อนาที (TPM) และทําให้มั่นใจได้ว่าการใช้ทรัพยากร OpenAI มีความยุติธรรมและมีประสิทธิภาพ

คุณลักษณะสำคัญ

คุณสมบัติสําคัญของนโยบายนี้คือ:

• การควบคุมอย่างแม่นยํา: ลูกค้าสามารถกําหนดขีดจํากัดโทเค็นตามคีย์ตัวนับต่างๆ เช่น คีย์การสมัครใช้งานหรือที่อยู่ IP ปรับแต่งการบังคับใช้สําหรับกรณีการใช้งานเฉพาะ
• Real-Time การตรวจสอบ: นโยบายขึ้นอยู่กับเมตริกการใช้งานโทเค็นที่ส่งกลับจากจุดสิ้นสุด OpenAI ช่วยให้สามารถตรวจสอบและบังคับใช้ขีดจํากัดในแบบเรียลไทม์ได้อย่างถูกต้อง
• การคํานวณโทเค็นล่วงหน้า: ช่วยให้สามารถทําการคํานวณโทเค็นพร้อมท์ล่วงหน้าในด้าน Azure API Management ลดคําขอที่ไม่จําเป็นไปยัง Backend ของ OpenAI หากเกินขีดจํากัดแล้ว
• การกําหนดค่าขั้นสูง: ลูกค้าสามารถใช้ส่วนหัวและตัวแปรเช่นโทเค็นที่ใช้และโทเค็นที่เหลืออยู่ภายในนโยบายเพื่อการควบคุมและการปรับแต่งที่ดีขึ้น

Ss ที่คุณเห็นมีฟีเจอร์มากมายที่ช่วยให้คุณจัดการค่าใช้จ่ายและด้วยการตรวจสอบแบบเรียลไทม์ที่คุณมั่นใจได้ว่าคุณจะไม่เกินขีด จํากัด

วิธีการใช้งาน

เมื่อต้องใช้นโยบายนี้ คุณจําเป็นต้องเพิ่มลงในไปป์ไลน์การประมวลผลขาเข้าของการดําเนินการ API นี่คือวิธีที่คุณสามารถทําได้:

<azure-openai-token-limit counter-key="key value"
        tokens-per-minute="number"
        estimate-prompt-tokens="true | false"    
        retry-after-header-name="custom header name, replaces default 'Retry-After'" 
        retry-after-variable-name="policy expression variable name"
        remaining-tokens-header-name="header name"  
        remaining-tokens-variable-name="policy expression variable name"
        tokens-consumed-header-name="header name"
        tokens-consumed-variable-name="policy expression variable name" />

มีคุณลักษณะบางอย่างที่คุณสามารถตั้งค่าได้ แต่คุณลักษณะที่สําคัญที่สุดคือ:

• counter-key: คีย์เพื่อใช้สําหรับการนับโทเค็น ค่านี้สามารถเป็นคีย์การสมัครใช้งานหรือที่อยู่ IP
• โทเค็นต่อนาที: จํานวนโทเค็นที่ได้รับอนุญาตต่อนาที
• estimate-prompt-tokens: จะประเมินโทเค็นพร้อมท์หรือไม่

นโยบายเมตริกโทเค็นการปล่อย Azure OpenAI

นโยบายนี้เน้นความจําเป็นสําหรับ การตรวจสอบ และ การวิเคราะห์การใช้โทเค็น โดยละเอียดในแอปพลิเคชันโดยใช้แบบจําลอง Azure OpenAI

โดยการจัดให้มีเมตริกที่ครอบคลุม ซึ่งจะช่วยให้องค์กร:

• ปรับการจัดสรรทรัพยากรให้เหมาะสม: ทําความเข้าใจและจัดการการใช้โทเค็นอย่างมีประสิทธิภาพ
• ปรับปรุงการตัดสินใจ: รับข้อมูลเชิงลึกเกี่ยวกับรูปแบบการใช้งานเพื่อทําการตัดสินใจอย่างชาญฉลาดเกี่ยวกับการปรับมาตราส่วนและการจัดการทรัพยากร
• ปรับปรุงประสิทธิภาพการตรวจสอบ: ติดตามและวิเคราะห์การใช้โทเค็นเพื่อระบุและแก้ไขปัญหาที่อาจเกิดขึ้นในเชิงรุก

วิธีใช้นโยบายเมตริกโทเค็นการปล่อย

เมื่อต้องใช้นโยบายนี้ คุณจําเป็นต้องเพิ่มลงในไปป์ไลน์การประมวลผลขาเข้าของการดําเนินการ API นี่คือวิธีที่คุณเข้ารหัสใน XML:

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

ต่อไปนี้เป็นตัวอย่างที่ใช้ขนาดที่หลากหลาย:

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="User ID" />
            <dimension name="Client IP" value="@(context.Request.IpAddress)" />
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

ในตัวอย่างก่อนหน้า:

• นโยบายได้รับการกําหนดค่าเพื่อปล่อยเมตริกโทเค็นไปยัง Namespace ของ AzureOpenAI ที่มีมิติสําหรับ ID ผู้ใช้ IP ไคลเอ็นต์ และ ID API
• ค่าของมิติ Ip ไคลเอ็นต์จะถูกตั้งค่าเป็นที่อยู่ IP ของไคลเอ็นต์ที่ทําการร้องขอ

ลองจินตนาการว่าตอนนี้คุณสามารถแสดงเมตริกเหล่านี้ในแดชบอร์ดได้ และคุณสามารถตรวจสอบการใช้งาน API ของคุณแบบเรียลไทม์ได้ ตัวอย่างเช่น คุณสามารถดูจํานวนโทเค็นที่ใช้โดยผู้ใช้ที่ระบุหรือจํานวนโทเค็นที่กําลังใช้โดย API เฉพาะได้ คุณลักษณะอันทรงพลังนี้สามารถช่วยให้คุณปรับทรัพยากรของคุณให้เหมาะสมและทําการตัดสินใจอย่างชาญฉลาดเกี่ยวกับการปรับขนาดและการจัดการทรัพยากร