@azure/ai-voicelive package

Voice Live işlemleri için kimlik doğrulama hata sınıfı

VoiceLive istemcisi, gerçek zamanlı konuşma yapay zeka yetenekleri için oturum yönetimi sağlar.

Bu istemci, gerçek WebSocket bağlantılarını ve hizmetle gerçek zamanlı etkileşimleri yöneten VoiceLiveSession örnekleri oluşturmak için bir fabrika görevi görür.

Voice Live WebSocket işlemleri için temel hata sınıfı

General Voice Live hata sınıfı

Sesli Canlı mesaj işlemleri için protokol hata sınıfı

Azure VoiceLive servisiyle gerçek zamanlı sesli iletişim için WebSocket tabanlı bir oturumu temsil eder.

Bu sınıf, bağlantıyı yönetir, gerçek zamanlı iletişimi yönetir ve ses akışı, konuşma yönetimi ve avatar kontrolü dahil tüm etkileşimli özelliklere erişim sağlar.

Bir sayfa içinde metin aramak için bir bulma eylemi.

Açık sayfa eylemi.

Bir web arama eylemi.

Bir arama eylemi kaynak URL'si.

Ajan için yapılandırma.

Ana yapay zeka aktörü olarak bir ajanla oturum oluşturmak için yapılandırma.

Bir ajan oturumu kullanıldığında, ajanın yapılandırması (araçlar, talimatlar, sıcaklık vb.) oturum kodunda değil, Foundry portalında yönetilir.

Blendshape'ler ve visemes meta verileri dahil olmak üzere animasyon çıktıları için yapılandırma.

Bir konuşma içinde bir asistan mesajı öğesi.

Sunucu tarafı ses işleme için yankı iptal yapılandırması.

Giriş ses transkripsiyonu yapılandırması.

Giriş ses gürültüsünü azaltma yapılandırması.

Avatar akışı ve oturum sırasında davranış için yapılandırma.

Azure avatar ses senkronizasyonu yapılandırması. Avatar karakteriyle kişisel ses sentezi kullanıyor.

Azure özel ses yapılandırması.

Azure kişisel ses yapılandırması.

Azure semantik konuşma sonu algılama (varsayılan).

Azure semantic end-of-expressionance detection (English-optimized).

Azure semantik son sözlem algılama (multilingual).

Server Speech Detection (Azure semantik VAD, varsayılan varyant).

Server Speech Detection (Azure semantic VAD, sadece İngilizce).

Server Speech Detection (Azure semantic VAD).

Azure standart ses yapılandırması.

Azure ses yapılandırmaları için temel.

Bir video arka planı tanımlar; ister düz renkli ya da birbirini dışlayan bir görsel URL'si.

Çıkış token kullanımının detayları.

Bir voicelive istemci etkinliği.

Konuşmanın bağlamına mesajlar, fonksiyon çağrıları ve fonksiyon çağrı yanıtları dahil olmak üzere yeni bir Öğe ekleyin. Bu olay, hem konuşmanın "geçmişini" doldurmak hem de akış sırasında yeni öğeler eklemek için kullanılabilir, ancak mevcut sınırlaması asistan sesli mesajlarını dolduramamasıdır. Başarılı olursa, sunucu bir conversation.item.created olayla yanıt verir, aksi takdirde bir error olay gönderilir.

Konuşma geçmişinden herhangi bir öğeyi kaldırmak istediğinizde bu etkinliği gönderin. Sunucu, eşya konuşma geçmişinde yoksa, bir conversation.item.deleted olayla yanıt verir; bu durumda sunucu hata ile yanıt verir.

Bu olayı konuşma geçmişindeki belirli bir öğenin sunucu temsilini almak istediğinizde gönderin. Bu, örneğin, gürültü engelleme ve VAD sonrası kullanıcı sesini incelemek için faydalıdır. Sunucu, eşya konuşma geçmişinde yoksa, bir conversation.item.retrieved olayla yanıt verir; bu durumda sunucu hata ile yanıt verir.

Bu olayı göndererek önceki bir asistan mesajının sesini kısaltın. Sunucu, voicelive'dan daha hızlı ses üretir, bu yüzden kullanıcı istemciye gönderilen ama henüz çalınmamış sesi kesmek için kesinti yaptığında bu olay faydalıdır. Bu, sunucunun sesi anlamasını istemcinin oynatma sistemiyle senkronize eder. Sesi kesmek, sunucu tarafındaki metin transkriptini silerek kullanıcının duymadığı bağlamda metin olmadığından emin olur. Başarılı olursa, sunucu bir conversation.item.truncated olayla yanıt verir.

Bu olayı giriş ses tamponuna ses baytları eklemek için gönderin. Ses arabelleği, veri yazabileceğiniz ve daha sonra kaydedebileceğiniz geçici bir saklama alanıdır. Server VAD modunda, ses tamponu konuşmayı tespit etmek için kullanılır ve sunucu ne zaman taahhüt edeceğine karar verir. Server VAD devre dışı bırakıldığında, ses tamponunu manuel olarak kaydetmeniz gerekir.

İstemci, her etkinlikte maksimum 15 MiB'e kadar ne kadar ses koyacağını seçebilir; örneğin, istemciden daha küçük parçalar akışı VAD'nin daha hızlı yanıt vermesini sağlayabilir. Diğer yaratılmış istemci etkinliklerinden farklı olarak, sunucu bu olaya onay yanıtı göndermez.

Bu olayı göndererek tampondaki ses baytlarını temizleyin. Sunucu bir input_audio_buffer.cleared olayla yanıt verir.

Bu olayı kullanıcı girişi ses tamponunu commit etmek için gönderin; bu da konuşmada yeni bir kullanıcı mesajı öğesi oluşturur. Bu olay, giriş ses tamponu boşsa hata üretir. Server VAD modundayken istemcinin bu olayı göndermesine gerek kalmaz, sunucu ses tamponunu otomatik olarak commit eder. Giriş ses tamponunu bağlamak, giriş ses transkripsiyonunu tetikler (oturum yapılandırmasında etkinleştirilmişse), ancak modelden yanıt oluşturmaz. Sunucu bir input_audio_buffer.committed olayla yanıt verir.

Şu anda yayınlanan tüm giriş sesi temizler.

Devam eden bir giriş dönüşüne ses verisi ekler.

Devam eden giriş ses dönüşünü iptal ediyor.

Ses girişi dönüşünün sonunu işaret eder.

Yeni bir ses girişi dönüşünün başladığını gösterir.

İstemci avatar çıkış tamponunu temizlemek istedi.

Bu etkinliği göndererek devam eden bir yanıtı iptal edin. Sunucu, iptal için bir yanıt yoksa bir response.cancelled olay veya hata ile yanıt verir.

Bu olay, sunucuya bir Yanıt oluşturmasını emreder, bu da model çıkarımını tetiklemek anlamına gelir. Server VAD modundayken sunucu otomatik olarak Yanıtlar oluşturur. Bir Yanıt en az bir Öğe içerir ve iki Öğe içerebilir; bu durumda ikinci bir fonksiyon çağrısı olur. Bu Maddeler konuşma geçmişine eklenecektir. Sunucu bir response.created olay, Öğeler ve oluşturulan içerik için etkinlikler ve son olarak Yanıtın tamamlandığını belirten bir response.done olayla yanıt verir. Olay, response.create , instructionsve temperaturegibi çıkarım yapılandırmasını içerir. Bu alanlar, yalnızca bu Yanıt için Oturumun yapılandırmasını geçersiz kılar.

İstemci bağlandığında ve SDP'sini (Oturum Tanımlama Protokolü) sağladığında gönderilir

avatar ile ilgili medya müzakereleri için.

Bu olayı oturumun varsayılan yapılandırmasını güncellemek için gönderin. İstemci, bu olayı herhangi bir alanı güncellemek için istediği zaman gönderebilir, hariç.voice Ancak, bir oturum belirli modelbir ile başlatıldıktan sonra , başka bir modele değiştirilemeyeceğini unutmayın session.update. Sunucu bir session.update'i aldığında, tam ve etkili yapılandırmayı gösteren bir session.updated olayla yanıt verir. Sadece mevcut alanlar güncelleniyor. Bir alanı temizlemek için , instructionsboş bir ipi geçirin.

Bağlantı kurulduğunda sunulan argümanlar

Bağlantıyla ilgili işleyicilere sağlanan bağlam bilgisi

Herhangi bir içerik kısmı için temel; tarafından ayrımcılığa typeuğradı.

Konuşmaya eklenecek öğe.

Herhangi bir yanıt öğesi için bir taban; tarafından ayrımcılığa typeuğradı.

Bağlantı kaybolduğunda sunulan argümanlar

Sözü sonu (EOU) anlamsal algılama konfigürasyonu için üst düzey birleşme.

Hata meydana geldiğinde sunulan argümanlar

Standart hata yanıt zarfı.

Bir dosya arama sonucu girişi.

Bir konuşma içinde bir fonksiyon çağrı öğesi.

Bir konuşma içinde bir fonksiyon çağrısı çıktı öğesi.

Voicelive uç noktası tarafından kullanılan bir fonksiyon aracının tanımı.

WebRTC bağlantı müzakere için ICE sunucu yapılandırması.

Ses içeriği kısmını girin.

Metin içeriği kısmını girin.

Giriş token kullanımının detayları.

Ara yanıt yapılandırması için temel model.

LLM tabanlı geçici yanıt üretimi için yapılandırma. Herhangi bir tetikleme koşulu karşılandığında bağlama duyarlı ara yanıtlar oluşturmak için LLM kullanır.

Bir token için tek bir log olasılık girişi.

MCP onay talebine yanıt olan bir talep öğesi.

Voicelive uç noktası tarafından kullanılan MCP sunucusunun tanımı.

MCP aracı tanımını temsil eder.

Herhangi bir mesaj içeriği kısmı için bir temel; tarafından ayrımcılığa typeuğradı.

Bir konuşma içinde bir mesaj öğesi.

OpenAI ses yapılandırması ve açık tip alanı var.

Bu, OpenAI sesleri için birleşik bir arayüz sağlar ve mevcut diziye dayalı OAIVoice'u geriye doğru uyumluluk için tamamlar.

Metin içeriği kısmını çıkar.

Çıkış token kullanımının detayları.

Bir istek için sesli içerik bölümü. Bu sadece gerçek zamanlı modeller (örneğin, gpt-realtime) tarafından desteklenir. Metin tabanlı modeller için bunun yerine kullanın input_text .

Görsel içerik kısmını girin.

İstek ve yanıt arasında paylaşılan oturum yapılandırması için bir temel.

Bir istek için metin içeriği bölümü.

Bir yanıt için sesli içerik bölümü.

İptal edilmiş yanıtın detayları.

Bu parametrelerle yeni bir VoiceLive yanıtı oluşturun

Başarısız yanıt için detaylar.

Dosya arama çağrısını temsil eden bir yanıt öğesi.

Bir konuşma içinde bir fonksiyon çağrı öğesi.

Bir konuşma içinde bir fonksiyon çağrısı çıktı öğesi.

Eksik yanıt için detaylar.

Herhangi bir yanıt öğesi için bir taban; tarafından ayrımcılığa typeuğradı.

MCP aracı çağırmak için onay talebini temsil eden bir yanıt öğesi.

MCP onay talebine verilen yanıtı temsil eden bir yanıt öğesi.

MCP aracına yapılan çağrıyı temsil eden bir yanıt öğesi.

MCP sunucusunda mevcut araçları listeleyen bir yanıt öğesi.

Bir konuşmadaki mesaj öğesi için temel tip.

Yanıttaki oturum yapılandırması için temel oluşturuyor.

Tüm başarısız yanıt detayları için temel bilgiler.

Bir yanıt için metin içeriği bölümü.

Web arama çağrısını temsil eden bir yanıt öğesi.

Avatar'ın video karesinde zoom seviyesi, konumu, dönüşü ve hareket genliği için yapılandırma.

Bir voicelive sunucu etkinliği.

Bir konuşma öğesi oluşturulduğunda geri döner. Bu olayı oluşturan birkaç senaryo vardır:

• Sunucu bir Yanıt üretiyor ve başarılı olursa bir veya iki Öğe üretiyor; bunlar türde message (rol assistant) veya türde function_callolacak.
• Giriş ses tamponu istemci veya sunucu (modda server_vad ) tarafından belirlenmiştir. Sunucu, giriş ses tamponunun içeriğini alıp yeni bir kullanıcı mesajı öğesine ekler.
• Müşteri, Konuşmaya yeni bir Öğe eklemek için bir conversation.item.create etkinlik göndermiştir.

Konuşmadaki bir öğe istemci tarafından bir conversation.item.delete olayla silindiğinde geri döner. Bu olay, sunucunun konuşma geçmişini anlamayı istemcinin görünümüyle eşitlemek için kullanılır.

Bu olay, kullanıcı sesinin kullanıcı ses tamponuna yazılmış ses transkripsiyonunun çıktısıdır. Transkripsiyon, giriş ses tamponu istemci veya sunucu tarafından (modda server_vad ) bağlandığında başlar. Transkripsiyon, Yanıt oluşturma ile eşzamansız çalışır, bu yüzden bu olay Yanıt olaylarından önce veya sonra olabilir. VoiceLive API modelleri sesi doğal olarak kabul eder ve bu nedenle giriş transkripsiyonu, ayrı bir ASR (Otomatik Konuşma Tanıma) modelinde yürütülen ayrı bir süreçtir. Transkript, modelin yorumundan biraz sapabilir ve kaba bir rehber olarak ele alınmalıdır.

Giriş ses transkripsiyon içeriği kısmının metin değeri güncellendiğinde geri döner.

Giriş ses transkripsiyonu yapılandırıldığında ve kullanıcı mesajı için transkripsiyon talebi başarısız olduğunda döner. Bu olaylar, diğer olaylardan error ayrı olarak çalışır, böylece istemci ilgili Öğeyi tanıyabilir.

Bir konuşma öğesi ile conversation.item.retrievealındığında geri döner.

Önceki bir yardımcı sesli mesaj öğesi istemci tarafından bir conversation.item.truncate olayla kesildiğinde döner. Bu olay, sunucunun sesi anlamasını istemcinin oynatma ile senkronize etmek için kullanılır. Bu işlem, sesi kısaltır ve sunucu tarafındaki metin transkriptini kaldırarak kullanıcının duymadığı bağlamda metin olmadığından emin olur.

Bir hata olduğunda geri döner, bu bir istemci veya sunucu sorunu olabilir. Çoğu hata düzeltilebilir ve oturum açık kalacak, uygulayıcılara hata mesajlarını varsayılan olarak izlemelerini ve kaydetmelerini öneriyoruz.

Hatanın detayları.

Giriş ses tamponu istemci tarafından bir input_audio_buffer.clear olayla temizlendiğinde geri döner.

Giriş ses tamponu bağlandığında, ister istemci tarafından ya da otomatik olarak sunucu VAD modunda geri döner. Özellik, item_id oluşturulacak kullanıcı mesajı öğesinin kimliğidir, böylece istemciye bir conversation.item.created olay da gönderilir.

Sunucu tarafından moddayken server_vad ses tamponunda konuşmanın tespit edildiğini belirtmek için gönderilir. Bu, ses tampona eklendiğinde (konuşma zaten tespit edilmedikçe) her zaman olabilir. İstemci, bu olayı ses oynatmayı kesintiye kesmek veya kullanıcıya görsel geri bildirim sağlamak için kullanmak isteyebilir. İstemci konuşma durduğunda bir input_audio_buffer.speech_stopped olay almayı beklemelidir. Bu özellik, item_id konuşma durduğunda oluşturulacak kullanıcı mesajı öğesinin kimliğidir ve aynı zamanda olaya input_audio_buffer.speech_stopped dahil edilecektir (istemci VAD aktivasyonu sırasında ses tamponunu manuel olarak commit etmezse).

Sunucu ses tamponunda konuşmanın sonunu algıladığında modda geri döner server_vad . Sunucu ayrıca ses tamponundan oluşturulan kullanıcı mesajı öğesiyle bir conversation.item.created olay gönderir.

MCP liste araçları tamamlandı mesajı.

MCP list araçları başarısız mesaj.

MCP listeleme araçları mesajı.

Çıkış ses tamponu temizlendiğinde geri döner.

Bir yanıtın belirli çıktısı için blendshape animasyon çerçevelerinin delta güncellemesini temsil eder.

Bir yanıtın belirli bir çıktısı için blendshape animasyon işlemenin tamamlandığını gösterir.

Ses temelli animasyon için viseme ID delta güncellemesini temsil eder.

Yanıt için viseme animasyon teslimatının tamamlandığını gösterir.

Model tarafından oluşturulan ses güncellendiğinde geri döner.

Model tarafından oluşturulan ses tamamlandığında geri döner. Ayrıca bir Yanıt kesildiğinde, eksik olduğunda veya iptal edildiğinde de yayılır.

Bir yanıt için kelime düzeyinde ses zaman damgası deltasını temsil eder.

Bir yanıt için sesli zaman damgası teslimatının tamamlandığını gösterir.

Bir yanıta sesli transkript notası eklendiğinde geri döner.

Model tarafından oluşturulan ses çıktısının transkripsiyonu güncellendiğinde geri döner.

Model tarafından oluşturulan ses çıkışının transkripsiyonu akış tamamlandığında geri döner. Ayrıca bir Yanıt kesildiğinde, eksik olduğunda veya iptal edildiğinde de yayılır.

Yanıt oluşturma sırasında bir yardımcı mesaj öğesine yeni bir içerik parçası eklendiğinde geri döner.

Bir içerik kısmı asistan mesaj öğesinde yayınlanması tamamlandığında geri döner. Ayrıca bir Yanıt kesildiğinde, eksik olduğunda veya iptal edildiğinde de yayılır.

Yeni bir Yanıt oluşturulduğunda geri döner. Yanıt oluşturmanın ilk olayı olan tepki, başlangıç halinde in_progressolur.

Bir Yanıt yayını bittiğinde geri gönderilir. Son durumu ne olursa olsun her zaman yayılıyor. Etkinliğe response.done dahil edilen Yanıt nesnesi, Yanıt'taki tüm çıktı öğelerini içerir ancak ham ses verisini çıkarır.

Dosya arama çağrısı tamamlandığında döner.

Dosya arama çağrısı devam ederken geri gönderiliyor.

Dosya arama çağrısı aranırken geri döner.

Model tarafından oluşturulan fonksiyon çağrısı argümanları güncellendiğinde döner.

Model tarafından oluşturulan fonksiyon çağrısı argümanları akışı tamamlandığında döner. Ayrıca bir Yanıt kesildiğinde, eksik olduğunda veya iptal edildiğinde de yayılır.

MCP araç çağrısı için argümanların delta güncellemesini temsil eder.

MCP araç çağrısı için argümanların tamamlandığını gösterir.

MCP çağrısının tamamlandığını gösterir.

MCP çağrısının başarısız olduğunu gösterir.

MCP çağrısının çalıştığını gösteriyor.

Yanıt oluşturma sırasında yeni bir Öğe oluşturulduğunda geri döner.

Bir Öğe yayını bittiğinde geri döner. Ayrıca bir Yanıt kesildiğinde, eksik olduğunda veya iptal edildiğinde de yayılır.

Bir "metin" içeriği kısmının metin değeri güncellendiğinde döner.

Bir "metin" içerik kısmının metin değeri yayın yapımı tamamlandığında döner. Ayrıca bir Yanıt kesildiğinde, eksik olduğunda veya iptal edildiğinde de yayılır.

Avatar video çerçevesi veri yayınlandığında geri döner.

Web arama araması tamamlandığında geri gönderildi.

Web arama çağrısı devam ederken geri gönderiliyor.

Bir web arama araması ararken geri gönderiliyor.

Sunucu avatar medya bağlantısı kurma sürecindeyken ve SDP cevabını sağlarken gönderilir.

Avatar boşta durma durumuna geçtiğinde geri döner.

Avatar konuşma durumuna geçtiğinde geri döndü.

Bir Oturum oluşturulduğunda geri döner. Yeni bir bağlantı ilk sunucu olayı olarak kurulduğunda otomatik olarak yayımlanır. Bu olay, varsayılan Oturum yapılandırmasını içerecektir.

Bir oturum bir session.update olayla güncellendiğinde döner, hata olmadıkça.

Konuşma akışını kesintiye uğratmayan bir uyarı olduğunda geri döner. Uyarılar bilgilendirme amaçlıdır ve oturum normal şekilde devam edecektir.

Uyarının detayları.

VAD tabanlı tur tespiti için temel model.

VoiceLive oturum nesnesi yapılandırması.

Oturumla ilgili işleyicilere sağlanan bağlam bilgileri

Statik ara yanıt üretimi için yapılandırma. Herhangi bir tetikleyici koşul karşılandığında yapılandırılmış metinlerden rastgele seçim yapar.

Bir konuşma içindeki sistem mesajı öğesi.

Bir yanıt için genel kullanım istatistikleri.

Voicelive aracı tanımının temel temsili.

Bir voicelive'ın temsili tool_choice adlandırılmış bir fonksiyon aracının seçilmesi.

Bir voicelive için bir temel temsil tool_choice adlandırılmış bir aracın seçilmesi.

Zamanlama bilgisi olan transkribe edilmiş bir ifade.

Transkripsiyonda zaman damgalı bir kelime.

Tur algılama konfigürasyonu için üst düzey birleşik.

Bir konuşma içindeki kullanıcı mesajı öğesi.

Üst sol ve alt-sağ koordinatları kullanılarak video kırpma dikdörtgenini tanımlar.

Avatar için video yayın parametreleri.

Video akışının piksel cinsinden çözünürlüğü.

API hatası durumunda hata nesnesi döner.

Yanıt kaynağı.

Azure SDK patterns takip ederek VoiceLive session events için handler functions.

TÜM yöneticiler isteğe bağlı - sadece önem verdiğiniz etkinlikleri uygulayın! Her handler, güçlü şekilde tiplendirilmiş olay verileri ve bağlam bilgisi alır.

VoiceLive oturum etkinliklerine aktif bir aboneliği temsil eder

Çıktı alınacak animasyon veri türlerini belirler.
KnownAnimationOutputType , AnimationOutputType ile değiştirilebilir ve bu enum servisin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

blendshapes: Blendshapes çıktı türü.
viseme_id: Viseme ID çıkış tipi.

Ses yanıt içeriğinde desteklenen çıkış zaman damgası türleri.
KnownAudioTimestampType, AudioTimestampType ile değiştirilebilir ve bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

kelime: Çıkış sesindeki kelime başına zaman damgası.

Avatar yapılandırma türleri
KnownAvatarConfigTypes ile değiştirilebilir ve bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

video-avatar: Video avatar
fotoğraf-avatar: Fotoğraf avatarı

Avatar yapılandırma çıkış protokolleri
KnownAvatarOutputProtocol , AvatarOutputProtocol ile değiştirilebilir ve bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

webrtc: WebRTC protokolü, ses/video akışlarını WebRTC üzerinden çıkar
Websocket: WebSocket protokolü, video karelerini WebSocket üzerinden çıkar

Tüm desteklenen Azure ses tiplerinin birleşimi.
KnownAzureVoiceType , AzureVoiceType ile karşılıklı olarak kullanılabilir, bu enum servisin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

azure-custom: Azure özel ses.
azure-standard: Azure standart ses.
azure-personal: Azure kişisel ses.
avatar-voice-sync: Azure avatar ses senkronizasyonu.

AzureVoiceUnion için Alias

VoiceLive protokolünde kullanılan istemci olay türleri.
KnownClientEventType ile ClientEventType ile değiştirilebilir ve bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

session.update
input_audio_buffer.append
input_audio_buffer.commit
input_audio_buffer.clear
input_audio.dön.başlat
input_audio.turn.append
input_audio.turn.end
input_audio.dön.iptal et
input_audio.temiz
conversation.item.create
conversation.item.retrieve
conversation.item.truncate
conversation.item.delete
response.create
response.cancel
session.avatar.connect
mcp_approval_response
output_audio_buffer.clear: İstemci avatar çıkış tamponunu temizlemek istemesi.

Alias for ClientEventUnion

İçerik TürüPartType

ContentPartUnion için takma ad

ConversationRequestItemUnion için Alias

EouDetectionUnion için takma ad,

Azure semantik son sözlem algılanması için eşik seviye ayarları.
KnownEouThresholdLevel , EouThresholdLevel ile değiştirilebilir ve bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

Düşük: Düşük hassasiyet eşik seviyesi.
Orta: Orta hassasiyet eşik seviyesi.
yüksek: Yüksek hassasiyet eşik seviyesi.
varsayılan: Varsayılan hassasiyet eşik seviyesi.

Giriş ses formatı türleri destekleniyor.
KnownInputAudioFormat , InputAudioFormat ile değiştirilebilir ve bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

pcm16: Varsayılan örnekleme hızında (24kHz) 16-bit PCM ses formatı
g711_ulaw: 8kHz örnekleme hızında G.711 μ-law (mu-law) ses formatı
g711_alaw: 8kHz örnekleme hızında G.711 A-law ses formatı

Geçici yanıt yapılandırma türlerinin birleşimi.

Alias for InterimResponseConfigBaseUnion

Geçici yanıt yapılandırma türleri.
KnownInterimResponseConfigType , InterimResponseConfigType ile değiştirilebilir ve bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

static_interim_response: Statik geçici yanıt yapılandırma türü.
llm_interim_response: LLM tabanlı geçici yanıt yapılandırma türü.

Geçici yanıt üretimini etkinleştirebilen tetikleyiciler.
KnownInterimResponseTrigger , InterimResponseTrigger ile karşılıklı olarak kullanılabilir, bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

Gecikme: Yanıt gecikmesi eşik eşiğini aştığında geçici yanıt tetiklenir.
Aracı: Bir araç çağrısı yürütülürken ara yanıtı tetikle.

Bir öğenin veya parametrenin işleme durumunu gösterir.
KnownItemParamStatus , ItemParamStatus ile değiştirilebilir ve bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

tamamlandı: Öğe veya parametre hâlâ işleniyor.
eksik: Öğe veya parametre henüz tamamlanmamıştır.

ItemType Türü

Mevcut MCP onay türleri seti.
KnownMCPApprovalType , MCPApprovalType ile değiştirilebilir ve bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

asla: Onay asla gerekmez.
her zaman: Onay her zaman gereklidir.

Alias for MessageContentPartUnion

MessageItemUnion için Alias

Mesaj TürüRole

Oturum için desteklenen yöntemler.
KnownModality ile değiştirilebilir ve bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

metin: Metin modalitesi.
ses: Ses modalitesi.
animasyon: Animasyon modalitesi.
avatar: Avatar modalitesi.

OpenAI ses isimlerini (string enum) destekliyordu.
KnownOAIVoice, OAIVoice ile değiştirilebilir ve bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

Alloy: Alaşım sesi.
ash: Kül sesi.
Balad: Ballard sesi.
Coral: Mercan sesi.
yankı: Yankı sesi.
bilge: Bilge sesi.
şimmer: Parıltı sesi.
Ayet: Kıta sesi.
marin: Marin sesi.
Cedar: Sedir sesi.

Çıkış ses formatı türleri destekleniyor.
KnownOutputAudioFormat , OutputAudioFormat ile değiştirilebilir ve bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

pcm16: Varsayılan örnekleme hızında (24kHz) 16-bit PCM ses formatı
pcm16_8000hz: 8kHz örnekleme hızında 16-bit PCM ses formatı
pcm16_16000hz: 16kHz örnekleme hızında 16-bit PCM ses formatı
g711_ulaw: 8kHz örnekleme hızında G.711 μ-law (mu-law) ses formatı
g711_alaw: 8kHz örnekleme hızında G.711 A-law ses formatı

PersonalVoice modelleri
KnownPersonalVoiceModels, PersonalVoiceModels ile değiştirilebilir ve bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

DragonLatestNeural: En son Dragon modelini kullanın.
Phoenix SonunNeural: En yeni Phoenix modelini kullanın.
PhoenixV2Neural: Phoenix V2 modelini kullanın.
DragonHDOmniLatestNeural: En yeni Dragon HD Omni modelini kullanın.
MAI-Voice-1: MAI-Voice-1 modelini kullanın.

Fotoğraf avatar temel modları
KnownPhotoAvatarBaseModes , PhotoAvatarBaseModes ile değiştirilebilir ve bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

vasa-1: VASA-1 modeli

Mantıp modelleri için mantık yürütme çabasını kısıtlar. Her model için desteklenen değerler için model dokümantasyonunu kontrol edin. Muhakeme çabasının azaltılması, yanıtta daha hızlı yanıtlar ve daha az belirteç kullanılmasına neden olabilir.
KnownReasoningEffort , ReasoningEffort ile birbirinin yerine kullanılabilir, bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

hiçbiri: Hiçbir mantık çabası yok.
minimum: Minimum akıl yürütme çabası.
Düşük: Düşük akıl yürütme çabası - daha hızlı yanıtlar ve daha az akıl yürütme.
Medium: Orta akıl yürütme çabası - hız ve akıl yürütme derinliği arasında dengeli.
yüksek: Yüksek akıl yürütme çabası - daha kapsamlı akıl yürütme, daha uzun sürebilir.
xhigh: Ekstra yüksek akıl yürütme çabası - maksimum akıl yürütme derinliği.

Görüntünün ayrıntı düzeyini belirtir. 'Otomatik', 'düşük', 'yüksek' veya bilinmeyen bir gelecek değeri olabilir.
KnownRequestImageContentPartDetail , RequestImageContentPartDetail ile karşılıklı olarak kullanılabilir, bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

otomatik: Uygun detay seviyesini otomatik olarak seç.
Düşük: Bant genişliği veya maliyeti azaltmak için daha düşük detay seviyesi kullanın.
yüksek: Daha yüksek detay seviyesi kullanın—potansiyel olarak daha kaynak gerektiren.

Bir yanıt öğesinin işleme durumunu gösterir.
KnownResponseItemStatus , ResponseItemStatus ile birbirinin yerine kullanılabilir, bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

in_progress: Devam eden madde.
tamamlandı: Ürün tamamen işlendi ve tamamlandı.
eksik: Öğe işlendi ancak eksik.

ResponseItemUnion için takma ad,

Bir yanıtın terminal durumu.
KnownResponseStatus , ResponseStatus ile karşılıklı olarak kullanılabilir, bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

Tamamlandı
Iptal
başarısız
Eksik
in_progress

ResponseStatusDetailsUnion için Alias

VoiceLive protokolünde kullanılan sunucu olay türleri.
KnownServerEventType , ServerEventType ile değiştirilebilir ve bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

error
session.avatar.connecting
session.created
session.updated
conversation.item.input_audio_transcription.completed
conversation.item.input_audio_transcription.delta
conversation.item.input_audio_transcription.failed
konuşma.öğe.oluşturuldu
conversation.item.retrieved
conversation.item.truncated
conversation.item.deleted
input_audio_buffer.committed
input_audio_buffer.temizlendi
input_audio_buffer.speech_started
input_audio_buffer.speech_stopped
response.created
yanıt.bitti
yanıt.output_item.eklendi
yanıt.çıkış_öğesi.tamamlandı
response.content_part.added
response.content_part.bitti
response.text.delta
response.text.done
response.audio_transcript.delta
response.audio_transcript.done
response.audio.delta
response.audio.done
response.animation_blendshapes.delta
response.animation_blendshapes.bitti
response.audio_timestamp.delta
response.audio_timestamp.done
response.animation_viseme.delta
response.animation_viseme.done
response.function_call_arguments.delta
response.function_call_arguments.bitti
mcp_list_tools.in_progress
mcp_list_tools.completed
mcp_list_tools.failed
response.mcp_call_arguments.delta
response.mcp_call_arguments.done
response.mcp_call.in_progress
response.mcp_call.completed
response.mcp_call.failed
session.avatar.switch_to_speaking: Avatar konuşma haline geçer.
session.avatar.switch_to_idle: Avatar boşta duruma geçer.
response.video.delta: Avatar video kareleri için Delta güncellemesi.
response.web_search_call.searching: Web arama çağrısı arıyor.
response.web_search_call.in_progress: Web arama çağrısı devam ediyor.
response.web_search_call.tamamlandı: Web arama çağrısı tamamlandı.
response.file_search_call.searching: Dosya arama çağrısı arıyor.
response.file_search_call.in_progress: Dosya arama çağrısı devam ediyor.
response.file_search_call.tamamlandı: Dosya arama çağrısı tamamlandı.
output_audio_buffer.cleared: Çıkış ses tamponu temizlendi.
response.audio_transcript.annotation.added: Sesli transkript açıklaması eklendi.

Alias for ServerEventUnion

Oturum yanıtlarında hangi ek verilerin dahil edileceğine dair seçenekler.
KnownSessionIncludeOption , SessionIncludeOption ile değiştirilebilir ve bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

item.input_audio_transcription.logprobs: Giriş ses transkripsiyonu için log olasılıklarını ekleyin.
item.input_audio_transcription.phrases: Giriş sesli transkripsiyon için cümle düzeyinde detaylar ekleyin.
file_search_call.results: Dosya arama arama sonuçlarını ekleyin.

Bir model veya ajan belirten bir Voice Live oturumu için hedef.

LLM'nin ana aktör olduğu model odaklı oturumlar için kullanılır { model: string } . Ajan ana aktör olduğu ajan merkezli oturumlar için kullanılır { agent: AgentSessionConfig } .

Example

Model merkezli oturum

import { DefaultAzureCredential } from "@azure/identity";
import { VoiceLiveClient } from "@azure/ai-voicelive";

const credential = new DefaultAzureCredential();
const endpoint = "https://your-resource.cognitiveservices.azure.com";
const client = new VoiceLiveClient(endpoint, credential);

const session = client.createSession({ model: "gpt-realtime" });

Example

Ajan merkezli oturum

import { DefaultAzureCredential } from "@azure/identity";
import { VoiceLiveClient } from "@azure/ai-voicelive";

const credential = new DefaultAzureCredential();
const endpoint = "https://your-resource.cognitiveservices.azure.com";
const client = new VoiceLiveClient(endpoint, credential);

const session = client.createSession({
  agent: { agentName: "my-agent", projectName: "my-project" },
});

Bir ses için mevcut temsil seti, 'otomatik' gibi hem de tanımlanmış araçlara yapılandırılmış referansları kapsayan bir ses için canlı tool_choice parametre sunar.

Voicelive uç noktası için mevcut mod seviyesinde, string literal tool_choice seçenekleri seti.
KnownToolChoiceLiteral , ToolChoiceLiteral ile birbirinin yerine kullanılabilir, bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

auto: Modelin hangi aracı veya araçları varsa özgürce belirlemesi gerektiğini belirtir.
none: Modelin hiçbir araç çağırmaması gerektiğini belirtir.
required: Modelin en az bir aracı çağırması gerektiğini belirtir.

Alias for ToolChoiceSelectionUnion

Desteklenen araç tipi ayrımcılar voicelive araçlar için. Şu anda yalnızca 'işlev' araçları desteklenmektedir.
KnownToolType , ToolType ile değiştirilebilir ve bu enum hizmetin desteklediği bilinen değerleri içerir.

Hizmet tarafından desteklenen bilinen değerler

fonksiyon
MCP

ToolUnion için Takma Ad

Tur Algılama Tipi

TurnDetectionUnion için takma ad,

Tüm desteklenen ses konfigürasyonlarının birleşimi.

Yaşam döngüsü yönetimi için bağlantı durumu sayımıyla

Çıktı alınacak animasyon veri türlerini belirler.

Ses yanıt içeriğinde desteklenen çıkış zaman damgası türleri.

Avatar yapılandırma türleri

Avatar yapılandırma çıkış protokolleri

Tüm desteklenen Azure ses tiplerinin birleşimi.

VoiceLive protokolünde kullanılan istemci olay türleri.

Servisin kabul ettiği ContentPartType'ın bilinen değerleri.

Azure semantik son sözlem algılanması için eşik seviye ayarları.

Giriş ses formatı türleri destekleniyor.

Geçici yanıt yapılandırma türleri.

Geçici yanıt üretimini etkinleştirebilen tetikleyiciler.

Bir öğenin veya parametrenin işleme durumunu gösterir.

Hizmetin kabul ettiği ItemType'ın bilinen değerleri.

Mevcut MCP onay türleri seti.

Hizmetin kabul ettiği MessageRole'in bilinen değerleri.

Oturum için desteklenen yöntemler.

OpenAI ses isimlerini (string enum) destekliyordu.

Çıkış ses formatı türleri destekleniyor.

PersonalVoice modelleri

Fotoğraf avatar temel modları

Mantıp modelleri için mantık yürütme çabasını kısıtlar. Her model için desteklenen değerler için model dokümantasyonunu kontrol edin. Muhakeme çabasının azaltılması, yanıtta daha hızlı yanıtlar ve daha az belirteç kullanılmasına neden olabilir.

Görüntünün ayrıntı düzeyini belirtir. 'Otomatik', 'düşük', 'yüksek' veya bilinmeyen bir gelecek değeri olabilir.

Bir yanıt öğesinin işleme durumunu gösterir.

Bir yanıtın terminal durumu.

VoiceLive protokolünde kullanılan sunucu olay türleri.

Oturum yanıtlarında hangi ek verilerin dahil edileceğine dair seçenekler.

Voicelive uç noktası için mevcut mod seviyesinde, string literal tool_choice seçenekleri seti.

Desteklenen araç tipi ayrımcılar voicelive araçlar için. Şu anda yalnızca 'işlev' araçları desteklenmektedir.

Hizmetin kabul ettiği TurnDetectionType'ın bilinen değerleri.

Voice Live WebSocket işlemleri için hata kodları

Bağlantı hatalarını sınıflandırır

Protokol hatalarını sınıflandırır

SessionTarget'ın ajan oturumu belirtip belirtmediğini kontrol etmek için guard yazısı var.

Oturum Hedefi'nin model oturumu belirtip belirtmediğini kontrol etmek için guard yazısı var.

RestError için Typeguard

Başarısız işlem hattı istekleri için özel bir hata türü.