@azure/ai-voicelive package

Classe di errore di autenticazione per le operazioni Voice Live

Il client VoiceLive fornisce la gestione delle sessioni per capacità di intelligenza artificiale conversazionale in tempo reale.

Questo client funge da fabbrica per la creazione di istanze VoiceLiveSession, che gestiscono le reali connessioni WebSocket e le interazioni in tempo reale con il servizio.

Classe di errore base per le operazioni Voice Live WebSocket

Classe di errore Live di General Voice

Classe di errore di protocollo per le operazioni di messaggi vocali Live

Rappresenta una sessione basata su WebSocket per la comunicazione vocale in tempo reale con il servizio Azure VoiceLive.

Questa classe gestisce la connessione, gestisce la comunicazione in tempo reale e offre accesso a tutte le funzionalità interattive, inclusi streaming audio, gestione delle conversazioni e controllo avatar.

Un'azione di ricerca per cercare testo all'interno di una pagina.

Un'azione a pagina aperta.

Un'azione di ricerca web.

Un URL di sorgente per un'azione di ricerca.

Configurazione per l'agente.

Configurazione per creare una sessione con un agente come attore AI principale.

Quando si utilizza una sessione agente, la configurazione dell'agente (strumenti, istruzioni, temperatura, ecc.) viene gestita nel portale Foundry, non nel codice della sessione.

Configurazione per i risultati delle animazioni, inclusi metadati blendshapes e viseme.

Un messaggio di assistente all'interno di una conversazione.

Configurazione di cancellazione Echo per l'elaborazione audio lato server.

Configurazione della trascrizione dell'audio di input.

Configurazione per la riduzione del rumore audio di input.

Configurazione dello streaming e del comportamento dell'avatar durante la sessione.

Configurazione della sincronizzazione vocale Azure avatar. Utilizza la sintesi vocale personale con il personaggio avatar.

Configurazione vocale personalizzata Azure.

Azure personal voice configuration.

Rilevamento di fine espressione semantica di Azure (impostazione predefinita).

Rilevamento semantico di fine enunciato Azure (ottimizzato per l'inglese).

Azure rilevamento semantico di fine enunciato (multilingue).

Server Speech Detection (Azure semantic VAD, variante predefinita).

Rilevamento vocale del server (Azure semantic VAD, solo inglese).

Server Speech Detection (Azure semantic VAD).

Azure configurazione vocale standard.

Base per configurazioni vocali Azure.

Definisce uno sfondo video, sia un colore unito che un URL immagine (mutuamente esclusivo).

Dettagli sull'utilizzo dei token di output.

Un evento VoiceLive per clienti.

Aggiungi un nuovo elemento al contesto della Conversazione, inclusi messaggi, chiamate di funzione e risposte alle chiamate di funzione. Questo evento può essere usato sia per popolare una "cronologia" della conversazione sia per aggiungere nuovi elementi a metà scena, ma ha la limitazione attuale che non può popolare i messaggi audio dell'assistente. Se ha successo, il server risponderà con un conversation.item.created evento, altrimenti un error evento verrà inviato.

Invia questo evento quando vuoi rimuovere qualsiasi elemento dalla cronologia delle conversazioni. Il server risponderà con un conversation.item.deleted evento, a meno che l'elemento non sia presente nella cronologia delle conversazioni, nel qual caso il server risponderà con un errore.

Invia questo evento quando vuoi recuperare la rappresentazione del server di un elemento specifico nella cronologia delle conversazioni. Questo è utile, ad esempio, per ispezionare l'audio dell'utente dopo la cancellazione del rumore e il VAD. Il server risponderà con un conversation.item.retrieved evento, a meno che l'elemento non sia presente nella cronologia delle conversazioni, nel qual caso il server risponderà con un errore.

Invia questo evento per troncare l'audio di un precedente messaggio dell'assistente. Il server produce audio più velocemente di Voicelive, quindi questo evento è utile quando l'utente interrompe per troncare audio già inviato al client ma non ancora riprodotto. Questo sincronizzerà la comprensione dell'audio da parte del server con la riproduzione del client. Troncare l'audio eliminerà la trascrizione del testo lato server per assicurarsi che non ci sia testo nel contesto che non sia stato percepito dall'utente. Se ha successo, il server risponderà con un conversation.item.truncated evento.

Invia questo evento per aggiungere byte audio al buffer audio di ingresso. Il buffer audio è una memoria temporanea in cui è possibile scrivere e successivamente effettuare il commit. In modalità Server VAD, il buffer audio viene utilizzato per rilevare la voce e il server decide quando effettuare il commish. Quando il server VAD è disabilitato, devi effettuare manualmente il commit del buffer audio.

Il client può scegliere quanta quantità di audio inserire in ogni evento fino a un massimo di 15 MiB; ad esempio, trasmettere blocchi più piccoli dal client può permettere al VAD di essere più reattivo. A differenza di altri eventi client creati, il server non invierà una risposta di conferma a questo evento.

Invia questo evento per cancellare i byte audio nel buffer. Il server risponderà con un input_audio_buffer.cleared evento.

Invia questo evento per fare commit al buffer audio input dell'utente, che creerà un nuovo elemento del messaggio utente nella conversazione. Questo evento produrrà un errore se il buffer audio di ingresso è vuoto. Quando è in modalità Server VAD, il client non deve inviare questo evento, il server effettuerà automaticamente il commit del buffer audio. Effettuare il commit del buffer audio di input attiverà la trascrizione audio in input (se abilitata nella configurazione della sessione), ma non creerà una risposta dal modello. Il server risponderà con un input_audio_buffer.committed evento.

Cancella tutto l'audio in ingresso attualmente in streaming.

Aggiunge dati audio a un turno di input in corso.

Annulla un turno audio in corso in corso.

Segna la fine di un turno di ingresso audio.

Indica l'inizio di un nuovo turno di ingresso audio.

Richiesta del client per cancellare il buffer di output avatar.

Invia questo evento per annullare una risposta in corso. Il server risponderà con un response.cancelled evento o un errore se non c'è risposta per annullare.

Questo evento istruisce il server a creare una Risposta, il che significa attivare l'inferenza del modello. Quando si è in modalità Server VAD, il server crea automaticamente le Risposte. Una Risposta includerà almeno un Item, e può averne due, nel qual caso il secondo sarà una chiamata di funzione. Questi Elementi saranno allegati alla cronologia delle conversazioni. Il server risponderà con un response.created evento, eventi per Oggetti e contenuti creati, e infine un response.done evento per indicare che la Risposta è completata. L'evento response.create include la configurazione di inferenza come instructions, e temperature. Questi campi sovrascriveranno la configurazione della Sessione solo per questa Risposta.

Inviato quando il client si connette e fornisce il suo SDP (Session Description Protocol)

Per la negoziazione media legata ad Avatar.

Invia questo evento per aggiornare la configurazione predefinita della sessione. Il client può inviare questo evento in qualsiasi momento per aggiornare qualsiasi campo, eccetto .voice Tuttavia, si noti che una volta che una sessione è stata inizializzata con un particolare model, non può essere cambiata in un altro modello usando session.update. Quando il server riceve un session.update, risponderà con un session.updated evento che mostra la configurazione completa ed efficace. Solo i campi presenti vengono aggiornati. Per liberare un campo come instructions, passa una stringa vuota.

Argomentazioni fornite quando si stabilisce una connessione

Informazioni di contesto fornite ai gestori correlati alla connessione

Base per qualsiasi parte di contenuto; discriminato da type.

Elemento da aggiungere alla conversazione.

Base per qualsiasi elemento di risposta; discriminato da type.

Argomentazioni fornite quando una connessione viene persa

Unione di alto livello per la configurazione di rilevamento semantico di fine enunciato (EOU).

Argomentazioni fornite quando si verifica un errore

Inviluppo standard di risposta all'errore.

Una voce nei risultati di ricerca di un file.

Un elemento di chiamata di funzione all'interno di una conversazione.

Un elemento di output che chiama una funzione all'interno di una conversazione.

La definizione di uno strumento funzionale utilizzato dall'endpoint voicelive.

Configurazione del server ICE per la negoziazione delle connessioni WebRTC.

Input audio parte del contenuto.

Input contenuto di testo.

Dettagli sull'utilizzo dei token di input.

Modello base per la configurazione della risposta intermedia.

Configurazione per la generazione di risposte intermedie basata su LLM. Utilizza un LLM per generare risposte intermedie consapevoli del contesto quando viene soddisfatta una condizione trigger.

Una singola voce di probabilità logaritaria per un token.

Un elemento della richiesta che rappresenta una risposta a una richiesta di approvazione MCP.

La definizione di server MCP come utilizzato dall'endpoint voicelive.

Rappresenta una definizione dello strumento mcp.

Base per qualsiasi parte di contenuto del messaggio; discriminato da type.

Un messaggio all'interno di una conversazione.

Configurazione vocale OpenAI con campo di tipo esplicito.

Questo fornisce un'interfaccia unificata per le voci OpenAI, che integra l'OAIVoice esistente basato su stringhe per la retrocompatibilità.

Parte del contenuto testuale in uscita.

Dettagli sull'utilizzo dei token di output.

Una parte di contenuto audio per una richiesta. Questo è supportato solo da modelli in tempo reale (ad esempio, gpt-tempo reale). Per i modelli basati su testo, usa input_text invece.

Input del contenuto delle immagini.

Base per la configurazione della sessione condivisa tra richiesta e risposta.

Una parte di contenuto testuale per una richiesta.

Una parte audio per una risposta.

Dettagli per una risposta annullata.

Crea una nuova risposta VoiceLive con questi parametri

Dettagli per una risposta fallita.

Un elemento di risposta che rappresenta una chiamata di ricerca file.

Un elemento di chiamata di funzione all'interno di una conversazione.

Un elemento di output che chiama una funzione all'interno di una conversazione.

Dettagli per una risposta incompleta.

Base per qualsiasi elemento di risposta; discriminato da type.

Un elemento di risposta che rappresenta una richiesta di approvazione per chiamare uno strumento MCP.

Un elemento di risposta che rappresenta una risposta a una richiesta di approvazione MCP.

Un elemento di risposta che rappresenta una chiamata a uno strumento MCP.

Un elemento di risposta che elenca gli strumenti disponibili su un server MCP.

Tipo base per l'elemento del messaggio all'interno di una conversazione.

Base per la configurazione della sessione nella risposta.

Base per tutti i dettagli delle risposte di non successo.

Una parte di contenuto testuale per una risposta.

Un elemento di risposta che rappresenta una chiamata di ricerca web.

Configurazione per il livello di zoom, posizione, rotazione e ampiezza di movimento dell'avatar nel fotogramma video.

Un evento server Voicelive.

Restituito quando viene creato un elemento di conversazione. Esistono diversi scenari che producono questo evento:

• Il server genera una Risposta che, se riuscita, produrrà uno o due Elementi, che saranno di tipo message (ruolo assistant) o function_calldi tipo .
• Il buffer audio di ingresso è stato confermato, sia dal client che dal server (in server_vad modalità). Il server prenderà il contenuto del buffer audio di input e lo aggiungerà a un nuovo messaggio utente Item.
• Il client ha inviato un conversation.item.create evento per aggiungere un nuovo elemento alla conversazione.

Restituito quando un elemento nella conversazione viene eliminato dal cliente con un conversation.item.delete evento. Questo evento viene usato per sincronizzare la comprensione della cronologia delle conversazioni del server con la visualizzazione del client.

Questo evento è l'output della trascrizione audio per l'audio utente scritto nel buffer audio utente. La trascrizione inizia quando il buffer audio di ingresso viene confermato dal client o dal server (in server_vad mode). La trascrizione viene eseguita in modo asincrono con la creazione della Risposta, quindi questo evento può avvenire prima o dopo gli eventi della Risposta. I modelli API VoiceLive accettano l'audio nativamente, e quindi la trascrizione degli input è un processo separato eseguito su un modello ASR (Riconoscimento Vocale Automatico) separato. La trascrizione può divergere un po' dall'interpretazione del modello e dovrebbe essere trattata come una guida approssimativa.

Restituito quando il valore testuale di una parte di trascrizione audio in ingresso viene aggiornato.

Viene restituito quando la trascrizione audio in input è configurata e una richiesta di trascrizione per un messaggio utente è fallita. Questi eventi sono separati dagli altri error eventi in modo che il cliente possa identificare l'Item correlato.

Restituito quando un elemento di conversazione viene recuperato con conversation.item.retrieve.

Restituito quando un precedente messaggio audio dell'assistente viene troncato dal cliente con un conversation.item.truncate evento. Questo evento viene utilizzato per sincronizzare la comprensione audio del server con la riproduzione del client. Questa azione troncherà l'audio e rimuoverà la trascrizione del testo lato server per assicurarsi che non ci sia testo nel contesto che non sia stato ascoltato dall'utente.

Restituito quando si verifica un errore, che può essere un problema del client o del server. La maggior parte degli errori è recuperabile e la sessione rimarrà aperta; raccomandiamo agli implementatori di monitorare e registrare i messaggi di errore di default.

Dettagli dell'errore.

Restituito quando il buffer audio di ingresso viene cancellato dal client con un input_audio_buffer.clear evento.

Restituito quando viene commesso un buffer audio di input, sia dal client che automaticamente in modalità server VAD. La item_id proprietà è l'ID dell'elemento del messaggio utente che verrà creato, quindi conversation.item.created un evento verrà inviato anche al client.

Inviato dal server quando è in server_vad modalità per indicare che il parlato è stato rilevato nel buffer audio. Questo può accadere ogni volta che l'audio viene aggiunto al buffer (a meno che il parlato non sia già rilevato). Il client potrebbe voler utilizzare questo evento per interrompere la riproduzione audio o fornire un feedback visivo all'utente. Il cliente dovrebbe aspettarsi di ricevere un input_audio_buffer.speech_stopped evento quando il discorso si interrompe. La item_id proprietà è l'ID dell'elemento del messaggio utente che verrà creato quando il parlato si interrompe e sarà anch'esso incluso nell'evento input_audio_buffer.speech_stopped (a meno che il client non effettui manualmente il commit del buffer audio durante l'attivazione del VAD).

Ritorna in server_vad modalità quando il server rileva la fine del parlato nel buffer audio. Il server invierà anche un conversation.item.created evento con l'elemento messaggio utente creato dal buffer audio.

Messaggio di Tool di Lista MCP completato.

Messaggio di Tool di Lista MCP fallito.

MCP lista gli strumenti in corso.

Restituito quando il buffer audio di uscita è stato cancellato.

Rappresenta un aggiornamento delta dei frame di animazione blendshape per un output specifico di una risposta.

Indica il completamento dell'elaborazione dell'animazione blendshape per un output specifico di una risposta.

Rappresenta un aggiornamento delta dell'ID visema per animazioni basate sull'audio.

Indica il completamento della consegna dell'animazione del visema per una risposta.

Restituito quando l'audio generato dal modello viene aggiornato.

Restituito quando l'audio generato dal modello è terminato. Viene inoltre emessa quando una Risposta viene interrotta, incompleta o cancellata.

Rappresenta un delta di timestamp audio a livello di parola per una risposta.

Indica il completamento della consegna audio con timestamp per una risposta.

Restituito quando viene aggiunta un'annotazione audio di trascrizione a una risposta.

Restituito quando viene aggiornata la trascrizione generata dal modello dell'uscita audio.

Restituito quando la trascrizione generata dal modello dell'uscita audio è terminata in streaming. Viene inoltre emessa quando una Risposta viene interrotta, incompleta o cancellata.

Restituito quando una nuova parte di contenuto viene aggiunta a un elemento di messaggio assistente durante la generazione della risposta.

Viene restituito quando una parte di contenuto viene trasmessa in un elemento di messaggio assistente. Viene inoltre emessa quando una Risposta viene interrotta, incompleta o cancellata.

Restituito quando viene creata una nuova Risposta. Il primo evento di creazione della risposta, dove la risposta si trova in uno stato iniziale di in_progress.

Restituito quando una Risposta ha finito di essere trasmessa. Sempre emisso, indipendentemente dallo stato finale. L'oggetto Risposta incluso nell'evento response.done includerà tutti gli elementi in uscita nella Risposta ma ometterà i dati audio grezzi.

Restituito quando una chiamata di ricerca file è completata.

Restituito quando è in corso una chiamata di ricerca file.

Restituito quando una chiamata di ricerca file è in fase di ricerca.

Restituito quando gli argomenti delle chiamate di funzione generati dal modello vengono aggiornati.

Restituito quando gli argomenti delle chiamate di funzione generati dal modello hanno terminato di essere trasmessi. Viene inoltre emessa quando una Risposta viene interrotta, incompleta o cancellata.

Rappresenta un aggiornamento delta degli argomenti per una chiamata allo strumento MCP.

Indica il completamento degli argomenti per una chiamata allo strumento MCP.

Indica che la chiamata MCP è completata.

Indica che la chiamata MCP è fallita.

Indica la chiamata MCP in corso.

Restituito quando viene creato un nuovo Oggetto durante la generazione della Risposta.

Restituito quando un oggetto ha finito di essere trasmesso. Viene inoltre emessa quando una Risposta viene interrotta, incompleta o cancellata.

Restituito quando il valore di testo di una parte di contenuto "testo" viene aggiornato.

Restituito quando il valore di testo di una parte di contenuto "testo" termina di essere trasmesso. Viene inoltre emessa quando una Risposta viene interrotta, incompleta o cancellata.

Restituiti quando i dati del frame video avatar vengono trasmessi in streaming.

Restituito quando una chiamata di ricerca web è completata.

Restituito quando è in corso una chiamata di ricerca web.

Restituito quando una chiamata di ricerca web è in fase di ricerca.

Inviato quando il server sta instaurando una connessione media avatar e fornisce la sua risposta SDP.

Ritorna quando l'avatar passa allo stato di inattività.

Ritorna quando l'avatar passa allo stato di parlata.

Restituito quando viene creata una Sessione. Emessa automaticamente quando viene stabilita una nuova connessione come primo evento server. Questo evento conterrà la configurazione predefinita della sessione.

Viene restituito quando una sessione viene aggiornata con un session.update evento, a meno che non ci sia un errore.

Viene restituito quando si verifica un avviso che non interrompe il flusso della conversazione. Gli avvertimenti sono informativi e la sessione continuerà normalmente.

Dettagli dell'avvertimento.

Modello base per il rilevamento delle virate basato su VAD.

Configurazione degli oggetti di sessione VoiceLive.

Informazioni contestuali fornite ai gestori correlati alla sessione

Configurazione per la generazione di risposta intermedia statica. Seleziona casualmente tra i messaggi configurati quando viene soddisfatta qualsiasi condizione di trigger.

Un messaggio di sistema all'interno di una conversazione.

Statistiche generali sull'uso per una risposta.

La rappresentazione base della definizione di uno strumento Voicelive.

La rappresentazione di un voicelive tool_choice la selezione di uno strumento di funzione nominato.

Una rappresentazione di base per un voicelive tool_choice selezionare uno strumento nominato.

Una frase trascritta con informazioni di tempismo.

Una parola con il tempo stampato nella trascrizione.

Unione di livello superiore per la configurazione di rilevamento delle curve.

Un elemento di messaggio utente all'interno di una conversazione.

Definisce un rettangolo di ritaglio video usando coordinate in alto a sinistra e in basso a destra.

Parametri di streaming video per Avatar.

Risoluzione del feed video in pixel.

Oggetto di errore restituito in caso di guasto dell'API.

Risorsa di risposta.

Funzioni handler per gli eventi di sessione VoiceLive che seguono i pattern Azure SDK.

TUTTI i conduttori sono opzionali - implementa solo gli eventi che ti interessano! Ogni gestore riceve dati di evento fortemente tipizzati e informazioni di contesto.

Rappresenta un abbonamento attivo agli eventi della sessione VoiceLive

Specifica i tipi di dati di animazione da generare.
KnownAnimationOutputType può essere usato in modo intercambiabile con AnimationOutputType, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

blendshapes: Blendshapes tipo di output.
viseme_id: Tipo di uscita Viseme ID.

Tipi di timestamp di output supportati nei contenuti di risposta audio.
KnownAudioTimestampType può essere usato in modo intercambiabile con AudioTimestampType, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

Parola: Timestamps per parola nell'audio in uscita.

Tipi di configurazione Avatar
KnownAvatarConfigTypes può essere usato in modo intercambiabile con AvatarConfigTypes, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

video-avatar: Video avatar
foto-avatar: Avatar fotografico

Protocolli di output di configurazione Avatar
KnownAvatarOutputProtocol può essere usato in modo intercambiabile con AvatarOutputProtocol, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

webrtc: protocollo WebRTC, output degli stream audio/video tramite WebRTC
websocket: protocollo WebSocket, output dei fotogrammi video su WebSocket

Unione di tutti i tipi di voce Azure supportati.
KnownAzureVoiceType può essere usato in modo intercambiabile con AzureVoiceType, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

azure-custom: Azure voce personalizzata.
azure-standard: Azure Standard Voice.
azure-personale: Azure voce personale.
avatar-voice-sync: Azure sincronizzazione voce avatar.

Alias for AzureVoiceUnion

Tipi di eventi client utilizzati nel protocollo VoiceLive.
KnownClientEventType può essere usato in modo intercambiabile con ClientEventType, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

session.update
input_audio_buffer.append
input_audio_buffer.commit
input_audio_buffer.clear
input_audio.turn.start
input_audio.turn.append
input_audio.gira.fine
input_audio.turn.cancel
input_audio.chiaro
conversation.item.create
conversation.item.retrieve
conversation.item.truncate
conversation.item.delete
response.create
response.cancel
session.avatar.connect
mcp_approval_response
output_audio_buffer.clear: Richiesta client di cancellare il buffer di output avatar.

Alias per ClientEventUnion

Tipo di ContentPartType

Alias per ContentPartUnion

Alias per ConversationRequestItemUnion

Alias per EouDetectionUnion

Impostazioni a livello di soglia per il rilevamento semantico di fine enunciato di Azure.
KnownEouThresholdLevel può essere usato in modo intercambiabile con EouThresholdLevel, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

basso: Livello di soglia di sensibilità basso.
medio: Livello di soglia di sensibilità medio.
alta: Livello di soglia di sensibilità elevata.
predefinito: livello di soglia di sensibilità predefinito.

Sono supportati i tipi di formato audio in ingresso.
KnownInputAudioFormat può essere usato in modo intercambiabile con InputAudioFormat, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

pcm16: Formato audio PCM a 16 bit alla frequenza di campionamento predefinita (24kHz)
g711_ulaw: formato audio G.711 μ-law (mu-law) a frequenza di campionamento di 8kHz
g711_alaw: Formato audio G.711 A-law a frequenza di campionamento di 8kHz

Unione dei tipi di configurazione di risposta intermedia.

Alias per InterimResponseConfigBaseUnion

Tipi di configurazione di risposta intermedia.
KnownInterimResponseConfigType può essere usato in modo intercambiabile con InterimResponseConfigType, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

static_interim_response: Tipo di configurazione di risposta temporanea statica.
llm_interim_response: Tipo di configurazione di risposta intermedia basata su LLM.

Trigger che possono attivare la generazione di risposte intermedie.
KnownInterimResponseTrigger può essere usato in modo intercambiabile con InterimResponseTrigger, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

Latenza: Attiva la risposta intermedia quando la latenza di risposta supera la soglia.
strumento: Attiva la risposta intermedia quando viene eseguita una chiamata allo strumento.

Indica lo stato di elaborazione di un elemento o parametro.
KnownItemParamStatus può essere usato in modo intercambiabile con ItemParamStatus, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

completato: l'elemento o il parametro è ancora in fase di elaborazione.
incompleto: l'elemento o il parametro non è ancora completo.

Tipo di ItemType

L'insieme disponibile di tipi di approvazione MCP.
KnownMCPApprovalType può essere usato in modo intercambiabile con MCPApprovalType, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

mai: l'approvazione non è mai richiesta.
sempre: è sempre richiesta l'approvazione.

Alias per MessageContentPartUnion

Alias per MessageItemUnion

Tipo di MessaggiRuolo

Modalità supportate per la sessione.
KnownModality può essere usato in modo intercambiabile con Modality, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

testo: Modalità testuale.
audio: modalità audio.
animazione: modalità animazione.
avatar: modalità avatar.

Nomi vocali OpenAI supportati (string enum).
KnownOAIVoice può essere usato in modo intercambiabile con OAIVoice, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

Alloy: Voce di Alloy.
Ash: Voce di Ash.
Ballata: voce di Ballard.
corallo: Voce corallina.
eco: Voce echo.
saggio: Voce saggia.
shimmer: voce scintillante.
versico: Voce in verso.
Marin: Voce di Marin.
Cedar: voce di Cedar.

Sono supportati i tipi di formato audio in uscita.
KnownOutputAudioFormat può essere usato in modo intercambiabile con OutputAudioFormat, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

pcm16: Formato audio PCM a 16 bit alla frequenza di campionamento predefinita (24kHz)
pcm16_8000hz: formato audio PCM a 16 bit a frequenza di campionamento di 8kHz
pcm16_16000hz: formato audio PCM a 16 bit a frequenza di campionamento di 16kHz
g711_ulaw: formato audio G.711 μ-law (mu-law) a frequenza di campionamento di 8kHz
g711_alaw: Formato audio G.711 A-law a frequenza di campionamento di 8kHz

Modelli PersonalVoice
KnownPersonalVoiceModels può essere usato in modo intercambiabile con PersonalVoiceModels, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

DragonLatestNeural: Usa l'ultimo modello di Dragon.
PhoenixLatestNeural: Usa l'ultimo modello Phoenix.
PhoenixV2Neural: Usa il modello Phoenix V2.
DragonHDOmniLatestNeural: Usa l'ultimo modello Dragon HD Omni.
MAI-Voice-1: Usa il modello MAI-Voice-1.

Modalità base dell'avatar fotografico
KnownPhotoAvatarBaseModes può essere usato in modo intercambiabile con PhotoAvatarBaseModes, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

VASA-1: modello VASA-1

Vincola il lavoro sul ragionamento per i modelli di ragionamento. Controlla la documentazione dei modelli per i valori supportati per ciascun modello. La riduzione del lavoro di ragionamento può comportare risposte più veloci e un minor numero di token usati per il ragionamento in una risposta.
KnownReasoningEffort può essere usato in modo intercambiabile con ReasoningEffort, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

nessuno: Nessuno sforzo di ragionamento.
minimo: Minimo sforzo di ragionamento.
basso: Basso sforzo di ragionamento - risposte più rapide con meno ragionamento.
Medio: Sforzo di ragionamento medio - bilanciato tra velocità e profondità di ragionamento.
alta: Alto impegno di ragionamento - ragionamento più approfondito, può richiedere più tempo.
xhigh: Sforzo di ragionamento extra alto - massima profondità di ragionamento.

Specifica il livello di dettaglio di un'immagine. Può essere "auto", "basso", "alto" o un valore futuro sconosciuto.
KnownRequestImageContentPartDetail può essere usato in modo intercambiabile con RequestImageContentPartDetail, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

auto: Seleziona automaticamente un livello di dettaglio appropriato.
Basso: Usa un livello di dettaglio inferiore per ridurre la larghezza di banda o i costi.
Alta: Usa un livello di dettaglio più alto—potenzialmente più risoluto.

Indica lo stato di elaborazione di un articolo di risposta.
KnownResponseItemStatus può essere usato in modo intercambiabile con ResponseItemStatus, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

in_progress: Articolo in corso.
completato: L'articolo è stato completamente elaborato ed è completo.
incompleto: l'articolo è stato elaborato ma è incompleto.

Alias per ResponseItemUnion

Stato terminale di una risposta.
KnownResponseStatus può essere usato in modo intercambiabile con ResponseStatus, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

finito
annullato
non riuscito
incompleto
in_progress

Alias per RispostaStatoDettagli Unione

Tipi di eventi server utilizzati nel protocollo VoiceLive.
KnownServerEventType può essere usato in modo intercambiabile con ServerEventType, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

error
session.avatar.connecting
session.created
session.updated
conversation.item.input_audio_transcription.completed
conversation.item.input_audio_transcription.delta
conversation.item.input_audio_transcription.failed
Elemento della conversazione creato
conversation.item.retrieved
conversation.item.truncated
conversation.item.deleted
input_audio_buffer.committed
input_audio_buffer.cleared
input_audio_buffer.speech_started
input_audio_buffer.speech_stopped
response.created
response.done
response.output_item.added
response.output_item.done
response.content_part.added
response.content_part.done
response.text.delta
response.text.done
response.audio_transcript.delta
response.audio_transcript.done
response.audio.delta
response.audio.done
response.animation_blendshapes.delta
response.animation_blendshapes.done
response.audio_timestamp.delta
response.audio_timestamp.done
response.animation_viseme.delta
response.animation_viseme.done
response.function_call_arguments.delta
response.function_call_arguments.done
mcp_list_tools.in_progress
mcp_list_tools.completed
mcp_list_tools.failed
response.mcp_call_arguments.delta
response.mcp_call_arguments.done
response.mcp_call.in_progress
response.mcp_call.completed
response.mcp_call.failed
session.avatar.switch_to_speaking: L'Avatar passa allo stato di parlata.
session.avatar.switch_to_idle: L'Avatar passa allo stato inattivo.
response.video.delta: Aggiornamento Delta per i fotogrammi video degli avatar.
response.web_search_call.searching: la chiamata di ricerca web è la ricerca.
response.web_search_call.in_progress: Una chiamata di ricerca web è in corso.
response.web_search_call.completato: Chiamata di ricerca web completata.
response.file_search_call.searching: la chiamata di ricerca file sta cercando.
response.file_search_call.in_progress: La chiamata di ricerca file è in corso.
response.file_search_call.completato: Chiamata di ricerca file completata.
output_audio_buffer.cleared: Il buffer audio di uscita è stato cancellato.
response.audio_transcript.annotation.added: Aggiunta dell'annotazione della trascrizione audio.

Alias per ServerEventUnion

Opzioni su quali dati aggiuntivi includere nelle risposte della sessione.
KnownSessionIncludeOption può essere usato in modo intercambiabile con SessionIncludeOption, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

item.input_audio_transcription.logprobs: Includere le probabilità di log per la trascrizione audio in ingresso.
item.input_audio_transcription.frasi: Includere dettagli a livello di frase per la trascrizione audio in ingresso.
file_search_call.results: Includere i risultati della chiamata di ricerca dei file.

Target per una sessione Voice Live, specificando un modello o un agente.

Da usare { model: string } per sessioni centrate sul modello in cui l'LLM è l'attore principale. Da usare { agent: AgentSessionConfig } per sessioni incentrate sull'agente in cui l'agente è l'attore principale.

Example

Sessione centrica sul modello

import { DefaultAzureCredential } from "@azure/identity";
import { VoiceLiveClient } from "@azure/ai-voicelive";

const credential = new DefaultAzureCredential();
const endpoint = "https://your-resource.cognitiveservices.azure.com";
const client = new VoiceLiveClient(endpoint, credential);

const session = client.createSession({ model: "gpt-realtime" });

Example

Sessione incentrata sull'agente

import { DefaultAzureCredential } from "@azure/identity";
import { VoiceLiveClient } from "@azure/ai-voicelive";

const credential = new DefaultAzureCredential();
const endpoint = "https://your-resource.cognitiveservices.azure.com";
const client = new VoiceLiveClient(endpoint, credential);

const session = client.createSession({
  agent: { agentName: "my-agent", projectName: "my-project" },
});

L'insieme combinato di rappresentazioni disponibili per un parametro di tool_choice voicelive, che comprende sia opzioni letterali di stringa come 'auto' sia riferimenti strutturati a strumenti definiti.

L'insieme disponibile di opzioni a livello di modalità, stringa letterali, tool_choice per l'endpoint voicelive.
KnownToolChoiceLiteral può essere usato in modo intercambiabile con ToolChoiceLiteral, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

auto: Specifica che il modello dovrebbe determinare liberamente quale strumento o strumenti, se ce ne sono, chiamare.
nessuno: Specifica che il modello non dovrebbe chiamare alcun strumento.
richiesto: Specifica che il modello deve chiamare almeno uno strumento.

Alias per ToolChoiceSelectionUnion

Gli strumenti supportati sono i discriminatori per gli strumenti voicelive. Attualmente sono supportati solo gli strumenti 'function'.
KnownToolType può essere usato in modo intercambiabile con ToolType, questo enum contiene i valori noti supportati dal servizio.

Valori noti supportati dal servizio

funzione
MCP

Alias per ToolUnion

Tipo di Rilevamento di Virata

Alias per TurnDetectionUnion

Unione di tutte le configurazioni vocali supportate.

Enumerazione dello stato di connessione per la gestione del ciclo di vita

Specifica i tipi di dati di animazione da generare.

Tipi di timestamp di output supportati nei contenuti di risposta audio.

Tipi di configurazione Avatar

Protocolli di output di configurazione Avatar

Unione di tutti i tipi di voce Azure supportati.

Tipi di eventi client utilizzati nel protocollo VoiceLive.

Valori noti di ContentPartType che il servizio accetta.

Impostazioni a livello di soglia per il rilevamento semantico di fine enunciato di Azure.

Sono supportati i tipi di formato audio in ingresso.

Tipi di configurazione di risposta intermedia.

Trigger che possono attivare la generazione di risposte intermedie.

Indica lo stato di elaborazione di un elemento o parametro.

Valori noti di ItemType che il servizio accetta.

L'insieme disponibile di tipi di approvazione MCP.

Valori noti di MessageRole che il servizio accetta.

Modalità supportate per la sessione.

Nomi vocali OpenAI supportati (string enum).

Sono supportati i tipi di formato audio in uscita.

Modelli PersonalVoice

Modalità base dell'avatar fotografico

Vincola il lavoro sul ragionamento per i modelli di ragionamento. Controlla la documentazione dei modelli per i valori supportati per ciascun modello. La riduzione del lavoro di ragionamento può comportare risposte più veloci e un minor numero di token usati per il ragionamento in una risposta.

Specifica il livello di dettaglio di un'immagine. Può essere "auto", "basso", "alto" o un valore futuro sconosciuto.

Indica lo stato di elaborazione di un articolo di risposta.

Stato terminale di una risposta.

Tipi di eventi server utilizzati nel protocollo VoiceLive.

Opzioni su quali dati aggiuntivi includere nelle risposte della sessione.

L'insieme disponibile di opzioni a livello di modalità, stringa letterali, tool_choice per l'endpoint voicelive.

Gli strumenti supportati sono i discriminatori per gli strumenti voicelive. Attualmente sono supportati solo gli strumenti 'function'.

Valori noti di TurnDetectionType che il servizio accetta.

Codici di errore per le operazioni Voice Live WebSocket

Classifica gli errori di connessione

Classifica gli errori del protocollo

Tipizzazione guard per verificare se un SessionTarget specifica una sessione agente.

Tipare guard per verificare se un SessionTarget specifica una sessione modello.

Typeguard per RestError

Tipo di errore personalizzato per le richieste di pipeline non riuscite.