@azure/ai-voicelive package

Classe de erro de autenticação para operações de Voice Live

O cliente VoiceLive oferece gerenciamento de sessões para capacidades de IA conversacional em tempo real.

Esse cliente atua como uma fábrica para criar instâncias VoiceLiveSession, que lidam com as conexões reais do WebSocket e as interações em tempo real com o serviço.

Classe base de erro para operações Voice Live WebSocket

Classe de erro General Voice Live

Classe de erro de protocolo para operações de mensagens de voz Live

Representa uma sessão baseada em WebSocket para comunicação de voz em tempo real com o serviço Azure VoiceLive.

Esta classe gerencia a conexão, lida com comunicação em tempo real e oferece acesso a todos os recursos interativos, incluindo streaming de áudio, gerenciamento de conversas e controle de avatares.

Uma ação de encontrar texto para buscar texto dentro de uma página.

Uma ação de página aberta.

Uma ação de busca na web.

URL de origem de uma ação de busca.

Configuração para o agente.

Configuração para criar uma sessão com um agente como principal ator de IA.

Ao usar uma sessão de agente, a configuração do agente (ferramentas, instruções, temperatura, etc.) é gerenciada no portal Foundry, não no código da sessão.

Configuração para saídas de animação, incluindo metadados de blendshapes e visemas.

Um item de mensagem de assistente dentro de uma conversa.

Configuração de cancelamento de eco para processamento de áudio do lado do servidor.

Configuração para transcrição de áudio de entrada.

Configuração para redução de ruído de áudio de entrada.

Configuração para streaming de avatar e comportamento durante a sessão.

Configuração de sincronização de voz do avatar Azure. Usa síntese de voz pessoal com o personagem avatar.

Configuração personalizada de voz do Azure.

Azure Personal Voice Configuration.

Detecção semântica de fim de enunciado do Azure (padrão).

Detecção semântica de fim de enunciado Azure (otimizado para inglês).

Detecção semântica de fim de enunciação Azure (multilíngue).

Detecção de Fala do Servidor (Azure Semantic VAD, variante padrão).

Detecção de Fala de Servidor (Azure Semantic VAD, apenas em inglês).

Detecção de Fala do Servidor (Azure semantic VAD).

Configuração padrão de voz do Azure.

Base para configurações de voz em Azure.

Define um fundo de vídeo, seja uma cor sólida ou uma URL de imagem (mutuamente exclusiva).

Detalhes do uso do token de saída.

Um evento de cliente voicelive.

Adicione um novo Item ao contexto da Conversa, incluindo mensagens, chamadas de função e respostas de chamadas de função. Esse evento pode ser usado tanto para preencher um "histórico" da conversa quanto para adicionar novos itens no meio do fluxo, mas tem a limitação atual de que não pode preencher mensagens de áudio do assistente. Se for bem-sucedido, o servidor responderá com um conversation.item.created evento, caso contrário, um error evento será enviado.

Envie este evento quando quiser remover qualquer item do histórico de conversas. O servidor responderá com um conversation.item.deleted evento, a menos que o item não exista no histórico da conversa, caso em que o servidor responderá com um erro.

Envie esse evento quando quiser recuperar a representação do servidor de um item específico no histórico de conversas. Isso é útil, por exemplo, para inspecionar o áudio do usuário após cancelamento de ruído e VAD. O servidor responderá com um conversation.item.retrieved evento, a menos que o item não exista no histórico da conversa, caso em que o servidor responderá com um erro.

Envie este evento para truncar o áudio de uma mensagem de assistente anterior. O servidor gera áudio mais rápido que o voicelive, então esse evento é útil quando o usuário interrompe para truncar áudio que já foi enviado ao cliente, mas ainda não foi reproduzido. Isso sincroniza a compreensão do áudio do servidor com a reprodução do cliente. Truncar o áudio apagará a transcrição do texto do lado do servidor para garantir que não haja texto no contexto que não tenha sido ouvido pelo usuário. Se for bem-sucedido, o servidor responderá com um conversation.item.truncated evento.

Envie este evento para adicionar bytes de áudio ao buffer de áudio de entrada. O buffer de áudio é um armazenamento temporário no qual você pode gravar e posteriormente confirmar. No modo VAD do servidor, o buffer de áudio é usado para detectar a fala e o servidor decide quando comprometer. Quando o VAD do servidor é desativado, você deve confirmar manualmente o buffer de áudio.

O cliente pode escolher quanto áudio colocar em cada evento até um máximo de 15 MiB, por exemplo, transmitir pequenos trechos do cliente pode permitir que o VAD seja mais responsivo. Diferente de outros eventos de cliente feitos, o servidor não enviará uma resposta de confirmação para esse evento.

Envie esse evento para limpar os bytes de áudio no buffer. O servidor responderá com um input_audio_buffer.cleared evento.

Envie esse evento para comprometer o buffer de áudio de entrada do usuário, o que criará um novo item de mensagem de usuário na conversa. Esse evento gerará um erro se o buffer de áudio de entrada estiver vazio. Quando está no modo VAD do servidor, o cliente não precisa enviar esse evento, o servidor irá automaticamente comprometer o buffer de áudio. Confirmar o buffer de áudio de entrada aciona a transcrição de áudio de entrada (se ativada na configuração da sessão), mas não gera resposta do modelo. O servidor responderá com um input_audio_buffer.committed evento.

Apaga todo o áudio de entrada que está sendo transmitido.

Adiciona dados de áudio a um turno de entrada em andamento.

Cancela uma entrada de áudio em andamento.

Marca o fim de uma curva de entrada de áudio.

Indica o início de um novo turno de entrada de áudio.

Solicitação do cliente para limpar o buffer de saída do avatar.

Envie este evento para cancelar uma resposta em andamento. O servidor responderá com um response.cancelled evento ou erro se não houver resposta para cancelar.

Esse evento instrui o servidor a criar uma Resposta, o que significa disparar a inferência do modelo. Quando está no modo VAD do servidor, o servidor criará respostas automaticamente. Uma Resposta incluirá pelo menos um item, e pode ter dois, caso em que o segundo será uma chamada de função. Esses itens serão anexados ao histórico da conversa. O servidor responderá com um response.created evento, eventos para itens e conteúdo criados, e finalmente um response.done evento indicando que a resposta foi concluída. O response.create evento inclui a configuração de inferência como instructions, e temperature. Esses campos substituirão a configuração da Sessão apenas para esta Resposta.

Enviado quando o cliente se conecta e fornece seu SDP (Protocolo de Descrição de Sessão)

Para negociação de mídia relacionada a Avatar.

Envie este evento para atualizar a configuração padrão da sessão. O cliente pode enviar esse evento a qualquer momento para atualizar qualquer campo, exceto para voice. No entanto, note que, uma vez que uma sessão foi inicializada com um determinado model, ela não pode ser alterada para outro modelo usando session.update. Quando o servidor recebe um session.update, ele responderá com um session.updated evento mostrando a configuração completa e eficaz. Apenas os campos presentes são atualizados. Para limpar um campo como instructions, passe uma corda vazia.

Argumentos fornecidos quando uma conexão é estabelecida

Informações de contexto fornecidas para os manipuladores relacionados à conexão

Base para qualquer parte de conteúdo; discriminado por type.

O item a ser adicionado à conversa.

Base para qualquer item de resposta; discriminado por type.

Argumentos fornecidos quando uma conexão é perdida

União de nível superior para configuração semântica de detecção no fim da enunciação (EOU).

Argumentos fornecidos quando ocorre um erro

Envelope padrão de resposta de erro.

Uma entrada de resultado de busca de arquivo.

Um item de chamada de função dentro de uma conversa.

Uma função chama um item de saída dentro de uma conversa.

A definição de uma ferramenta de função usada pelo endpoint voicelive.

Configuração do servidor ICE para negociação de conexão WebRTC.

Parte de conteúdo de áudio de entrada.

Parte do conteúdo de texto de entrada.

Detalhes do uso do token de entrada.

Modelo base para configuração de resposta intermediária.

Configuração para geração de resposta intermediária baseada em LLM. Usa LLM para gerar respostas intermediárias conscientes do contexto quando qualquer condição gatilho é atendida.

Uma única entrada logarítmica de probabilidade para um token.

Um item de solicitação que representa uma resposta a uma solicitação de aprovação do MCP.

A definição de servidor MCP conforme usado pelo endpoint voicelive.

Representa uma definição de ferramenta mcp.

Base para qualquer parte de conteúdo de mensagem; discriminado por type.

Um item de mensagem dentro de uma conversa.

Configuração de voz OpenAI com campo de tipo explícito.

Isso fornece uma interface unificada para vozes OpenAI, complementando o OAIVoice já existente baseado em strings para compatibilidade retroativa.

Parte do conteúdo de texto de saída.

Detalhes do uso do token de saída.

Uma parte de conteúdo de áudio para um pedido. Isso é suportado apenas por modelos em tempo real (por exemplo, gpt-tempo real). Para modelos baseados em texto, use input_text em vez disso.

Parte de conteúdo de imagem de entrada.

Base para configuração de sessão compartilhada entre solicitação e resposta.

Uma parte de conteúdo de texto para um pedido.

Uma parte de áudio para uma resposta.

Detalhes de uma resposta cancelada.

Crie uma nova resposta VoiceLive com esses parâmetros

Detalhes de uma resposta fracassada.

Um item de resposta que representa uma chamada de busca de arquivo.

Um item de chamada de função dentro de uma conversa.

Uma função chama um item de saída dentro de uma conversa.

Detalhes para uma resposta incompleta.

Base para qualquer item de resposta; discriminado por type.

Um item de resposta que representa um pedido de aprovação para chamar uma ferramenta MCP.

Um item de resposta que representa uma resposta a uma solicitação de aprovação do MCP.

Um item de resposta que representa uma chamada para uma ferramenta MCP.

Um item de resposta que lista as ferramentas disponíveis em um servidor MCP.

Tipo base para o item da mensagem dentro de uma conversa.

Base para configuração de sessão na resposta.

Base para todos os detalhes de respostas de não sucesso.

Uma parte de conteúdo de texto para uma resposta.

Um item de resposta que representa uma chamada de busca na web.

Configuração para o nível de zoom, posição, rotação e amplitude de movimento do avatar no quadro de vídeo.

Um evento de servidor voicelive.

Devolvido quando um item de conversa é criado. Há vários cenários que produzem este evento:

• O servidor está gerando uma Resposta que, se bem-sucedida, produzirá um ou dois Itens, que serão do tipo message (função assistant) ou do tipo function_call.
• O buffer de áudio de entrada foi comprometido, seja pelo cliente ou pelo servidor (no server_vad modo). O servidor pega o conteúdo do buffer de áudio de entrada e o adiciona a um novo item de mensagem de usuário.
• O cliente enviou um conversation.item.create evento para adicionar um novo item à conversa.

Devolvido quando um item da conversa é excluído pelo cliente com um conversation.item.delete evento. Esse evento é usado para sincronizar a compreensão do servidor sobre o histórico de conversas com a exibição do cliente.

Esse evento é a saída da transcrição de áudio do usuário escrita no buffer de áudio do usuário. A transcrição começa quando o buffer de áudio de entrada é comprometido pelo cliente ou servidor (no server_vad modo). A transcrição roda de forma assíncrona com a criação de Resposta, então esse evento pode ocorrer antes ou depois dos eventos de Resposta. Os modelos da API VoiceLive aceitam áudio nativamente, e assim a transcrição de entrada é um processo separado executado em um modelo ASR (Reconhecimento Automático de Fala) separado. A transcrição pode divergir um pouco da interpretação do modelo e deve ser tratada como um guia aproximado.

Retornado quando o valor de texto de uma parte de conteúdo de transcrição de áudio de entrada é atualizado.

Devolvido quando a transcrição de áudio de entrada é configurada e uma solicitação de transcrição para uma mensagem de usuário falhou. Esses eventos são separados de outros error eventos para que o cliente possa identificar o Item relacionado.

Retornado quando um item de conversa é recuperado com conversation.item.retrieve.

Retornado quando um item de mensagem de áudio anterior do assistente é truncado pelo cliente com um conversation.item.truncate evento. Esse evento é usado para sincronizar a compreensão do áudio pelo servidor com a reprodução do cliente. Essa ação truncará o áudio e removerá a transcrição do texto do lado do servidor para garantir que não haja texto no contexto que não tenha sido ouvido pelo usuário.

Retorna quando ocorre um erro, que pode ser um problema do cliente ou do servidor. A maioria dos erros pode ser recuperada e a sessão permanecerá aberta; recomendamos aos implementadores que monitorem e registrem mensagens de erro por padrão.

Detalhes do erro.

Retornado quando o buffer de áudio de entrada é limpo pelo cliente com um input_audio_buffer.clear evento.

Retornado quando um buffer de áudio de entrada é confirmado, seja pelo cliente ou automaticamente no modo VAD do servidor. A item_id propriedade é o ID do item de mensagem do usuário que será criado, portanto um conversation.item.created evento também será enviado ao cliente.

Enviado pelo servidor quando está em server_vad modo para indicar que a fala foi detectada no buffer de áudio. Isso pode acontecer sempre que áudio for adicionado ao buffer (a menos que a fala já tiver sido detectada). O cliente pode querer usar esse evento para interromper a reprodução de áudio ou fornecer feedback visual ao usuário. O cliente deve esperar receber um input_audio_buffer.speech_stopped evento quando a fala parar. A item_id propriedade é o ID do item de mensagem do usuário que será criado quando a fala parar e também será incluído no input_audio_buffer.speech_stopped evento (a menos que o cliente faça commit manual do buffer de áudio durante a ativação do VAD).

Retorna no server_vad modo quando o servidor detecta o fim da fala no buffer de áudio. O servidor também enviará um conversation.item.created evento com o item de mensagem do usuário criado a partir do buffer de áudio.

Ferramentas de lista MCP concluído a mensagem.

Mensagem de falha nas ferramentas de lista MCP.

Mensagem de lista de ferramentas em andamento do MCP.

Retorna quando o buffer de áudio de saída foi limpo.

Representa uma atualização delta dos quadros de animação blendshape para uma saída específica de uma resposta.

Indica a conclusão do processamento de animação blendshape para uma saída específica de uma resposta.

Representa uma atualização delta do ID do visema para animação baseada em áudio.

Indica a conclusão da entrega da animação do visema para uma resposta.

Retorna quando o áudio gerado pelo modelo é atualizado.

Retornado quando o áudio gerado pelo modelo é concluído. Também é emitido quando uma Resposta é interrompida, incompleta ou cancelada.

Representa um delta de timestamp de áudio em nível de palavra para uma resposta.

Indica a conclusão da entrega do timestamp de áudio para uma resposta.

Retornado quando uma anotação de transcrição de áudio é adicionada a uma resposta.

Retornado quando a transcrição gerada pelo modelo da saída de áudio é atualizada.

Retornado quando a transcrição gerada pelo modelo da saída de áudio é feita em streaming. Também é emitido quando uma Resposta é interrompida, incompleta ou cancelada.

Retornado quando uma nova parte de conteúdo é adicionada a um item de mensagem do assistente durante a geração da resposta.

Retornado quando uma parte de conteúdo termina de ser transmitida em um item de mensagem de assistente. Também é emitido quando uma Resposta é interrompida, incompleta ou cancelada.

Retornado quando uma nova Resposta é criada. O primeiro evento de criação de resposta, onde a resposta está em um estado inicial de in_progress.

Retorna quando uma resposta termina de transmitir. Sempre emitido, não importa o estado final. O objeto Resposta incluído no response.done evento incluirá todos os itens de saída na Resposta, mas omitirá os dados brutos de áudio.

Retornado quando uma chamada de busca de arquivo foi concluída.

Devolvido quando uma chamada de busca de arquivo está em andamento.

Retorna quando uma chamada de busca de arquivo está sendo buscada.

Retornado quando os argumentos de chamada de função gerados pelo modelo são atualizados.

Devolvido quando os argumentos de chamada de função gerados pelo modelo terminam de ser transmitidos. Também é emitido quando uma Resposta é interrompida, incompleta ou cancelada.

Representa uma atualização delta dos argumentos para uma chamada de ferramenta MCP.

Indica a conclusão dos argumentos para uma chamada de ferramenta MCP.

Indica que a chamada MCP foi concluída.

Indica que a chamada MCP falhou.

Indica a chamada MCP em execução.

Devolvido quando um novo Item é criado durante a geração da Resposta.

Devolvido quando um item termina de ser transmitido. Também é emitido quando uma Resposta é interrompida, incompleta ou cancelada.

Retornado quando o valor de texto de uma parte de conteúdo "text" é atualizado.

Retornado quando o valor de texto de uma parte de conteúdo "text" termina de ser transmitido. Também é emitido quando uma Resposta é interrompida, incompleta ou cancelada.

Retornado quando os dados de quadros de vídeo do avatar são transmitidos.

Retornado quando uma chamada de busca na web terminou.

Retornado quando uma chamada de busca na web está em andamento.

Retorna quando uma chamada de busca na web está em busca.

Enviado quando o servidor está no processo de estabelecer uma conexão de mídia avatar e fornece sua resposta SDP.

Retorna quando o avatar muda para o estado ocioso.

Retorna quando o avatar muda para o estado de fala.

Retorna quando uma Sessão é criada. Emitido automaticamente quando uma nova conexão é estabelecida como o primeiro evento do servidor. Este evento conterá a configuração padrão da Sessão.

Retorna quando uma sessão é atualizada com um session.update evento, a menos que haja um erro.

Retornado quando ocorre um aviso que não interrompe o fluxo da conversa. Os avisos são informativos e a sessão continuará normalmente.

Detalhes do aviso.

Modelo base para detecção de curva baseada em VAD.

Configuração de objetos de sessão VoiceLive.

Informações de contexto fornecidas aos manipuladores relacionados à sessão

Configuração para geração de resposta intermédia estática. Seleciona aleatoriamente entre textos configurados quando qualquer condição de gatilho é atendida.

Um item de mensagem do sistema dentro de uma conversa.

Estatísticas gerais de uso para uma resposta.

A representação base de uma definição de ferramenta Voicelive.

A representação de um voicelive tool_choice selecionar uma ferramenta de função nomeada.

Uma representação base para um voicelive tool_choice selecionar uma ferramenta nomeada.

Uma frase transcrita com informações de tempo.

Uma palavra com carimbo de data e hora na transcrição.

União de topo para configuração de detecção de curvas.

Um item de mensagem de usuário dentro de uma conversa.

Define um retângulo de corte de vídeo usando coordenadas no canto superior esquerdo e inferior direito.

Parâmetros de transmissão de vídeo para avatar.

Resolução do feed de vídeo em pixels.

Erro retornado em caso de falha na API.

O recurso de resposta.

Funções de handler para eventos de sessão VoiceLive seguindo padrões de SDK do Azure.

TODOS os manipuladores são opcionais - implemente apenas os eventos que você valoriza! Cada manipulador recebe dados de eventos fortemente tipados e informações de contexto.

Representa uma assinatura ativa dos eventos de sessão VoiceLive

Especifica os tipos de dados de animação a serem produzidos.
KnownAnimationOutputType pode ser usado de forma intercambiável com AnimationOutputType, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

blendshapes: Blendshapes tipo de saída.
viseme_id: Tipo de saída do ID do Viseme.

Tipos de timestamp de saída suportados em conteúdo de resposta de áudio.
KnownAudioTimestampType pode ser usado de forma intercambiável com AudioTimestampType, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

palavra: Carimbos de tempo por palavra no áudio de saída.

Tipos de configuração do avatar
KnownAvatarConfigTypes pode ser usado de forma intercambiável com AvatarConfigTypes, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

video-avatar: Video avatar
foto-avatar: Avatar fotográfico

Protocolos de saída de configuração do Avatar
O KnownAvatarOutputProtocol pode ser usado de forma intercambiável com o AvatarOutputProtocol, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

webrtc: protocolo WebRTC, saída dos fluxos de áudio/vídeo via WebRTC
websocket: protocolo WebSocket, exporta os quadros de vídeo sobre WebSocket

União de todos os tipos de voz Azure suportados.
KnowAzureVoiceType pode ser usado de forma intercambiável com AzureVoiceType, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

azure-custom: Azure voz personalizada.
azure-padrão: Azure voz padrão.
azure-personal: Azure Personal Voice.
avatar-voice-sync: Azure sincronização de voz do avatar.

Alias para AzureVoiceUnion

Tipos de eventos do cliente usados no protocolo VoiceLive.
KnownClientEventType pode ser usado de forma intercambiável com ClientEventType, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

session.update
input_audio_buffer.append
input_audio_buffer.commit
input_audio_buffer.clear
input_audio.turn.start
input_audio.turn.append
input_audio.turn.end
input_audio.turn.cancel
input_audio.limpo
conversation.item.create
conversation.item.retrieve
conversation.item.truncate
conversation.item.delete
response.create
response.cancel
session.avatar.connect
mcp_approval_response
output_audio_buffer.clear: Solicitação do cliente para limpar o buffer de saída do avatar.

Alias para ClientEventUnion

Tipo de ContentPartType

Alias-Nome para ContentPartUnion

Alias para ConversationRequestItemUnion

Alias para EouDetectionUnion

Configurações de nível de limiar para a detecção semântica de fim de enunciação do Azure.
KnownEouThresholdLevel pode ser usado de forma intercambiável com EouThresholdLevel, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

baixo: Nível de limiar de sensibilidade baixo.
Médio: Nível de limiar de sensibilidade média.
alta: Nível de limiar de alta sensibilidade.
padrão: Nível padrão de limiar de sensibilidade.

Formatos de áudio de entrada são suportados.
KnownInputAudioFormat pode ser usado de forma intercambiável com InputAudioFormat, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

pcm16: Formato de áudio PCM de 16 bits na taxa de amostragem padrão (24kHz)
g711_ulaw: Formato de áudio G.711 μ-law (mu-law) com taxa de amostragem de 8kHz
g711_alaw: Formato de áudio G.711 A-law em taxa de amostragem de 8kHz

União de tipos de configuração de resposta intermediária.

Alias para InterimResponseConfigBaseUnion

Tipos de configuração de resposta intermediária.
KnownInterimResponseConfigType pode ser usado de forma intercambiável com InterimResponseConfigType, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

static_interim_response: Tipo de configuração de resposta intermédia estática.
llm_interim_response: Tipo de configuração de resposta interina baseada em LLM.

Gatilhos que podem ativar a geração de resposta intermediária.
KnownInterimResponseTrigger pode ser usado de forma intercambiável com InterimResponseTrigger, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

Latência: Acione a resposta intermediária quando a latência da resposta ultrapassa o limite.
ferramenta: Acionar a resposta intermédia quando uma chamada de ferramenta está sendo executada.

Indica o status de processamento de um item ou parâmetro.
KnownItemParamStatus pode ser usado de forma intercambiável com ItemParamStatus, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

concluído: Item ou parâmetro ainda está sendo processado.
incompleto: Item ou parâmetro ainda não está completo.

Tipo de ItemType

O conjunto disponível de tipos de aprovação MCP.
KnownMCPApprovalType pode ser usado de forma intercambiável com MCPApprovalType, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

nunca: Aprovação nunca é necessária.
sempre: Aprovação é sempre necessária.

Alias-MensagemConteúdoParteUnião

Alias para MessageItemUnion

Tipo de MessageRole

Apoiei as modalidades para a sessão.
KnownModality pode ser usado de forma intercambiável com Modality, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

texto: Modalidade do texto.
áudio: Modalidade de áudio.
animação: Modalidade de animação.
avatar: Modalidade avatar.

Nomes de voz OpenAI suportados (string enum).
KnownOAIVoice pode ser usado de forma intercambiável com OAIVoice, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

liga: Voz de liga.
Ash: Voz de Ash.
Balada: Voz de Ballard.
coral: Voz coral.
eco: Voz do eco.
sábio: Voz sábia.
shimmer: Voz brilhante.
verso: Voz de verso.
Marin: Voz de Marin.
cedar: voz de cedro.

Tipos de formato de áudio de saída são suportados.
KnownOutputAudioFormat pode ser usado de forma intercambiável com OutputAudioFormat, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

pcm16: Formato de áudio PCM de 16 bits na taxa de amostragem padrão (24kHz)
pcm16_8000hz: formato de áudio PCM de 16 bits com taxa de amostragem de 8kHz
pcm16_16000hz: formato de áudio PCM de 16 bits com taxa de amostragem de 16kHz
g711_ulaw: Formato de áudio G.711 μ-law (mu-law) com taxa de amostragem de 8kHz
g711_alaw: Formato de áudio G.711 A-law em taxa de amostragem de 8kHz

Modelos PersonalVoice
KnownPersonalVoiceModels pode ser usado de forma intercambiável com PersonalVoiceModels, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

DragonLatestNeural: Use o modelo mais recente de Dragon.
PhoenixLatestNeural: Use o modelo mais recente do Phoenix.
PhoenixV2Neural: Use o modelo Phoenix V2.
DragonHDOmniLatestNeural: Use o modelo mais recente Dragon HD Omni.
MAI-Voz-1: Use o modelo MAI-Voz-1.

Modos base do avatar fotográfico
KnownPhotoAvatarBaseModes pode ser usado de forma intercambiável com PhotoAvatarBaseModes, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

VASA-1: Modelo VASA-1

Limita o esforço de raciocínio em modelos de raciocínio. Verifique a documentação dos modelos para valores suportados para cada modelo. Reduzir o esforço de raciocínio pode resultar em respostas mais rápidas e menos tokens usados no raciocínio em uma resposta.
KnowReasoningEffort pode ser usado de forma intercambiável com ReasoningEffort, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

nenhum: Nenhum esforço para raciocinar.
mínimo: Esforço mínimo de raciocínio.
baixo: Baixo esforço de raciocínio - respostas mais rápidas com menos razão.
Médio: Esforço médio de raciocínio - equilibrado entre velocidade e profundidade de raciocínio.
alto: Esforço de raciocínio alto - raciocínio mais completo, pode levar mais tempo.
xhigh: Esforço de raciocínio extra alto - máxima profundidade de raciocínio.

Especifica o nível de detalhe de uma imagem. Pode ser 'auto', 'low', 'high' ou um valor futuro desconhecido.
KnownRequestImageContentPartDetail pode ser usado de forma intercambiável com RequestImageContentPartDetail, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

auto: Selecionar automaticamente um nível de detalhe apropriado.
Baixo: Use um nível de detalhe menor para reduzir largura de banda ou custos.
Alta: Use um nível de detalhe mais alto — potencialmente mais intensivo em recursos.

Indica o status de processamento de um item de resposta.
KnownResponseItemStatus pode ser usado de forma intercambiável com ResponseItemStatus, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

in_progress: Item em andamento.
concluído: O item foi totalmente processado e está concluído.
incompleto: Item foi processado, mas está incompleto.

Alias para ResponseItemUnion

Status terminal de uma resposta.
KnownResponseStatus pode ser usado de forma intercambiável com ResponseStatus, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

concluído
Cancelado
falha
incompleto
in_progress

Nome alternativo para RespostaStatusDetalhesUnião

Tipos de eventos de servidor usados no protocolo VoiceLive.
KnownServerEventType pode ser usado de forma intercambiável com ServerEventType, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

error
session.avatar.connecting
session.created
session.updated
conversation.item.input_audio_transcription.completed
conversation.item.input_audio_transcription.delta
conversation.item.input_audio_transcription.failed
conversation.item.created
conversation.item.retrieved
conversation.item.truncated
conversation.item.deleted
input_audio_buffer.committed
input_audio_buffer.cleared
input_audio_buffer.speech_started
input_audio_buffer.speech_stopped
response.created
response.done
response.output_item.added
response.output_item.done
response.content_part.adicionado
response.content_part.done
response.text.delta
response.text.done
response.audio_transcript.delta
response.audio_transcript.done
response.audio.delta
response.audio.done
response.animation_blendshapes.delta
response.animation_blendshapes.done
response.audio_timestamp.delta
response.audio_timestamp.done
response.animation_viseme.delta
response.animation_viseme.done
response.function_call_arguments.delta
response.function_call_arguments.done
mcp_list_tools.in_progress
mcp_list_tools.completed
mcp_list_tools.falhou
response.mcp_call_arguments.delta
response.mcp_call_arguments.done
response.mcp_call.in_progress
response.mcp_call.completed
response.mcp_call.falhou
session.avatar.switch_to_speaking: Avatar muda para o estado de fala.
session.avatar.switch_to_idle: Avatar entra em estado ocioso.
response.video.delta: Atualização Delta para quadros de vídeo avatar.
response.web_search_call.pesquisa: Busca na web chamada é busca.
response.web_search_call.in_progress: A chamada de busca na web está em andamento.
response.web_search_call.concluído: Chamada de busca na web concluída.
response.file_search_call.searching: A chamada de busca de arquivos está buscando.
response.file_search_call.in_progress: Chamada de busca de arquivo está em andamento.
response.file_search_call.completed: Chamada de busca de arquivos concluída.
output_audio_buffer.limpo: O buffer de áudio de saída foi limpo.
response.audio_transcript.annotation.added: Transcrição de áudio adicionada.

Alias para ServerEventUnion

Opções sobre quais dados adicionais incluir nas respostas da sessão.
KnownSessionIncludeOption pode ser usado de forma intercambiável com SessionIncludeOption, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

item.input_audio_transcription.logprobs: Inclua probabilidades logarítmicas para transcrição de áudio de entrada.
item.input_audio_transcription.frases: Inclua detalhes em nível de frase para transcrição de áudio de entrada.
file_search_call.results: Incluir resultados de chamadas de busca de arquivos.

Target para uma sessão Voice Live, especificando um modelo ou um agente.

Use { model: string } para sessões centradas em modelos, onde o LLM é o ator principal. Use { agent: AgentSessionConfig } para sessões centradas no agente, onde o agente é o principal ator.

Exemplo

Sessão centrada no modelo

import { DefaultAzureCredential } from "@azure/identity";
import { VoiceLiveClient } from "@azure/ai-voicelive";

const credential = new DefaultAzureCredential();
const endpoint = "https://your-resource.cognitiveservices.azure.com";
const client = new VoiceLiveClient(endpoint, credential);

const session = client.createSession({ model: "gpt-realtime" });

Exemplo

Sessão centrada no agente

import { DefaultAzureCredential } from "@azure/identity";
import { VoiceLiveClient } from "@azure/ai-voicelive";

const credential = new DefaultAzureCredential();
const endpoint = "https://your-resource.cognitiveservices.azure.com";
const client = new VoiceLiveClient(endpoint, credential);

const session = client.createSession({
  agent: { agentName: "my-agent", projectName: "my-project" },
});

O conjunto combinado de representações disponíveis para um parâmetro de tool_choice voicelive, abrangendo tanto opções literais de string como 'auto' quanto referências estruturadas a ferramentas definidas.

O conjunto disponível de opções literais de tool_choice em nível de modo e string para o endpoint voicelive.
KnownToolChoiceLiteral pode ser usado de forma intercambiável com ToolChoiceLiteral, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

auto: Especifica que o modelo deve decidir livremente qual ferramenta ou ferramentas, se houver, chamar.
nenhum: Especifica que o modelo não deve chamar nenhuma ferramenta.
required: Especifica que o modelo deve chamar pelo menos uma ferramenta.

Alias para ToolChoiceSelectionUnion

Os tipos de ferramentas suportados discriminadores para ferramentas voicelive. Atualmente, há suporte apenas para ferramentas de "função".
KnownToolType pode ser usado de forma intercambiável com ToolType, esse enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos compatíveis com o serviço

função
MCP

Alias para ToolUnion

Tipo de Detecção de Curva

Alias para TurnDetectionUnion

União de todas as configurações de voz suportadas.

Enumeração de estados de conexão para gerenciamento do ciclo de vida

Especifica os tipos de dados de animação a serem produzidos.

Tipos de timestamp de saída suportados em conteúdo de resposta de áudio.

Tipos de configuração do avatar

Protocolos de saída de configuração do Avatar

União de todos os tipos de voz Azure suportados.

Tipos de eventos do cliente usados no protocolo VoiceLive.

Valores conhecidos do ContentPartType que o serviço aceita.

Configurações de nível de limiar para a detecção semântica de fim de enunciação do Azure.

Formatos de áudio de entrada são suportados.

Tipos de configuração de resposta intermediária.

Gatilhos que podem ativar a geração de resposta intermediária.

Indica o status de processamento de um item ou parâmetro.

Valores conhecidos do ItemType que o serviço aceita.

O conjunto disponível de tipos de aprovação MCP.

Valores conhecidos do MessageRole que o serviço aceita.

Apoiei as modalidades para a sessão.

Nomes de voz OpenAI suportados (string enum).

Tipos de formato de áudio de saída são suportados.

Modelos PersonalVoice

Modos base do avatar fotográfico

Limita o esforço de raciocínio em modelos de raciocínio. Verifique a documentação dos modelos para valores suportados para cada modelo. Reduzir o esforço de raciocínio pode resultar em respostas mais rápidas e menos tokens usados no raciocínio em uma resposta.

Especifica o nível de detalhe de uma imagem. Pode ser 'auto', 'low', 'high' ou um valor futuro desconhecido.

Indica o status de processamento de um item de resposta.

Status terminal de uma resposta.

Tipos de eventos de servidor usados no protocolo VoiceLive.

Opções sobre quais dados adicionais incluir nas respostas da sessão.

O conjunto disponível de opções literais de tool_choice em nível de modo e string para o endpoint voicelive.

Os tipos de ferramentas suportados discriminadores para ferramentas voicelive. Atualmente, há suporte apenas para ferramentas de "função".

Valores conhecidos do TurnDetectionType que o serviço aceita.

Códigos de erro para operações Voice Live WebSocket

Classifica erros de conexão

Classifica erros de protocolo

Digite guard para verificar se um SessionTarget especifica uma sessão de agente.

Type guard para verificar se um SessionTarget especifica uma sessão modelo.

Typeguard para RestError

Um tipo de erro personalizado para solicitações de pipeline com falha.