@azure/ai-voicelive package

Classe de erro de autenticação para operações Voice Live

O cliente VoiceLive fornece gestão de sessões para capacidades de IA conversacional em tempo real.

Este cliente atua como uma fábrica para criar instâncias VoiceLiveSession, que gerem as ligações WebSocket reais e as interações em tempo real com o serviço.

Classe base de erro para operações Voice Live WebSocket

Classe de erro General Voice Live

Classe de erro de protocolo para operações de mensagens Voice Live

Representa uma sessão baseada em WebSocket para comunicação de voz em tempo real com o serviço Azure VoiceLive.

Esta classe gere a ligação, gere a comunicação em tempo real e oferece acesso a todas as funcionalidades interativas, incluindo streaming de áudio, gestão de conversas e controlo de avatares.

Uma ação de encontrar texto para pesquisar texto dentro de uma página.

Uma ação de página aberta.

Uma ação de pesquisa na web.

URL de origem de uma ação de pesquisa.

Configuração para o agente.

Configuração para criar uma sessão com um agente como principal ator de IA.

Ao usar uma sessão de agente, a configuração do agente (ferramentas, instruções, temperatura, etc.) é gerida no portal Foundry, não no código da sessão.

Configuração para saídas de animação, incluindo metadados de blendshapes e visemas.

Um item de mensagem de assistente dentro de uma conversa.

Configuração de cancelamento de eco para processamento de áudio do lado do servidor.

Configuração para transcrição de áudio de entrada.

Configuração para redução de ruído de áudio de entrada.

Configuração para streaming de avatares e comportamento durante a sessão.

Configuração de sincronização de voz do Azure Avatar. Usa síntese de voz pessoal com a personagem avatar.

Configuração personalizada de voz do Azure.

Azure Personal Voice Configuration.

Deteção semântica de fim de emissão do Azure (padrão).

Deteção semântica de fim de enunciado Azure (otimizado para inglês).

Deteção semântica de fim de enunciado Azure (multilingue).

Deteção de Fala do Servidor (Azure Semantic VAD, variante predefinida).

Deteção de Fala do Servidor (Azure Semantic VAD, apenas inglês).

Deteção de Fala do Servidor (Azure semantic VAD).

Configuração padrão de voz do Azure.

Base para configurações de voz do Azure.

Define um fundo de vídeo, seja de cor sólida ou URL de imagem (mutuamente exclusivo).

Detalhes do uso do token de saída.

Um evento VoiceLive para clientes.

Adicione um novo Item ao contexto da Conversa, incluindo mensagens, chamadas de função e respostas de chamadas de função. Este evento pode ser usado tanto para preencher um "histórico" da conversa como para adicionar novos itens a meio do fluxo, mas tem a limitação atual de não poder preencher mensagens áudio do assistente. Se for bem-sucedido, o servidor responderá com um conversation.item.created evento, caso contrário um error evento será enviado.

Envie este evento quando quiser remover qualquer item do histórico de conversas. O servidor responderá com um conversation.item.deleted evento, a menos que o item não exista no histórico da conversa, caso em que o servidor responderá com um erro.

Envie este evento quando quiser recuperar a representação do servidor de um item específico no histórico de conversas. Isto é útil, por exemplo, para inspecionar o áudio do utilizador após cancelamento de ruído e VAD. O servidor responderá com um conversation.item.retrieved evento, a menos que o item não exista no histórico da conversa, caso em que o servidor responderá com um erro.

Envie este evento para truncar o áudio de uma mensagem de assistente anterior. O servidor produz áudio mais rápido do que o voicelive, por isso este evento é útil quando o utilizador interrompe para truncar áudio que já foi enviado ao cliente mas ainda não foi reproduzido. Isto sincroniza a compreensão do áudio pelo servidor com a reprodução do cliente. Truncar áudio apaga a transcrição do texto do lado do servidor para garantir que não há texto no contexto que não tenha sido ouvido pelo utilizador. Se for bem-sucedido, o servidor responderá com um conversation.item.truncated evento.

Envie este evento para adicionar bytes de áudio ao buffer de áudio de entrada. O buffer de áudio é um armazenamento temporário no qual você pode gravar e confirmar posteriormente. No modo VAD do servidor, o buffer de áudio é usado para detetar a fala e o servidor decide quando compromete-se. Quando o VAD do servidor está desativado, tem de confirmar manualmente o buffer de áudio.

O cliente pode escolher quanto áudio colocar em cada evento até um máximo de 15 MiB, por exemplo, transmitir pequenos blocos do cliente pode permitir que o VAD seja mais responsivo. Ao contrário de outros eventos de cliente feitos, o servidor não enviará uma resposta de confirmação a este evento.

Envie este evento para limpar os bytes de áudio no buffer. O servidor responde com um input_audio_buffer.cleared evento.

Envie este evento para comprometer o buffer de áudio de entrada do utilizador, o que criará um novo elemento de mensagem de utilizador na conversa. Este evento gerará um erro se o buffer de áudio de entrada estiver vazio. Quando está em modo VAD do Servidor, o cliente não precisa de enviar este evento, o servidor compromete automaticamente o buffer de áudio. Confirmar o buffer de áudio de entrada desencadeia a transcrição de áudio de entrada (se ativada na configuração da sessão), mas não gera resposta do modelo. O servidor responde com um input_audio_buffer.committed evento.

Apaga todo o áudio de entrada que está a ser transmitido.

Adiciona dados de áudio a um turno de entrada em andamento.

Cancela um turno de áudio de entrada em andamento.

Marca o fim de um turno de entrada de áudio.

Indica o início de um novo turno de entrada de áudio.

Pedido do cliente para limpar o buffer de saída do avatar.

Envie este evento para cancelar uma resposta em curso. O servidor responde com um response.cancelled evento ou erro se não houver resposta para cancelar.

Este evento instrui o servidor a criar uma Resposta, o que significa desencadear a inferência do modelo. Quando está em modo VAD do servidor, o servidor cria respostas automaticamente. Uma Resposta incluirá pelo menos um Item, podendo ter dois, caso em que o segundo será uma chamada de função. Estes itens serão anexados ao histórico da conversa. O servidor responde com um response.created evento, eventos para Itens e conteúdos criados, e finalmente um response.done evento para indicar que a Resposta está concluída. O response.create evento inclui a configuração de inferência como instructions, e temperature. Estes campos irão sobrepor a configuração da Sessão apenas para esta Resposta.

Enviado quando o cliente se liga e fornece o seu SDP (Protocolo de Descrição de Sessão)

Para negociação de media relacionada com Avatar.

Envie este evento para atualizar a configuração padrão da sessão. O cliente pode enviar este evento a qualquer momento para atualizar qualquer campo, exceto para voice. No entanto, note-se que, uma vez que uma sessão foi inicializada com um determinado model, não pode ser alterada para outro modelo usando session.update. Quando o servidor recebe um session.update, responde com um session.updated evento que mostra a configuração completa e eficaz. Apenas os campos presentes são atualizados. Para limpar um campo como instructions, passa uma sequência vazia.

Argumentos fornecidos quando uma ligação é estabelecida

Informação de contexto fornecida aos manipuladores relacionados com a ligação

Base para qualquer parte de conteúdo; discriminado por type.

O item a acrescentar à conversa.

Base para qualquer item de resposta; discriminado por type.

Argumentos fornecidos quando uma ligação é perdida

União de topo para configuração semântica de fim de enunciação (EOU).

Argumentos fornecidos quando ocorre um erro

Envelope padrão de resposta ao erro.

Uma entrada de resultados de pesquisa de ficheiro.

Um item de chamada de função dentro de uma conversa.

Uma chamada de função é item de saída dentro de uma conversa.

A definição de uma ferramenta de função tal como usada pelo endpoint voicelive.

Configuração do servidor ICE para negociação de ligação WebRTC.

Parte do conteúdo áudio de entrada.

Parte de conteúdo de texto inserido.

Detalhes da utilização do token de entrada.

Modelo base para configuração de resposta intermédia.

Configuração para geração de resposta intermédia baseada em LLM. Utiliza LLM para gerar respostas intermédias conscientes do contexto quando qualquer condição gatilho é cumprida.

Uma única entrada de probabilidade logarítmica para um token.

Um item de pedido que representa uma resposta a um pedido de aprovação MCP.

A definição de um servidor MCP tal como usado pelo endpoint voicelive.

Representa uma definição de ferramenta mcp.

Base para qualquer parte do conteúdo da mensagem; discriminado por type.

Um item de mensagem dentro de uma conversa.

Configuração de voz OpenAI com campo de tipo explícito.

Isto proporciona uma interface unificada para vozes OpenAI, complementando o OAIVoice já existente baseado em strings para compatibilidade retroativa.

Parte do conteúdo de texto de saída.

Detalhes do uso do token de saída.

Uma parte de conteúdo áudio para um pedido. Isto é suportado apenas por modelos em tempo real (por exemplo, gpt-tempo real). Para modelos baseados em texto, use input_text em vez disso.

Parte do conteúdo da imagem de entrada.

Base para configuração de sessão partilhada entre pedido e resposta.

Uma parte de conteúdo textual para um pedido.

Uma parte de conteúdo áudio para uma resposta.

Detalhes para uma resposta cancelada.

Crie uma nova resposta VoiceLive com estes parâmetros

Detalhes para uma resposta falhada.

Um item de resposta que representa uma chamada de pesquisa de ficheiro.

Um item de chamada de função dentro de uma conversa.

Uma chamada de função é item de saída dentro de uma conversa.

Detalhes para uma resposta incompleta.

Base para qualquer item de resposta; discriminado por type.

Um item de resposta que representa um pedido de aprovação para chamar uma ferramenta MCP.

Um item de resposta que representa uma resposta a um pedido de aprovação do MCP.

Um item de resposta que representa uma chamada para uma ferramenta MCP.

Um item de resposta que lista as ferramentas disponíveis num servidor MCP.

Tipo base para o item da mensagem dentro de uma conversa.

Base para a configuração da sessão na resposta.

Base para todos os detalhes das respostas não bem-sucedidas.

Uma parte de conteúdo textual para uma resposta.

Um item de resposta que representa uma chamada de pesquisa na web.

Configuração para o nível de zoom, posição, rotação e amplitude de movimento do avatar no quadro de vídeo.

Um evento de servidor voicelive.

Devolvido quando um item de conversa é criado. Existem vários cenários que produzem este evento:

• O servidor está a gerar uma Resposta que, se bem-sucedida, produzirá um ou dois Itens, que serão do tipo message (papel assistant) ou do tipo function_call.
• O buffer de áudio de entrada foi comprometido, seja pelo cliente ou pelo servidor (em server_vad modo). O servidor recolhe o conteúdo do buffer de áudio de entrada e adiciona-o a um novo item de mensagem de utilizador.
• O cliente enviou um conversation.item.create evento para adicionar um novo Item à Conversa.

Devolvido quando um elemento da conversa é eliminado pelo cliente com um conversation.item.delete evento. Este evento é usado para sincronizar a compreensão do histórico de conversas pelo servidor com a visão do cliente.

Este evento é a saída da transcrição áudio para áudio do utilizador escrita no buffer de áudio do utilizador. A transcrição começa quando o buffer de áudio de entrada é comprometido pelo cliente ou servidor (em server_vad modo). A transcrição corre de forma assíncrona com a criação de Resposta, pelo que este evento pode ocorrer antes ou depois dos eventos de Resposta. Os modelos da API VoiceLive aceitam áudio nativamente, pelo que a transcrição de entrada é um processo separado executado num modelo ASR (Reconhecimento Automático de Fala) distinto. A transcrição pode divergir um pouco da interpretação do modelo e deve ser tratada como um guia aproximado.

Devolvido quando o valor de texto de uma parte de conteúdo de transcrição áudio de entrada é atualizado.

Devolvido quando a transcrição áudio de entrada é configurada e um pedido de transcrição para uma mensagem de utilizador falha. Estes eventos são separados de outros error eventos para que o cliente possa identificar o Item relacionado.

Devolvido quando um item de conversa é recuperado com conversation.item.retrieve.

Devolvido quando um item de mensagem áudio de assistente anterior é truncado pelo cliente com um conversation.item.truncate evento. Este evento é usado para sincronizar a compreensão do áudio pelo servidor com a reprodução do cliente. Esta ação trunca o áudio e remove a transcrição do texto do lado do servidor para garantir que não há texto no contexto que não tenha sido ouvido pelo utilizador.

É devolvido quando ocorre um erro, que pode ser um problema do cliente ou do servidor. A maioria dos erros é recuperável e a sessão permanecerá aberta; recomendamos aos implementadores que monitorizem e gravem as mensagens de erro por defeito.

Detalhes do erro.

Devolvido quando o buffer de áudio de entrada é apagado pelo cliente com um input_audio_buffer.clear evento.

Devolvido quando um buffer de áudio de entrada é confirmado, seja pelo cliente ou automaticamente em modo VAD do servidor. A item_id propriedade é o ID do item de mensagem do utilizador que será criado, pelo que um conversation.item.created evento também será enviado ao cliente.

Enviado pelo servidor quando está em server_vad modo para indicar que a fala foi detetada no buffer de áudio. Isto pode acontecer sempre que o áudio é adicionado ao buffer (a menos que a fala já seja detetada). O cliente pode querer usar este evento para interromper a reprodução de áudio ou fornecer feedback visual ao utilizador. O cliente deve esperar receber um input_audio_buffer.speech_stopped evento quando a fala cessar. A item_id propriedade é o ID do item de mensagem do utilizador que será criado quando a fala parar e também será incluído no input_audio_buffer.speech_stopped evento (a menos que o cliente faça commit manual do buffer de áudio durante a ativação do VAD).

Devolvido em server_vad modo quando o servidor deteta o fim da fala no buffer de áudio. O servidor também enviará um conversation.item.created evento com o item de mensagem do utilizador criado a partir do buffer de áudio.

Mensagem de listas MCP concluídas.

Mensagem de ferramentas de lista MCP falhadas.

MCP lista ferramentas em progresso.

Retorna quando o buffer de áudio de saída foi limpo.

Representa uma atualização delta dos frames de animação do blendshape para um resultado específico de uma resposta.

Indica a conclusão do processamento de animação blendshape para uma saída específica de uma resposta.

Representa uma atualização delta do ID do visema para animação baseada em áudio.

Indica a conclusão da entrega da animação do visema para uma resposta.

Devolvido quando o áudio gerado pelo modelo é atualizado.

Devolvido quando o áudio gerado pelo modelo está concluído. Também é emitido quando uma Resposta é interrompida, incompleta ou cancelada.

Representa um delta de carimbo temporal ao nível da palavra para uma resposta.

Indica a conclusão da entrega de timestamp de áudio para uma resposta.

Devolvido quando uma anotação de transcrição áudio é adicionada a uma resposta.

Devolvido quando a transcrição gerada pelo modelo da saída de áudio é atualizada.

Devolvido quando a transcrição gerada pelo modelo da saída de áudio termina de ser transmitida. Também é emitido quando uma Resposta é interrompida, incompleta ou cancelada.

Devolvido quando uma nova parte de conteúdo é adicionada a um item de mensagem de assistente durante a geração de respostas.

Devolvido quando uma parte de conteúdo termina de ser transmitida numa mensagem de assistente. Também é emitido quando uma Resposta é interrompida, incompleta ou cancelada.

Devolvido quando uma nova Resposta é criada. O primeiro evento de criação da resposta, onde a resposta está num estado inicial de in_progress.

Devolvido quando uma resposta termina de ser transmitida. Sempre emitido, independentemente do estado final. O objeto Resposta incluído no response.done evento incluirá todos os itens de saída na Resposta, mas omitirá os dados de áudio brutos.

Devolvido quando uma chamada de pesquisa de ficheiros termina.

Devolvido quando uma chamada de pesquisa de ficheiros está em andamento.

Devolvido quando uma chamada de pesquisa de ficheiros está a ser procurada.

Devolvido quando os argumentos de chamada de função gerados pelo modelo são atualizados.

Devolvido quando os argumentos da chamada de função gerados pelo modelo terminam de ser transmitidos. Também é emitido quando uma Resposta é interrompida, incompleta ou cancelada.

Representa uma atualização delta dos argumentos para uma chamada de ferramenta MCP.

Indica a conclusão dos argumentos para uma chamada de ferramenta MCP.

Indica que a chamada MCP foi concluída.

Indica que a chamada do MCP falhou.

Indica a chamada MCP a decorrer.

Devolvido quando um novo Item é criado durante a geração da Resposta.

Devolvido quando um item termina de ser transmitido. Também é emitido quando uma Resposta é interrompida, incompleta ou cancelada.

Devolvido quando o valor de texto de uma parte de conteúdo "text" é atualizado.

Devolvido quando o valor de texto de uma parte de conteúdo "text" termina de ser transmitido. Também é emitido quando uma Resposta é interrompida, incompleta ou cancelada.

É devolvido quando os dados do frame de vídeo do avatar são transmitidos.

Retorna quando uma chamada de pesquisa web termina.

Devolvido quando uma chamada de pesquisa na web está em curso.

Devolvidos quando uma chamada de pesquisa na web está a pesquisar.

Enviado quando o servidor está a estabelecer uma ligação de media avatar e fornece a sua resposta SDP.

Retorna quando o avatar muda para estado inativo.

Devolvido quando o avatar muda para o estado de fala.

Devolvido quando uma Sessão é criada. Emitido automaticamente quando uma nova ligação é estabelecida como o primeiro evento do servidor. Este evento conterá a configuração padrão da Sessão.

Devolvido quando uma sessão é atualizada com um session.update evento, a menos que haja um erro.

É devolvida quando ocorre um aviso que não interrompe o fluxo da conversa. Os avisos são informativos e a sessão continuará normalmente.

Detalhes do aviso.

Modelo base para deteção de curvas baseada em VAD.

Configuração de objetos de sessão VoiceLive.

Informação de contexto fornecida aos handlers relacionados com sessões

Configuração para geração de resposta intermédia estática. Seleciona aleatoriamente entre textos configurados quando qualquer condição de gatilho é cumprida.

Um item de mensagem do sistema dentro de uma conversa.

Estatísticas gerais de utilização para uma resposta.

A representação base da definição de uma ferramenta voicelive.

A representação de um voicelive tool_choice selecionar uma ferramenta de função nomeada.

Uma representação base para um voicelive tool_choice selecionar uma ferramenta nomeada.

Uma frase transcrita com informação de tempo.

Uma palavra com carimbo temporal na transcrição.

União de topo para configuração de deteção de curvas.

Um item de mensagem de utilizador dentro de uma conversa.

Define um retângulo de corte de vídeo usando coordenadas no canto superior esquerdo e inferior direito.

Parâmetros de streaming de vídeo para avatar.

Resolução do feed de vídeo em pixels.

Objeto de erro devolvido em caso de falha da API.

O recurso de resposta.

Funções de handler para eventos de sessão VoiceLive seguindo padrões SDK do Azure.

TODOS os manipuladores são opcionais – implementa apenas os eventos que te interessam! Cada handler recebe dados de eventos fortemente tipados e informações de contexto.

Representa uma subscrição ativa dos eventos de sessão VoiceLive

Especifica os tipos de dados de animação a produzir.
KnownAnimationOutputType pode ser usado de forma intercambiável com AnimationOutputType, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

blendshapes: Blendshapes tipo de saída.
viseme_id: Tipo de saída do ID Viseme.

Tipos de carimbo temporal de saída suportados em conteúdos de resposta áudio.
KnownAudioTimestampType pode ser usado de forma intercambiável com AudioTimestampType, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

palavra: Carimbos temporais por palavra no áudio de saída.

Tipos de configuração do avatar
KnowAvatarConfigTypes pode ser usado de forma intercambiável com AvatarConfigTypes, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

video-avatar: Video avatar
foto-avatar: Foto-avatar

Protocolos de saída de configuração do Avatar
O KnownAvatarOutputProtocol pode ser usado de forma intercambiável com o AvatarOutputProtocol, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

webrtc: protocolo WebRTC, emite os fluxos de áudio/vídeo via WebRTC
websocket: protocolo WebSocket, gera os frames de vídeo sobre WebSocket

União de todos os tipos de voz Azure suportados.
KnowAzureVoiceType pode ser usado de forma intercambiável com AzureVoiceType, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

azure-custom: Azure voz personalizada.
azure-padrão: Azure voz padrão.
azure-personal: Azure voz pessoal.
avatar-voice-sync: Azure sincronização de voz do avatar.

Alias for AzureVoiceUnion

Tipos de eventos do cliente usados no protocolo VoiceLive.
KnowClientEventType pode ser usado de forma intercambiável com ClientEventType, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

session.update
input_audio_buffer.append
input_audio_buffer.Commit
input_audio_buffer.clear
input_audio.turn.start
input_audio.turn.append
input_audio.vira.fim
input_audio.turn.cancel
input_audio.limpo
conversa.item.create
conversa.item.retrieve
conversation.item.truncate
conversa.item.delete
resposta.criar
resposta.cancelar
sessão.avatar.connect
mcp_approval_response
output_audio_buffer.clear: Pedido do cliente para limpar o buffer de saída do avatar.

Alias para ClientEventUnion

Tipo de ContentPartType

Pseudónimo para ContentPartUnion

Alias para ConversationRequestItemIntervention

Alias para EouDetectionUnion

Definições ao nível de limiar para a deteção semântica de fim de enunciação em Azure.
KnownEouThresholdLevel pode ser usado de forma intercambiável com EouThresholdLevel, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

baixo: Nível de limiar de sensibilidade baixo.
Médio: Nível de limiar de sensibilidade médio.
alto: Nível de limiar de sensibilidade elevado.
padrão: Nível de limiar de sensibilidade por defeito.

Formatos de áudio de entrada são suportados.
KnowInputAudioFormat pode ser usado de forma intercambiável com InputAudioFormat, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

pcm16: Formato de áudio PCM de 16 bits na taxa de amostragem padrão (24kHz)
g711_ulaw: Formato áudio G.711 μ-law (mu-law) a taxa de amostragem de 8kHz
g711_alaw: Formato de áudio G.711 A-law a taxa de amostragem de 8kHz

União de tipos de configuração de resposta intermédia.

Alias para InterimResponseConfigBaseUnion

Tipos de configuração de resposta intermédia.
KnowInterimResponseConfigType pode ser usado de forma intercambiável com InterimResponseConfigType, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

static_interim_response: Tipo de configuração de resposta intermédia estática.
llm_interim_response: Tipo de configuração de resposta intermédia baseada em LLM.

Gatilhos que podem ativar a geração de respostas intermédias.
KnowInterimResponseTrigger pode ser usado de forma intercambiável com InterimResponseTrigger, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

Latência: Desencadeia a resposta intermédia quando a latência de resposta ultrapassa o limiar.
ferramenta: Acionar a resposta intermédia quando uma chamada de ferramenta está a ser executada.

Indica o estado de processamento de um item ou parâmetro.
KnownItemParamStatus pode ser usado de forma intercambiável com ItemParamStatus, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

concluído: Item ou parâmetro ainda está a ser processado.
incompleto: Item ou parâmetro ainda não está completo.

Tipo de ItemType

O conjunto disponível de tipos de aprovação MCP.
O KnownMCPApprovalType pode ser usado de forma intercambiável com o MCPApprovalType, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

nunca: Nunca é necessária aprovação.
sempre: Aprovação é sempre necessária.

Alias para MessageContentPartUnion

Pseudónimo para MessageItemUnion

Tipo de Mensagem Papel

Modalidades apoiadas para a sessão.
KnownModality pode ser usado de forma intercambiável com Modality, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

texto: Modalidade textual.
áudio: Modalidade áudio.
animação: Modalidade de animação.
avatar: Modalidade avatar.

Nomes de voz OpenAI suportados (string enum).
KnownOAIVoice pode ser usado de forma intercambiável com OAIVoice, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

liga: Voz de liga.
Ash: Voz de Ash.
Balada: Voz de Ballard.
coral: Voz coral.
eco: Voz do eco.
sábio: Voz sábia.
shimmer: Voz cintilante.
verso: Voz de verso.
Marin: Voz da Marin.
Cedar: Voz de Cedar.

Tipos de formato de áudio de saída são suportados.
KnowOutputAudioFormat pode ser usado de forma intercambiável com OutputAudioFormat, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

pcm16: Formato de áudio PCM de 16 bits na taxa de amostragem padrão (24kHz)
pcm16_8000hz: formato de áudio PCM de 16 bits a uma taxa de amostragem de 8kHz
pcm16_16000hz: Formato de áudio PCM de 16 bits a taxa de amostragem de 16kHz
g711_ulaw: Formato áudio G.711 μ-law (mu-law) a taxa de amostragem de 8kHz
g711_alaw: Formato de áudio G.711 A-law a taxa de amostragem de 8kHz

Modelos PersonalVoice
O KnownPersonalVoiceModels pode ser usado de forma intercambiável com o PersonalVoiceModels, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

DragonLatestNeural: Usa o modelo mais recente da Dragon.
PhoenixLatestNeural: Use o modelo mais recente da Phoenix.
PhoenixV2Neural: Use o modelo Phoenix V2.
DragonHDOmniLatestNeural: Use o modelo mais recente Dragon HD Omni.
MAI-Voz-1: Use o modelo MAI-Voz-1.

Modos base do avatar fotográfico
KnownPhotoAvatarBaseModes pode ser usado de forma intercambiável com PhotoAvatarBaseModes, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

VASA-1: Modelo VASA-1

Limita o esforço de raciocínio para modelos de raciocínio. Verifique a documentação dos modelos para valores suportados para cada modelo. Reduzir o esforço de raciocínio pode resultar em respostas mais rápidas e menos tokens usados no raciocínio em uma resposta.
KnowReasoningEffort pode ser usado de forma intercambiável com ReasoningEffort, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

nenhum: Sem esforço de raciocínio.
mínimo: Esforço mínimo de raciocínio.
baixo: Baixo esforço de raciocínio - respostas mais rápidas com menos razão.
Médio: Esforço de raciocínio médio - equilibrado entre velocidade e profundidade de raciocínio.
alto: Esforço de raciocínio elevado - raciocínio mais aprofundado, pode demorar mais.
xhigh: Esforço de raciocínio extra elevado - máxima profundidade de raciocínio.

Especifica o nível de detalhe de uma imagem. Pode ser 'auto', 'baixo', 'alto' ou um valor futuro desconhecido.
KnowRequestImageContentPartDetail pode ser usado de forma intercambiável com RequestImageContentPartDetail, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

auto: Selecionar automaticamente um nível de detalhe apropriado.
baixo: Use um nível de detalhe mais baixo para reduzir a largura de banda ou custos.
Alta: Use um nível de detalhe mais elevado — potencialmente mais intensivo em recursos.

Indica o estado de processamento de um item de resposta.
KnownResponseItemStatus pode ser usado de forma intercambiável com ResponseItemStatus, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

in_progress: Item em progresso.
concluído: O item foi totalmente processado e está concluído.
incompleto: O item foi processado mas está incompleto.

Alias para ResponseItemUnion

Estado terminal de uma resposta.
KnownResponseStatus pode ser usado de forma intercambiável com ResponseStatus, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

concluído
cancelado
falhou
incompleto
in_progress

Pseudónimo de RespostaEstadoEstadoDetalhesUnião

Tipos de eventos de servidor usados no protocolo VoiceLive.
KnownServerEventType pode ser usado de forma intercambiável com ServerEventType, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

error
session.avatar.conectando
sessão.criado
session.updated
conversation.item.input_audio_transcription.concluída
conversation.item.input_audio_transcription.delta
conversation.item.input_audio_transcription.falhou
conversação.item.criado
conversation.item.recuperado
conversation.item.truncado
conversa.item.deleted
input_audio_buffer.Comprometido
input_audio_buffer.limpo
input_audio_buffer.speech_iniciado
input_audio_buffer.speech_parou
response.created
resposta.feito
response.output_item.added
response.output_item feito
response.content_part.adicionado
response.content_part.feito
resposta.text.delta
response.text.done
response.audio_transcript.delta
response.audio_transcript.feito
resposta.audio.delta
resposta.audio.done
response.animation_blendshapes.delta
response.animation_blendshapes.feito
response.audio_timestamp.delta
response.audio_timestamp.feito
response.animation_viseme.delta
response.animation_viseme.feito
response.function_call_arguments.delta
response.function_call_arguments.feito
mcp_list_tools.in_progress
mcp_list_tools.concluído
mcp_list_tools.falhou
response.mcp_call_arguments.delta
response.mcp_call_arguments feito
response.mcp_call.in_progress
response.mcp_call.concluído
response.mcp_call.falhou
session.avatar.switch_to_speaking: O Avatar muda para o estado de fala.
session.avatar.switch_to_idle: O Avatar passa para o estado de inatividade.
response.video.delta: Atualização Delta para os frames de vídeo dos avatares.
response.web_search_call.pesquisa: Chamada de pesquisa na web é pesquisa.
response.web_search_call.in_progress: A chamada de pesquisa web está em curso.
response.web_search_call.concluído: Chamada de pesquisa web concluída.
response.file_search_call.searching: A chamada de pesquisa de ficheiros está a pesquisar.
response.file_search_call.in_progress: A chamada de pesquisa de ficheiros está em andamento.
response.file_search_call.completed: Chamada de pesquisa de ficheiros concluída.
output_audio_buffer.cleared: O buffer de áudio de saída foi limpo.
response.audio_transcript.annotation.added: Anotação de transcrição áudio adicionada.

Alias para ServerEventUnion

Opções sobre que dados adicionais incluir nas respostas da sessão.
KnownSessionIncludeOption pode ser usado de forma intercambiável com SessionIncludeOption, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

item.input_audio_transcription.logprobs: Incluir probabilidades de registo para transcrição áudio de entrada.
item.input_audio_transcription.frases: Inclua detalhes ao nível da frase para transcrição áudio de entrada.
file_search_call.results: Incluir resultados de chamadas de pesquisa de ficheiros.

Target para uma sessão Voice Live, especificando um modelo ou um agente.

Use { model: string } para sessões centradas no modelo onde o LLM é o ator principal. Use { agent: AgentSessionConfig } para sessões centradas no agente, onde o agente é o ator principal.

Example

Sessão centrada no modelo

import { DefaultAzureCredential } from "@azure/identity";
import { VoiceLiveClient } from "@azure/ai-voicelive";

const credential = new DefaultAzureCredential();
const endpoint = "https://your-resource.cognitiveservices.azure.com";
const client = new VoiceLiveClient(endpoint, credential);

const session = client.createSession({ model: "gpt-realtime" });

Example

Sessão centrada no agente

import { DefaultAzureCredential } from "@azure/identity";
import { VoiceLiveClient } from "@azure/ai-voicelive";

const credential = new DefaultAzureCredential();
const endpoint = "https://your-resource.cognitiveservices.azure.com";
const client = new VoiceLiveClient(endpoint, credential);

const session = client.createSession({
  agent: { agentName: "my-agent", projectName: "my-project" },
});

O conjunto combinado de representações disponíveis para um parâmetro de tool_choice voicelive, abrangendo tanto opções literais de string como 'auto' como referências estruturadas a ferramentas definidas.

O conjunto disponível de opções de tool_choice literais ao nível de modo e string para o endpoint voicelive.
KnownToolChoiceLiteral pode ser usado de forma intercambiável com ToolChoiceLiteral, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

auto: Especifica que o modelo deve decidir livremente qual ou quais as ferramentas, se algumas, chamar.
nenhum: Especifica que o modelo não deve chamar nenhuma ferramenta.
obrigatório: Especifica que o modelo deve chamar pelo menos uma ferramenta.

Alias para ToolChoiceSelectionUnion

Os discriminadores de tipo de ferramenta suportados para ferramentas voicelive. Atualmente, apenas ferramentas de 'funcional' são suportadas.
O KnowToolType pode ser usado de forma intercambiável com o ToolType, este enum contém os valores conhecidos que o serviço suporta.

Valores conhecidos suportados pelo serviço

função
MCP

Alias para ToolUnion

Tipo de Detecção de CurvaTipo

Alias para TurnDetectionUnion

União de todas as configurações de voz suportadas.

Enumeração de estados de ligação para gestão do ciclo de vida

Especifica os tipos de dados de animação a produzir.

Tipos de carimbo temporal de saída suportados em conteúdos de resposta áudio.

Tipos de configuração do avatar

Protocolos de saída de configuração do Avatar

União de todos os tipos de voz Azure suportados.

Tipos de eventos do cliente usados no protocolo VoiceLive.

Valores conhecidos do ContentPartType que o serviço aceita.

Definições ao nível de limiar para a deteção semântica de fim de enunciação em Azure.

Formatos de áudio de entrada são suportados.

Tipos de configuração de resposta intermédia.

Gatilhos que podem ativar a geração de respostas intermédias.

Indica o estado de processamento de um item ou parâmetro.

Valores conhecidos do ItemType que o serviço aceita.

O conjunto disponível de tipos de aprovação MCP.

Valores conhecidos do MessageRole que o serviço aceita.

Modalidades apoiadas para a sessão.

Nomes de voz OpenAI suportados (string enum).

Tipos de formato de áudio de saída são suportados.

Modelos PersonalVoice

Modos base do avatar fotográfico

Limita o esforço de raciocínio para modelos de raciocínio. Verifique a documentação dos modelos para valores suportados para cada modelo. Reduzir o esforço de raciocínio pode resultar em respostas mais rápidas e menos tokens usados no raciocínio em uma resposta.

Especifica o nível de detalhe de uma imagem. Pode ser 'auto', 'baixo', 'alto' ou um valor futuro desconhecido.

Indica o estado de processamento de um item de resposta.

Estado terminal de uma resposta.

Tipos de eventos de servidor usados no protocolo VoiceLive.

Opções sobre que dados adicionais incluir nas respostas da sessão.

O conjunto disponível de opções de tool_choice literais ao nível de modo e string para o endpoint voicelive.

Os discriminadores de tipo de ferramenta suportados para ferramentas voicelive. Atualmente, apenas ferramentas de 'funcional' são suportadas.

Valores conhecidos do TurnDetectionType que o serviço aceita.

Códigos de erro para operações Voice Live WebSocket

Classifica erros de ligação

Classifica erros de protocolo

Escreve guard para verificar se um SessionTarget especifica uma sessão agente.

Type guard para verificar se um SessionTarget especifica uma sessão de modelo.

Typeguard para RestError

Um tipo de erro personalizado para solicitações de pipeline com falha.