Automatizzare utilizzando gli elementi dell'interfaccia utente

I flussi desktop usano gli elementi dell'interfaccia utente per interagire con le applicazioni e le pagine Web, quindi non è necessario usare il riconoscimento delle immagini o le coordinate assolute. La maggior parte delle azioni di automazione interfaccia utente e automazione del browser usa gli elementi dell'interfaccia utente come input per identificare elementi specifici nelle finestre e nelle pagine Web.

Elementi di interfaccia utente

Quando si distribuisce un'azione di automazione interfaccia utente o di automazione del browser, potrebbe essere necessario fornire un elemento dell'interfaccia utente come input. Per aggiungere un nuovo elemento dell'interfaccia utente, è possibile aggiungerlo direttamente dalle proprietà dell'azione o tramite il riquadro elementi dell'interfaccia utente della finestra di progettazione del flusso.

Ciascuno di questi gruppi di azioni accetta un tipo diverso di elementi dell'interfaccia utente. Le azioni di automazione dell'interfaccia utente accettano elementi dell'interfaccia utente desktop, mentre le azioni di automazione del browser accettano elementi dell'interfaccia utente Web.

Per aggiungere un nuovo elemento dell'interfaccia utente al flusso, aggiungi un nuovo elemento dell'interfaccia utente tramite un'azione o il riquadro degli elementi dell'interfaccia utente, evidenzia il rispettivo elemento e premi CTRL + clic sinistro. Al termine della selezione, seleziona Fatto.

Gli elementi dell'interfaccia utente acquisiti vengono aggiunti al riquadro Elementi di interfaccia utente. Per accedere al riquadro degli elementi dell'interfaccia utente, seleziona la scheda Elementi dell'interfaccia utente sul lato destro della finestra Progettazione flusso.

È possibile ordinare gli elementi in ordine alfabetico tramite l'opzione Ordinamento della scheda Elementi dell'interfaccia utente. Per rimuovere tutti gli elementi dell'interfaccia utente che non vengono usati in alcuna azione, selezionare l'icona dei punti accanto all'opzione Ordina e quindi Rimuovere gli elementi dell'interfaccia utente inutilizzati.

Per rinominare o eliminare un elemento dell'interfaccia utente, fai clic con il pulsante destro del mouse sull'elemento corrispondente e seleziona la funzione appropriata.

Per trovare dove viene usato un elemento dell'interfaccia utente specifico nel flusso, fare clic con il pulsante destro del mouse su di esso e selezionare Trova utilizzi. I risultati visualizzano tutte le azioni che usano questo elemento dell'interfaccia utente. Fai doppio clic su un risultato per evidenziare l'azione nell'area di lavoro.

Tipi di elemento dell'interfaccia utente

I flussi desktop supportano due tipi di elementi dell'interfaccia utente in base alla loro origine: elementi dell'interfaccia utente desktop ed elementi dell'interfaccia utente Web.

È possibile acquisire elementi dell'interfaccia utente desktop da qualsiasi applicazione Windows, inclusi i componenti non della pagina Web dei browser, ad esempio la barra degli indirizzi. All'interno degli elementi dell'interfaccia utente desktop sono supportati tre tipi di selettori:

• selettori Automazione interfaccia utente (UIA)

  UIA è il framework di accessibilità moderno introdotto da Microsoft per sostituire MSAA. È la tecnologia consigliata per automatizzare la maggior parte delle applicazioni Windows, in particolare quelle create con framework dell'interfaccia utente più recenti, ad esempio macchine virtuali Windows, WinForms e Piattaforma UWP (Universal Windows Platform). UIA offre informazioni sugli elementi più complete e dettagliate, strutture gerarchiche migliorate e una maggiore affidabilità negli scenari di automazione.

  Usare i selettori uia quando possibile per ottenere prestazioni, manutenibilità e supporto migliori nelle applicazioni desktop moderne.

• Microsoft Active Accessibility (MSAA) selettori

  MSAA è una tecnologia di accessibilità meno recente che precede UIA. Viene usato principalmente con applicazioni legacy che non espongono elementi UIA, come le applicazioni Windows meno recenti sviluppate con tecnologie come VB6 o la tecnologia Win32 classica. Sebbene MSAA fornisca meno dettagli e struttura rispetto all'interfaccia utente, è essenziale per abilitare l'automazione negli ambienti in cui l'interfaccia utente non è disponibile.

  Usare i selettori MSAA per le applicazioni legacy o predefinite che non espongono i relativi componenti dell'interfaccia utente tramite UIA.

• Selettori non elaborati UIA3

  UIA3 Raw è una modalità di acquisizione avanzata basata su Automazione interfaccia utente che usa il framework UIA3 per accedere all'albero degli elementi dell'interfaccia utente non elaborato e non filtrato. A differenza dei selettori dell'interfaccia utente standard, che si basano su una visualizzazione di controllo perfezionata dell'applicazione, UIA3 Raw espone tutti gli elementi nella gerarchia dell'interfaccia utente, inclusi i componenti intermedi, non interattivi e a livello di framework.

  Questa modalità è particolarmente utile per automatizzare le applicazioni con strutture di interfaccia utente complesse o non standard, ad esempio controlli sottoposti a rendering personalizzato, app basate su Electron o casi in cui gli elementi non sono accessibili tramite selettori dell'interfaccia utente standard. UIA3 Raw può rivelare livelli di gerarchia e proprietà aggiuntivi che non sono altrimenti disponibili, consentendo un targeting più preciso in scenari complessi.

  Usa selettori non elaborati UIA3 quando i selettori uiA non possono acquisire o identificare in modo affidabile gli elementi o quando è necessario un accesso più approfondito alla struttura dell'interfaccia utente dell'applicazione.

La selezione degli elementi dell'interfaccia utente nelle azioni di automazione interfaccia utente consente di acquisire solo gli elementi dell'interfaccia utente desktop. Un menu della modalità di acquisizione nell'angolo superiore destro della selezione consente di selezionare tra le modalità UIA, UIA3 Raw e MSAA. Per impostazione predefinita, il selettore usa UIA, ma è possibile passare a UIA3 Raw per scenari avanzati o a MSAA per automatizzare applicazioni legacy. Un messaggio visibile nella selezione indica quando è attiva una modalità non predefinita.

Il riquadro Elementi dell'interfaccia utente visualizza gli elementi acquisiti, con un indicatore che indica se gli elementi sono stati acquisiti tramite UIA, UIA3 Raw o MSAA. Questo indicatore consente di identificare il tipo di selettore usato per ogni elemento nel flusso.

È possibile acquisire elementi dell'interfaccia utente Web dalle pagine Web e usarli solo nelle azioni di automazione del browser.

Le azioni di automazione del browser accettano esclusivamente elementi di interfaccia utente acquisiti dalle pagine Web. Di conseguenza, la selezione degli elementi dell'interfaccia utente di queste azioni non visualizza gli elementi dell'interfaccia utente esistenti acquisiti dalle applicazioni desktop.

Per altre informazioni sull'automazione desktop e Web, vedere Automatizzare i flussi desktop e Automatizzare i flussi Web.

Elementi dell'interfaccia utente per le pagine Web

Per acquisire un elemento dell'interfaccia utente da una pagina Web, è necessario installare l'estensione del browser appropriata. Per altre informazioni sui browser supportati e sull'estensione necessaria, vedere Usare i browser e gestire le estensioni.

Distinguere il desktop dagli elementi dell'interfaccia utente Web

Il riquadro Elementi dell'interfaccia utente mostra indicazioni visive distintive che consentono di riconoscere rapidamente la differenza tra gli elementi dell'interfaccia utente desktop e Web.

Quando si acquisisce un elemento desktop, viene visualizzata l'icona del desktop. Quando si acquisisce un elemento Web, viene visualizzata l'icona Web. In questo modo, si conferma il tipo di elemento prima di salvarlo.

Un altro metodo per verificare il tipo di un elemento dell'interfaccia utente consiste nel rivedere i suoi selettori. Gli elementi dell'interfaccia utente desktop di solito hanno il desktop come elemento padre, mentre gli elementi dell'interfaccia utente Web hanno una pagina Web come elemento radice.

Elementi dell'interfaccia utente nelle finestre del browser

Automatizzare la parte dell'applicazione di un browser (1) usando gli elementi dell'interfaccia utente desktop. Ad esempio, usare le azioni di automazione interfaccia utente per interagire con la barra degli indirizzi o le schede.

D'altra parte, automatizzare le pagine Web caricate all'interno del browser (2) usando gli elementi dell'interfaccia utente Web e le azioni di automazione del browser.

Durante la registrazione, il registratore distingue automaticamente l'area dell'applicazione del browser dalle pagine Web e genera gli elementi e le azioni appropriati dell'interfaccia utente.

Le interazioni con gli elementi dell'interfaccia utente Web tramite trascinamento potrebbero non funzionare come previsto a causa delle limitazioni intrinseche. Come soluzione alternativa, acquisisci gli elementi dell'interfaccia utente desktop in una pagina Web aprendo il selettore degli elementi dell'interfaccia utente tramite un'azione del gruppo Automazione dell'interfaccia utente selezionando Aggiungi elemento dell'interfaccia utente all'interno del parametro UI element. L'elemento dell'interfaccia utente acquisito è di tipo desktop e può essere utilizzato nell'azione Drag and drop UI element in window. Tenere presente che è possibile usare gli elementi dell'interfaccia utente desktop solo nelle azioni del gruppo di azioni di automazione interfaccia utente di Power Automate per desktop. È importante notare che gli elementi dell'interfaccia utente desktop nelle pagine Web non sono affidabili quanto le loro controparti Web e sono soggetti ai dettagli dell'applicazione del browser, come la versione del browser.

Proprietà degli elementi dell'interfaccia utente

Tutti gli elementi dell'interfaccia utente sono costituiti da uno o più selettori che individuano l'interfaccia utente o il componente Web con cui Power Automate interagisce.

Per gestire i selettori di un elemento dell'interfaccia utente, fai clic con il pulsante destro del mouse sull'elemento e seleziona Modifica. Questa opzione consentirà di visualizzare il generatore di selettore, dove è possibile modificare il selettore con un editor di testo o visivo.

Ogni selettore è costituito da più elementi che rappresentano la struttura gerarchica dell'elemento dell'interfaccia utente nell'applicazione o nella pagina Web. Gli attributi descrivono ciascun elemento in modo univoco e lo distinguono da altri elementi.

Tutti i selettori vengono visualizzati con un nome descrittivo predefinito che li rende facilmente accessibili. Per rinominare un selettore, fai clic con il pulsante destro del mouse sul suo nome e seleziona Rinomina.

Quando modifichi un elemento dell'interfaccia utente con più selettori, puoi disabilitare un selettore facendo clic con il pulsante destro del mouse su di esso e selezionando Disabilita. Questa funzionalità può essere utile durante i test.

Dopo aver modificato i selettori, selezionare Salva per applicare le modifiche. Il salvataggio applica le modifiche a tutti i selettori in un unico passaggio.

Per altre informazioni sui selettori e su come compilarli manualmente, vedere Creare un selettore personalizzato.

Elementi dell'interfaccia utente con selettori basati su testo

Oltre al metodo predefinito per la generazione di selettori per gli elementi dell'interfaccia utente, Power Automate supporta la creazione di selettori in base al valore di testo di un elemento.

Questa funzionalità è utile per scenari di automazione che gestiscono elementi in applicazioni desktop o pagine Web che vengono sempre fornite con testi specifici. I selettori basati su questi testi sono più affidabili e resilienti a possibili futuri cambiamenti nella struttura dell'applicazione o della pagina Web.

È possibile generare selettori basati su testo solo durante l'acquisizione degli elementi dell'interfaccia utente usando la selezione degli elementi dell'interfaccia utente (riquadro elementi dell'interfaccia utente o azioni di automazione del browser/dell'interfaccia utente). Non è possibile generarli durante la registrazione.

Per acquisire un elemento dell'interfaccia utente con un selettore basato su testo, aprire la selezione degli elementi dell'interfaccia utente, fare clic con il pulsante destro del mouse sull'elemento desiderato e selezionare Acquisisci in base al testo.

Viene quindi visualizzata una nuova finestra con due campi sullo schermo:

• Il campo Valore testo contiene il testo dell'elemento come valore proposto. È possibile modificare questo valore in un valore hardcoded o in una variabile.
• È possibile impostare il campo Operatore su vari operatori per regolare la funzionalità del selettore.

Selezionando Acquisisci viene aggiunto l'elemento dell'interfaccia utente con il selettore corretto basato su testo nel repository degli elementi dell'interfaccia utente.

I selettori basati su testo utilizzano l'attributo Nome dell'elemento catturato per l'automazione del desktop e l'attributo Testo per l'automazione del browser. Sono disponibili solo per gli elementi dell'interfaccia utente che contengono essi stessi un valore di testo.

In altre parole, sono disponibili per gli elementi dell'interfaccia utente con un attributo Nome o Testo che include un valore. Non sono disponibili per gli elementi che non presentano un valore di testo di questo tipo, anche se nella loro struttura sono presenti elementi figlio con testo.

Problemi noti e limitazioni

• Se si seleziona Aggiungi elemento dell'interfaccia utente, passare il puntatore del mouse su una finestra e scegliere di acquisire un elemento dell'interfaccia utente in base al testo, il processo genera un selettore predefinito. Questo selettore include l'attributo Process insieme a Name.

• Quando si usa una variabile con un operatore diverso da Uguale a, nell'editor di testo personalizzato viene visualizzato il selettore anziché il generatore di oggetti visivi. Questa funzionalità evita una limitazione che rende la combinazione precedente non funzionale nel generatore di oggetti visivi.