Mithilfe von UI-Elementen automatisieren

Desktopflows verwenden UI-Elemente, um mit Anwendungen und Webseiten zu interagieren, sodass sie keine Bilderkennung oder absoluten Koordinaten benötigen. Die meisten Benutzeroberflächenautomatisierungs- und Browserautomatisierungsaktionen verwenden UI-Elemente als Eingabe, um bestimmte Elemente in Fenstern und Webseiten zu identifizieren.

UI-Elemente

Wenn Sie eine Benutzeroberflächenautomatisierungs- oder Browserautomatisierungsaktion bereitstellen, müssen Sie möglicherweise ein UI-Element als Eingabe bereitstellen. Um ein neues UI-Element hinzuzufügen, können Sie es direkt in den Aktionseigenschaften oder über den Bereich „UI-Elemente“ des Flow-Designers hinzufügen.

Jede dieser Aktionsgruppen akzeptiert einen anderen Benutzeroberflächenelementtyp. Benutzeroberflächenautomatisierungsaktionen akzeptieren Desktop-UI-Elemente, während Browserautomatisierungsaktionen Web-UI-Elemente akzeptieren.

Screenshot der verfügbaren UI-Elemente in der Schaltfläche

Um Ihrem Flow ein neues UI-Element hinzuzufügen, fügen Sie über eine Aktion oder den Bereich „UI-Elemente“ ein neues UI-Element hinzu, markieren Sie das entsprechende Element, und drücken Sie Strg + Linksklick. Wenn die Auswahl abgeschlossen ist, wählen Sie "Fertig" aus.

Screenshot eines hervorgehobenen Elements.

Note

Die Benutzeroberflächenelementauswahl unterstützt das Erfassen der UI-Automatisierung (UIA), die Rohansicht der UI-Automatisierung v3 (UIA3 Raw) und Microsoft Active Accessibility-(MSAA-)Selektoren beim Arbeiten mit Desktop-Benutzeroberflächenelementen. Standardmäßig arbeitet der Picker im UIA-Modus. Sie können den Erfassungsmodus ändern, indem Sie das Menü in der oberen rechten Ecke der Benutzeroberflächenelementauswahl verwenden. Wählen Sie MSAA aus, um ältere Anwendungen zu verwenden, die UIA-Selektoren nicht verfügbar machen, oder UIA3 Raw, wenn Sie alle Zwischenebenen in der Raw-Automatisierungsstruktur verfügbar machen und erfassen müssen. Wenn Sie den MSAA- oder UIA3-Raw-Modus aktivieren, wird in der Auswahl für UI-Elemente ein Banner angezeigt, das darauf hinweist, dass Sie jeweils MSAA- oder UIA3-Raw-Selektoren erfassen. Weitere Informationen zum Unterschied zwischen UIA, UIA3 Raw und MSAA-Selektoren finden Sie unter UI-Elementtypen.

Alle erfassten UI-Elemente werden dem Bereich „UI-Elemente“ hinzugefügt. Um auf den Bereich "UI-Elemente" zuzugreifen, wählen Sie auf der rechten Seite des Fluss-Designers die Registerkarte "UI-Elemente" aus.

Screenshot der Registerkarte

Sie können Elemente alphabetisch über die Option " Sortieren " der Registerkarte "UI-Elemente" sortieren. Wenn Sie alle UI-Elemente entfernen möchten, die in keiner Aktion verwendet werden, wählen Sie das Symbol "Punkte" neben der Option " Sortieren " aus, und entfernen Sie dann nicht verwendete UI-Elemente.

Um ein UI-Element umzubenennen oder zu löschen, klicken Sie mit der rechten Maustaste auf das jeweilige Element, und wählen Sie die entsprechende Funktion aus.

Um zu ermitteln, wo ein bestimmtes UI-Element im Fluss verwendet wird, klicken Sie mit der rechten Maustaste darauf, und wählen Sie " Verwendung suchen" aus. Die Ergebnisse zeigen alle Aktionen an, die dieses UI-Element verwenden. Doppelklicken Sie auf ein Ergebnis, um die Aktion im Arbeitsbereich hervorzuheben.

Screenshot des Bereichs

Benutzeroberflächenelementtypen

Desktopflüsse unterstützen zwei Arten von UI-Elementen basierend auf ihrer Quelle: Desktop-UI-Elemente und Web-UI-Elemente.

Sie können Desktop-UI-Elemente aus einer beliebigen Windows Anwendung erfassen, einschließlich Nicht-Webseiten-Komponenten von Browsern, z. B. der Adressleiste. In Desktop-UI-Elementen werden drei Arten von Selektoren unterstützt:

  • Benutzeroberflächenautomatisierung (UIA)-Selektoren

    UIA ist das moderne Barrierefreiheitsframework, das von Microsoft zum Ersetzen von MSAA eingeführt wurde. Es ist die empfohlene Technologie zum Automatisieren der meisten Windows Anwendungen, insbesondere derjenigen, die mit neueren BENUTZEROBERFLÄCHENframeworks wie WPF, WinForms und Universelle Windows-Plattform (UWP) erstellt wurden. UIA bietet robustere und detailliertere Elementinformationen, verbesserte Hierarchiestrukturen und eine höhere Zuverlässigkeit in Automatisierungsszenarien.

    Verwenden Sie UIA-Selektoren, wenn möglich, um eine bessere Leistung, Wartung und Unterstützung für moderne Desktopanwendungen zu erzielen.

  • Microsoft Active Accessibility (MSAA)-Selektoren

    MSAA ist eine ältere Technologie für Barrierefreiheit, die vor UIA existierte. Es wird in erster Linie für Ältere Anwendungen verwendet, die UIA-Elemente nicht verfügbar machen, z. B. ältere Windows Anwendungen, die mit Technologien wie VB6 oder klassischem Win32 erstellt wurden. Während MSAA weniger Details und Struktur als UIA bereitstellt, ist es wichtig, die Automatisierung in Umgebungen zu aktivieren, in denen UIA nicht verfügbar ist.

    Verwenden Sie MSAA-Selektoren, wenn Sie auf legacy- oder benutzerdefinierte Anwendungen abzielen, die ihre UI-Komponenten nicht über UIA verfügbar machen.

  • UIA3 Raw-Selektoren

    UIA3 Raw ist ein erweiterter Benutzeroberflächenautomatisierung-basierter Aufnahmemodus, der das UIA3-Framework für den Zugriff auf die unformatierte, ungefilterte UI-Elementstruktur verwendet. Im Gegensatz zu standard-UIA-Selektoren, die auf einer optimierten Steuerelementansicht der Anwendung basieren, macht UIA3 Raw alle Elemente in der UI-Hierarchie verfügbar, einschließlich Komponenten auf Zwischen-, Nicht-interaktiver und Frameworkebene.

    Dieser Modus ist besonders nützlich zum Automatisieren von Anwendungen mit komplexen oder nicht standardmäßigen UI-Strukturen, z. B. benutzerdefinierten gerenderten Steuerelementen, Elektronenbasierten Apps oder Fällen, in denen Elemente nicht über standard-UIA-Selektoren zugänglich sind. UIA3 Raw kann zusätzliche Hierarchieebenen und -eigenschaften anzeigen, die sonst nicht verfügbar sind, wodurch eine präzisere Zielbestimmung in anspruchsvollen Szenarien ermöglicht wird.

    Verwenden Sie UIA3 Raw-Selektoren, wenn UIA-Selektoren elemente nicht zuverlässig erfassen oder identifizieren können oder wenn ein tieferer Zugriff auf die UI-Struktur der Anwendung erforderlich ist.

Mit der Benutzeroberflächenelementauswahl in Benutzeroberflächenautomatisierungsaktionen können Sie nur Desktop-UI-Elemente erfassen. Ein Menü für den Aufnahmemodus oben rechts im Auswahlwerkzeug ermöglicht die Auswahl zwischen den Modi UIA, UIA3 Raw und MSAA. Standardmäßig verwendet der Picker UIA, aber Sie können für erweiterte Szenarien zu UIA3 Raw oder bei der Automatisierung von Legacy-Anwendungen zu MSAA wechseln. Eine sichtbare Meldung im Auswahlfeld zeigt an, wenn ein nicht standardmäßiger Modus aktiv ist.

Im Bereich "UI-Elemente" werden erfasste Elemente mit einem Indikator angezeigt, der anzeigt, ob die Elemente mithilfe von UIA, UIA3 Raw oder MSAA erfasst wurden. Mit diesem Indikator können Sie den Selektortyp identifizieren, der für jedes Element in Ihrem Fluss verwendet wird.

Important

Sie können Elemente aus Webseiten über die UI-Elementauswahl in UI-Automatisierungsaktionen erfassen. Ihre Selektoren stellen jedoch Desktopelemente und keine Webelemente dar.

Sie können Web-UI-Elemente von Webseiten erfassen und nur in Browserautomatisierungsaktionen verwenden.

Browserautomatisierungsaktionen akzeptieren ausschließlich UI-Elemente, die von Webseiten erfasst werden. Daher zeigt die Benutzeroberflächenelementauswahl dieser Aktionen vorhandene Benutzeroberflächenelemente, die in Desktopanwendungen erfasst wurden, nicht an.

Weitere Informationen zur Desktop- und Webautomatisierung finden Sie unter Automatisieren von Desktopflüssen und Automatisieren von Webflüssen.

UI-Elemente für Webseiten

Um ein UI-Element von einer Webseite zu erfassen, müssen Sie die entsprechende Browsererweiterung installieren. Weitere Informationen zu unterstützten Browsern und der erforderlichen Erweiterung finden Sie unter Verwenden von Browsern und Verwalten von Erweiterungen.

Unterscheiden des Desktops von Web-UI-Elementen

Der Bereich "UI-Elemente" zeigt unverwechselbare visuelle Hinweise, mit denen Sie den Unterschied zwischen Desktop- und Web-UI-Elementen schnell erkennen können.

Screenshot der visuellen Hinweise für UI-Elementtypen im Bereich „UI-Elemente“.

Wenn Sie ein Desktopelement erfassen, wird das Desktopsymbol angezeigt. Wenn Sie ein Webelement erfassen, wird das Websymbol angezeigt. Auf diese Weise bestätigen Sie den Elementtyp, bevor Sie ihn speichern.

Screenshot einer visuellen Anzeige des UI-Elementtyps während der Aufnahme.

Eine weitere Methode zum Überprüfen des Typs eines UI-Elements besteht darin, die Selektoren zu überprüfen. Desktop-UI-Elemente weisen in der Regel den Desktop als übergeordnetes Element auf, während Web-UI-Elemente eine Webseite als Stammelement aufweisen.

Screenshot einer Auswahl eines Desktop-UI-Elements.

UI-Elemente in Browserfenstern

Automatisieren Sie den Anwendungsteil eines Browsers (1) mithilfe von Desktop-UI-Elementen. Verwenden Sie beispielsweise Benutzeroberflächenautomatisierungsaktionen, um mit der Adressleiste oder den Registerkarten zu interagieren.

Automatisieren Sie andererseits die geladenen Webseiten im Browser (2) mithilfe von Web-UI-Elementen und Browserautomatisierungsaktionen.

Während der Aufzeichnung unterscheidet der Recorder automatisch den Browseranwendungsbereich von den Webseiten und generiert die entsprechenden UI-Elemente und -Aktionen.

Screenshot eines Microsoft Edge Fensters mit hervorgehobenen Browseranwendungs- und Webseitenbereichen.

Interaktionen mit Web-UI-Elementen mit Drag-and-drop-Funktion lassen sich aufgrund ihrer systembedingten Einschränkungen möglicherweise nicht wie erwartet ausführen. Als Problemumgehung erfassen Sie Desktop-UI-Elemente auf einer Webseite, indem Sie die Benutzeroberflächenelementauswahl durch eine Aktion der Benutzeroberflächenautomatisierungsgruppe öffnen, indem Sie im Parameter UI element auswählen. Das erfasste UI-Element ist vom Desktoptyp und kann in der Drag and drop UI element in window Aktion verwendet werden. Beachten Sie, dass Sie Desktop-UI-Elemente nur in Aktionen der Benutzeroberflächenautomatisierungs-Aktionsgruppe von Power Automate für Desktop verwenden können. Es ist wichtig zu beachten, dass Desktop-UI-Elemente auf Webseiten nicht so zuverlässig sind wie ihre Web-Entsprechungen und unterliegen Browseranwendungsdetails, z. B. der Version des Browsers.

Eigenschaften von UI-Elementen

Alle UI-Elemente bestehen aus einem oder mehreren Selektoren, die die UI- oder Webkomponente identifizieren, mit der Power Automate interagiert.

Note

Benutzer können mehrere Selektoren für ein UI-Element erstellen. Wenn ein Selektor fehlschlägt, verwendet Power Automate den folgenden Selektor in der definierten Reihenfolge.

Um die Selektoren eines UI-Elements zu verwalten, klicken Sie mit der rechten Maustaste darauf, und wählen Sie "Bearbeiten" aus. Mit dieser Option wird der Selektor-Generator angezeigt, in dem Sie die Selektoren mit einem visuellen oder einem Text-Editor bearbeiten können.

Jeder Selektor besteht aus mehreren Elementen, die die hierarchische Struktur des UI-Elements in der Anwendung oder Webseite darstellen. Die Attribute beschreiben die einzelnen Elemente eindeutig und unterscheiden sie von anderen Elementen.

Screenshot des visuellen Selektor-Generators.

Alle Selektoren werden standardmäßig mit einem leicht verständlichen Namen angezeigt, sodass sie leicht auffindbar sind. Um eine Auswahl umzubenennen, klicken Sie mit der rechten Maustaste auf den Namen, und wählen Sie "Umbenennen" aus.

Wenn Sie ein UI-Element mit mehreren Selektoren bearbeiten, können Sie eine Auswahl deaktivieren, indem Sie mit der rechten Maustaste darauf klicken und "Deaktivieren" auswählen. Diese Funktionalität kann beim Testen hilfreich sein.

Screenshot der Optionen zum Umbenennen und Deaktivieren einer Auswahl.

Nachdem Sie die Selektoren bearbeitet haben, wählen Sie "Speichern " aus, um die Änderungen anzuwenden. Beim Speichern werden die Änderungen in allen Selektoren in einem einzigen Schritt angewendet.

Weitere Informationen zu Selektoren und zum manuellen Erstellen finden Sie unter Erstellen einer benutzerdefinierten Auswahl.

UI-Elemente mit textbasierten Selektoren

Zusätzlich zur Standardmethode zum Generieren von Selektoren für UI-Elemente unterstützt Power Automate das Erstellen von Selektoren basierend auf dem Textwert eines Elements.

Diese Funktion ist hilfreich für Automatisierungsszenarien, die mit Elementen in Desktopanwendungen oder auf Webseiten arbeiten, die immer mit spezifischen Texten versehen sind. Selektoren, die auf diesen Texten basieren, sind zuverlässiger und robuster für mögliche zukünftige Änderungen in der Anwendung oder Webseitenstruktur.

Sie können textbasierte Selektoren nur beim Erfassen von UI-Elementen mithilfe der Benutzeroberflächenelementauswahl (Benutzeroberflächenelementbereich oder Browser-/Benutzeroberflächenautomatisierungsaktionen) generieren. Sie können sie während der Aufzeichnung nicht generieren.

Um ein UI-Element mit einer textbasierten Auswahl zu erfassen, öffnen Sie die Benutzeroberflächenelementauswahl, klicken Sie mit der rechten Maustaste auf das gewünschte Element, und wählen Sie "Erfassen" basierend auf Text aus.

Screenshot der Aufnahme basierend auf der Textoption.

Anschließend wird ein neues Fenster mit zwei Feldern auf dem Bildschirm angezeigt:

  • Das Textwertfeld enthält den Text des Elements als vorgeschlagenen Wert. Sie können diesen Wert in einen hartcodierten Wert oder eine Variable ändern.
  • Sie können das Operatorfeld auf verschiedene Operatoren festlegen, um die Funktionalität des Selektors anzupassen.

Durch Auswählen von Capture wird das UI-Element mit dem richtigen textbasierten Selektor zum Repository der UI-Elemente hinzugefügt.

Screenshot des Dialogfelds

Textbasierte Selektoren verwenden das Name-Attribut des erfassten Elements für die Desktopautomatisierung und das Text-Attribut für die Browserautomatisierung. Sie sind nur für UI-Elemente verfügbar, die selbst einen Textwert enthalten.

Mit anderen Worten, sie sind für UI-Elemente mit einem Name - oder Text-Attribut verfügbar, das einen Wert enthält. Sie sind nicht für Elemente verfügbar, die keinen solchen Textwert enthalten, auch wenn sie untergeordnete Elemente mit Text in ihrer Struktur haben.

Note

Für die SAP-Anwendung verwenden textbasierte Selektoren das Text-Attribut anstelle des Name-Attributs , das sie in der Regel für die Desktopautomatisierung verwenden. DIE SAP-Automatisierung funktioniert effizienter mit Standardselektoren basierend auf dem ID-Attribut .

Bekannte Probleme und Einschränkungen

  • Wenn Sie "Ui-Element hinzufügen" auswählen, mit dem Mauszeiger auf ein Fenster zeigen und ein UI-Element nach Text erfassen möchten, generiert der Prozess eine Standardauswahl. Dieser Selektor enthält das Process-Attribut sowie Name.

  • Wenn Sie eine Variable mit einem anderen Operator als Gleich verwenden, wird im benutzerdefinierten Text-Editor der Selektor anstelle des visuellen Generators angezeigt. Diese Funktionalität vermeidet eine Einschränkung, die die oben genannte Kombination nichtfunktional im visuellen Generator macht.

  • Last updated on