User-Agent "Duplex on the Web"

DuplexWeb-Google ist der User-Agent, mit dem der Dienst "Duplex on the Web" unterstützt wird. Dieser Dienst unterstützt verschiedene Funktionen und Produkte, z. B. Google Assistant in Chrome. Hier finden Sie das User-Agent-Token und die vollständigen User-Agent-Strings.

Crawling-Frequenz und -Verhalten

  • Keiner der Dienste, die DuplexWeb-Google verwenden, führt beim Crawlen Ihrer Website Käufe oder andere wichtige Aktionen aus.
  • DuplexWeb-Google-Crawls erfolgen je nach zu trainierender Funktion einige Male am Tag bis einige Male in der Stunde. Diese Trainingsläufe werden jedoch so ausgeführt, dass normalerweise weder Ihre Website überlastet noch Ihr Traffic gestört wird.
  • DuplexWeb-Google-Crawls werden von der Google-Suche nicht zur Indexierung verwendet. Da sie bei der Indexierung nicht verwendet werden, erkennt der User-Agent DuplexWeb-Google die noindex-Anweisung nicht.
  • DuplexWeb-Google-Crawls können von Google verwendet werden, um Google-Nutzern zusätzliche Informationen über von "Duplex on the Web" unterstützte Websites bereitzustellen (z. B. die Verfügbarkeit von Sitzplätzen im Kino).
  • In Google Analytics werden keine Seitenanfragen aufgezeichnet, die von DuplexWeb-Google während des Crawlings und der Analyse gestellt wurden.

Crawling durch robots.txt-Regeln steuern

Wenn Sie verhindern möchten, dass Ihre Website gecrawlt wird, müssen Sie DuplexWeb-Google explizit mit der Disallow-Regel in robots.txt blockieren. Das Deaktivieren des Crawlings (Trainings) in den Property-Einstellungen der Search Console reicht nicht aus.

DuplexWeb-Google befolgt normalerweise die Regeln von robots.txt mit der folgenden wichtigen Ausnahme:

  • Wenn Google Assistant in Chrome über die Search Console aktiviert ist (Standardeinstellung), ist der DuplexWeb-Google-User-Agent von dem Platzhalter-User-Agent-String * in Disallow-Anweisungen nicht betroffen. Wenn Google Assistant in Chrome mithilfe der Search Console deaktiviert wird, respektiert der DuplexWeb-Google-User-Agent den Platzhalter-User-Agent-String * in Disallow-Anweisungen. Beispiele:

# Beispiel 1: Verhindern, dass DuplexWeb-Google Ihre Website crawlt
User-Agent: DuplexWeb-Google
Disallow: /

# Beispiel 2:
# * Wenn Google Assistant in Chrome für diese Property in der Search Console aktiviert ist, 
#   alle User-Agents mit Ausnahme von DuplexWeb-Google blockieren.
# * Wenn Google Assistant in Chrome für diese Property in der Search Console deaktiviert ist, 
#   alle User-Agents einschließlich DuplexWeb-Google blockieren.
User-agent: *
Disallow: /
War das hilfreich?
Wie können wir die Seite verbessern?