SEO-Neuigkeiten, die Sie nutzen können: Einführung von GPTBot, dem Web Crawler von OpenAI

Wenn es eine Sache gibt, die sich die meisten ChatGPT-Benutzer wünschen, dann wären es aktuelle und genauere künstliche Intelligenz oder KI-Inhalte. Nun, OpenAI hat hart daran gearbeitet, dies zu ermöglichen. Erst kürzlich hat der Technologieriese eine Dokumentation zu seinem eigenen Webcrawler veröffentlicht.

OpenAI mit dem Namen GPTBot plant, diesen Crawler zu verwenden, um„KI-Modellen dabei zu helfen, genauer zu werden und ihre allgemeinen Fähigkeiten und Sicherheit zu verbessern“.

Hintergrund hierfür sind Bedenken hinsichtlich der Privatsphäre, der Umgehung kostenpflichtiger Inhalte und der schädlichen Textgenerierung. Um dieses Problem zu beheben, stellt OpenAI sicher, dass GPTBot gefiltert wird, um das Crawlen dieser Art von Inhalten zu vermeiden. (Obwohl sie nicht preisgegeben haben, wie das funktioniert.)

GPTBot kann mit diesem Benutzeragenten und dieser Zeichenfolge in Ihrer robots.txt-Datei auf den Inhalt Ihrer Website zugreifen:

Benutzeragenten - Token: GPTBot

Vollständiger User-Agent- String: Mozilla/5.0 AppleWebKit/537.36 (KHTML, wie Gecko; kompatibel; GPTBot/1.0; +https://openai.com/gptbot)

Wenn Sie jedoch nicht möchten, dass GPTBot einen Einblick in Ihre Inhalte erhält, können Sie auch diesen Befehl in Ihre robots.txt-Datei eingeben:

Benutzeragent: GPTBot

Nicht zulassen: /

Sie können auch anpassen, wie GPTBot auf Ihre Website zugreifen kann. So können Sie es machen:

Benutzeragent: GPTBot

Erlauben: /directory-1/

Nicht zulassen: /directory-2/

Mit diesem Befehl kann GPTBot nur auf bestimmte Teile Ihrer Website zugreifen.

Alle Aufrufe von Websites erfolgen über die IP-Adressen, die in der separaten Dokumentation von OpenAI aufgeführt sind . Wir glauben, dass die Zahl dieser IP-Adressen zunehmen wird, da GPTBot mehr Websites im Internet crawlt. Wenn Sie interessiert sind, finden Sie hier die zum Zeitpunkt des Schreibens aufgeführten IP-Adressen:

• 20.15.240.64/28
• 20.15.240.80/28
• 20.15.240.96/28
• 20.15.240.176/28
• 20.15.241.0/28
• 20.15.242.128/28
• 20.15.242.144/28
• 20.15.242.192/28
• 40.83.2.64/28

Welche Vorteile bietet es also, den Zugriff auf GPTBot zu ermöglichen? Abgesehen von besseren, sichereren KI-Modellen – GPT-5 ist bereits in Arbeit – hat es wirklich keinen Vorteil, Ihre Inhalte zum Trainingsgelände von OpenAI zu machen. Dies sollte jedoch eine gute Nachricht sein, wenn Sie KI-Inhalte nutzen und diese genauer und robuster gestalten möchten.

Angesichts der jüngsten Schritte von Google, öffentlich zugängliche Daten für das KI-Training zu nutzen, wird OpenAI nicht zusehen, wie sein Wettbewerbsvorteil aufgezehrt wird.

Natürlich gibt es keine Garantie dafür, dass diese Technologieunternehmen der Prüfung der Ethik und des verantwortungsvollen Umgangs mit Online-Inhalten entgehen. Aber wir sind gespannt, wie weit KI kommen wird und wie die Suchmaschinenoptimierung (SEO) von diesen Fortschritten profitieren wird.

Lesen Sie hier die vollständige GPTBot-Dokumentation.

Weitere SEO-Neuigkeiten, die Sie nutzen können

Google kündigt neues, einfacheres und praktischeres Ranking-Framework an : Wenn Sie die ständigen und komplexen Algorithmus-Updates satt haben , wird es nicht so schnell aufhören.Aber dieses Mal verspricht Google bessere Aktualisierungen des Suchrankings, ohne seine Algorithmen grundlegend zu überarbeiten. Die Forscher von Google haben kürzlich ein Papier veröffentlicht, in dem sie ein neues Gewichtungsrahmenwerk namens TW-BERT detailliert beschreiben. Dieses Framework erleichtert das Auffinden abfragerelevanter Dokumente und die Abfrageerweiterung. Basierend auf ihren Erkenntnissen kombiniert TW-BERT die Effizienz statistikbasierter Retrieval-Methoden mit den eher kontextorientierten Deep-Learning-Modellen. Dieser Durchbruch ermöglicht es Google, relevantere Ergebnisse für Suchanfragen bereitzustellen. Außerdem lässt sich das Framework einfach bereitstellen, sodass Google es problemlos in sein System integrieren kann. Wie sich dies auf das Suchranking auswirkt, bleibt abzuwarten. Tatsächlich wissen wir noch nicht, ob Google plant, es in Zukunft zu verwenden. Hier ist die ganze Geschichte vom Search Engine Journal . Für den gesamten Forschungsbericht klicken Sie hier .

Haustiere erlaubt?Beantworten Sie diese Frage mit diesem neuen GBP-Attribut : Twitter-Nutzerin Claudia Tomina hat eine neue nette Funktion in Google Business Profiles geteilt. Mit diesem Attribut namens „Haustiere“ können Sie Ihre Haustierrichtlinie anzeigen. Tominas Screenshot zeigt, dass Sie nur angeben können, ob Hunde innerhalb und außerhalb Ihres Betriebs erlaubt sind. Wenn Sie separate Richtlinien für Katzen, Hühner und andere nichtmenschliche Begleiter haben, müssen Sie auf eine weitere GBP-Aktualisierung achten. Tomina teilte auch mit, wie Ihre Haustierrichtlinie angezeigt wird, sobald Sie diese Informationen weitergeben. Wir haben in den letzten Wochen über mehrere hilfreiche GBP-Updates berichtet. ( Hier , hier und hier ) Wir vermuten, dass dies damit zu tun hat, Menschen dabei zu helfen, echte von gefälschten Unternehmen zu unterscheiden. Lesen Sie mehr vom Search Engine Roundtable .

So können Sie Google daran hindern, KI-Chatbot-Inhalte zu indizieren : Befürchten Sie, dass Google Sie aufgrund Ihres KI-Chatbots schlechter einstufen wird?Sie sind nicht allein, und John Mueller, Befürworter der Google-Suche, hat einen PSA darüber gepostet. Er erklärt, wie Sie Google daran hindern können, von Ihrem KI-Chatbot generierte Inhalte zu indizieren: (1) Verwenden Sie einen automatisierten Iframe, (2) verwenden Sie eine automatisierte JavaScript-Datei oder -Ressource oder (3) verwenden Sie ein Daten-Nosnippet. Jemand hat darauf hingewiesen, dass der Googlebot, der Webcrawler von Google, diese Daten nicht erhalten soll. Mueller antwortete: „Einige Websites erstellen Seiten auf seltsame Weise … Wie Sie sich vorstellen können, können die Ergebnisse für alle etwas … umständlich sein.“Weitere Informationen zu dieser Geschichte finden Sie in diesem Artikel im Search Engine Journal .

Sie sollten ältere Inhalte nicht löschen – Google : Die SEO-Welt ist in Aufregung über die jüngste Enthüllung von Gizmodo , dass CNET seine Inhalte massiv beschneidet, um seine Suchrankings zu verbessern.Laut Gizmodo„löschte das Unternehmen kleine Mengen von Artikeln vor der zweiten Julihälfte, aber dann beschleunigte sich das Tempo.“In einem internen Memo behauptet CNET, dass es sich hierbei um eine regelmäßige strategische Initiative zur Verbesserung seiner Domain-Autorität handele. Auch Google Search Liaison twitterte dazu :„Löschen Sie Inhalte von Ihrer Website, weil Sie irgendwie glauben, dass Google „alte“ Inhalte nicht mag?Das ist kein Ding!“ Grundsätzlich sollten Sie alte Inhalte nicht einfach nur wegen ihres Alters löschen. Stattdessen sollten Sie auf die Qualität des Inhalts achten. Ist es noch hilfreich? Bietet es Ihren Lesern immer noch einen Mehrwert? Sicher, einige alte Inhalte sind möglicherweise nicht mehr nützlich, andere jedoch schon. Daher berücksichtigen die Ranking-Algorithmen von Google das Alter Ihrer Inhalte nicht als Indikator für deren Wert. Daher ist es am besten, Ihre Inhalte zu bewerten, um festzustellen, ob sie noch relevant sind und den EEAT-Richtlinien von Google sowie anderen Best Practices entsprechen . Weitere Informationen finden Sie in diesem Search Engine Land-Artikel .

Mit Moz können Sie jetzt die Markenautorität messen : Waren Sie schon einmal neugierig, wie stark Ihre Marke im Online-Bereich ist?Moz hilft Ihnen, einen Blick auf seine neue Kennzahl namens Brand Authority zu werfen. Brand Authority wurde am 7. August 2023 zum Betatest gestartet und „kann Ihnen dabei helfen, Ihre Vision über SEO hinaus zu erweitern“, was bedeutet, dass Sie jetzt quantifizieren können, wie sich Ihre anderen Kampagnen, wie z. B. PR, auf Ihre Marke auswirken, und zwar nicht nur auf das Suchranking . Dr. Pete Meyers, Marketingwissenschaftler bei Moz, sagt:„Mit Brand Authority können wir endlich verstehen, wie wichtig sie sind, und diese Kraft in die Tat umsetzen.“Wird dies eine nützliche Kennzahl für Webbesitzer sein? Wir werden abwarten und sehen. Lesen Sie die ganze Geschichte von Search Engine Land .

Anmerkung des Herausgebers: „SEO-Neuigkeiten, die Sie nutzen können“ ist ein wöchentlicher Blogbeitrag, der jeden Montagmorgen nur aufSEOblog.com veröffentlicht wirdund alle Top-SEO-Neuigkeiten aus der ganzen Welt zusammenfasst.Unser Ziel ist es,SEOblog.commit unserem umfassendenSEO-Agenturverzeichniszu einem One-Stop-Shop für allezu machen, die nach SEO-Neuigkeiten, Bildung und der Einstellung eines SEO-Experten suchen .