Technische SEO-Grundlagen: Crawling, Indizierung und Ranking

Heute sprechen wir über die Grundlagen der technischen SEO. Wir erklären den Unterschied zwischen Crawling, Indizierung und Ranking. Außerdem zeigen wir Ihnen, wie Sie interne Links, Ihre robots.txt-Datei und Ihre XML-Sitemap nutzen können, damit Google Ihren Shopify-Shop schneller und effizienter crawlen und indexieren kann.

Überblick

• So funktioniert Google: Was ist der Unterschied zwischen Crawling, Indizierung und Ranking?
• Wie man eine robuste interne Verlinkungsstruktur erstellt
• Shopify & robots.txt: Alles, was Sie wissen müssen
• Shopify & sitemap.xml: Alles, was Sie wissen müssen
• Senden Sie Ihre Sitemap an die Google Search Console: Warum ist es wichtig und wie es gemacht wird [Bonus]
• Fazit

So funktioniert Google: Was ist der Unterschied zwischen Crawling, Indizierung und Ranking?

Crawling ist der automatisierte Prozess, bei dem der Googlebot neue Daten im Web entdeckt, dh brandneue Seiten oder aktualisierte alte Seiten.

Wie kommt es dazu? Der Googlebot verwendet zwei Ressourcen, um das Web zu crawlen:

• Eine Liste mit URLs aus früheren Crawls, dh Seiten, die der Googlebot bereits gecrawlt hat
• Sitemaps

Dann crawlt Google alle URLs aus der Liste und alle URLs, die in Sitemaps enthalten sind. Hinweis: Während des Crawling-Prozesses achtet Google besonders auf neue Websites, Aktualisierungen alter Webseiten und tote Links.

Der Googlebot kann eine neue Seite entdecken, indem er:

• Einem Link auf einer bereits gecrawlten Seite folgen. Wenn Sie beispielsweise eine neue Produktseite erstellen und auf Ihrer Startseite einen Link dazu hinzufügen, crawlt der Googlebot beim nächsten Mal Ihre Startseite (eine Seite, die er bereits kennt), auch Ihre neue Produktseite.
• Lesen einer aktualisierten Sitemap, die einen Link auf die neu erstellte Webseite enthält.

Sie können mehrere Dinge tun, um Google dabei zu helfen, Ihre neuen Webseiten schneller zu crawlen (dh zu entdecken). Zum Beispiel:

• Schaffen Sie eine starke interne Verlinkungsstruktur
• Erstellen Sie eine robots.txt-Datei
• Erstellen Sie eine sitemap.xml-Datei und senden Sie sie an die Google Search Console

Wir werden jeden dieser Schritte weiter unten ausführlicher besprechen.

Zusammenfassend ist Crawling der Prozess der Entdeckung neuer Daten im Web. Indexierung ist der Prozess der Kategorisierung, Organisation und Speicherung dieser Daten im Google-Index.

Was bedeutet das? Sobald der Googlebot eine neue Seite entdeckt, versucht er, deren Inhalt zu bewerten und zu verstehen, worum es geht. Dann organisiert und speichert es diese Informationen in einer riesigen Datenbank - dem Google-Index. Der Google-Index enthält Hunderte Milliarden Seiten. Es sind über 100 Millionen Gigabyte. Google beschreibt es als den Index am Ende eines Buches – „mit einem Eintrag für jedes Wort, das auf jeder von uns indizierten Webseite zu sehen ist. Wenn wir eine Webseite indizieren, fügen wir sie den Einträgen für alle darin enthaltenen Wörter hinzu.“ (Quelle: Google, Funktionsweise von Suchalgorithmen)

Kurz gesagt, wenn eine Seite indiziert ist, kann sie auf SERPs erscheinen. Profi-Tipp: Verwenden Sie den Bericht zur Indexabdeckung, um zu überprüfen, welche Seiten Ihres Shopify-Shops indiziert wurden, und um Indizierungsprobleme zu erkennen.

„Sind Indizierung und Ranking nicht dasselbe?“, fragen Sie sich vielleicht.

Die Antwort ist nein." Hier ist der Grund: Wenn es eine Seite indiziert, fügt Google sie einfach zu den SERPs hinzu – sie kann auf Seite 1, Seite 101, Seite 1001 usw. erscheinen. In Bezug auf das Ranking ist Ihr ultimatives Ziel, den ersten Platz auf der Seite zu erreichen #1 Seite der SERPs.

Was genau ist Ranking?

Das Hauptziel von Google ist es, für jede Suchanfrage die relevantesten und qualitativ hochwertigsten Ergebnisse zurückzugeben. Um dies zu erreichen, muss Google alle Informationen im Google-Index durchgehen und bestimmen, welche Ergebnisse am besten zur Suchanfrage passen. Dies geschieht jedes Mal, wenn jemand die Google-Suche verwendet – der Vorgang wird Ranking genannt.

Um die relevantesten Ergebnisse zu finden, berücksichtigen die Ranking-Algorithmen von Google viele Faktoren. Einige beziehen sich auf den Benutzer und seine Anfrage:

• Standort des Benutzers
• Browserverlauf
• Browsereinstellungen
• Schlüsselwörter
• Suchabsicht

Andere beziehen sich auf Ihre Website:

• Sachverstand
• Inhaltliche Relevanz
• Inhaltliche Qualität
• Inhaltliche Frische
• Anzahl der Backlinks
• Domänenbehörde (DA)
• Webseitenautorität (PA)
• Benutzerfreundlichkeit
• Und mehr

Kurz gesagt, Ranking ist der Prozess der Sortierung der Ergebnisse auf den SERPs von der relevantesten (auf Platz 1 angezeigt) bis zur am wenigsten relevanten. Um besser darin zu werden, die besten Ergebnisse für jede Suchanfrage abzurufen (dh beim Ranking), nimmt Google jeden Tag kleine Algorithmusanpassungen vor. Sie haben auch umfassende Kernalgorithmus-Updates, die die SERPs stark beeinflussen und viele Branchen betreffen.

Letztendlich gilt: Je höher eine Seite bei einer Suchanfrage rankt:

• Je relevanter die Seite für die Suchanfrage ist
• Je höher seine Qualität ist (insbesondere im Vergleich zu anderen Ergebnissen in den SERPs)

Bisher haben wir technisches SEO noch nicht erwähnt. Da fragt man sich natürlich: „Was hat technisches SEO mit Crawling, Indizierung und Ranking zu tun?“

Die Antwort lautet „Alles!“ Damit Google Ihren Shopify-Shop crawlen, indexieren und ranken kann, muss er technisch optimiert sein.

Hier ist, was Sie über Crawling in Bezug auf technisches SEO wissen müssen:

• Der Googlebot sollte in der Lage sein, Ihre Website zu erreichen und zu crawlen. Denken Sie daran, dass der Googlebot als anonymer Benutzer auf das Web zugreift. Daher sollte Ihr Shopify-Shop nicht passwortgeschützt sein. Erfahren Sie, wie Sie Ihr Shopify-Shop-Passwort entfernen
• Sie sollten eine XML-Sitemap haben – eine Datei, die Google hilft, Ihre neuen Webseiten schneller und effizienter zu indizieren. Es hilft Google auch, die Wichtigkeit Ihrer Webseiten einzuschätzen und die Beziehung zwischen den verschiedenen Seiten und Ressourcen zu verstehen.
• Sie sollten eine robots.txt-Datei haben – eine einfache Textdatei, die Google mitteilt, auf welche Seiten Ihres Shopify-Shops es zugreifen kann (dh indexieren) und auf welche nicht.
• Sie sollten eine kugelsichere interne Verlinkungsstrategie haben – interne Links helfen Google dabei, auf Ihrer Website zu navigieren und neue Seiten viel schneller zu entdecken.
• Ihr Shopify-Shop sollte eine Seitenhierarchie mit geringer Tiefe haben, dh alle wichtigen Seiten Ihrer Website sollten nicht mehr als drei Klicks von Ihrer Homepage entfernt sein. Dadurch wird Ihr Crawl-Budget optimiert (die Anzahl der Seiten, die Google auf Ihrer Website bei einem einzigen Crawl durchsucht), dh Ihr Crawl-Budget wird Ihren wichtigsten Seiten zugewiesen.
• Ihre Website sollte eine logische URL-Struktur haben, die Google leicht verstehen und folgen kann.
• Ihr Shopify-Shop sollte über eine intuitive Navigation verfügen.

Hier ist, was Sie über die Indizierung in Bezug auf technisches SEO wissen müssen:

• Sie sollten Ihren Seiten strukturiertes Daten-Markup hinzufügen. Denken Sie daran, dass Google beim Indexieren einer Seite versucht, sie zu verstehen – strukturiertes Daten-Markup erleichtert diesen Prozess. In Shopify müssen Sie Ihrer Startseite, Sammlungsseiten, Produktseiten, Blogseiten und Artikelseiten strukturierte Daten hinzufügen. Erfahre mehr über strukturiertes Daten-Markup → Strukturierte Daten für Shopify: The Definitive Guide [2022]

Und wenn es um das Ranking geht, wird es noch komplexer. Google berücksichtigt den technischen Zustand Ihrer Website sowie ihren allgemeinen SEO-Zustand (z. B. ob sie für Mobilgeräte geeignet ist, ob sie aktuelle und relevante Inhalte enthält, ob Sie die Google-Richtlinien für Webmaster befolgen usw.). Zu den technischen SEO-Faktoren, die für das Ranking am wichtigsten sind, gehören Seitengeschwindigkeit, doppelte Inhalte und defekte Links.

In den kommenden Monaten werden wir jedes dieser technischen SEO-Themen erörtern. Heute konzentrieren wir uns ausschließlich auf die ersten Schritte, die Sie unternehmen müssen, um Google beim Crawlen Ihres Shopify-Shops zu unterstützen:

• Erstellen Sie eine robuste interne Verlinkungsstrategie
• Haben Sie eine einwandfreie robots.txt-Datei
• Haben Sie eine tadellose XML-Sitemap

Wie man eine robuste interne Verlinkungsstruktur erstellt

Ein interner Link ist ein Link auf einer Webseite, der zu einer anderen Seite oder Ressource auf derselben Domain führt.

Interne Links sind eine Schlüsselkomponente der Architektur Ihres Shopify-Shops und helfen Google, die Struktur Ihrer Website besser zu verstehen. Infolgedessen hilft eine starke interne Linkstruktur Google dabei, Ihre Webseiten schneller und effizienter zu crawlen und zu indizieren.

Um eine robuste interne Verlinkungsstruktur aufzubauen, müssen Sie zunächst den Unterschied zwischen den beiden Arten von internen Links verstehen:

• Interne Navigationslinks – Links, die die Navigation Ihres Shopify-Shops bilden (z. B. Links in Ihrem Hauptmenü, Seitenleistenmenüs, Kopf- und Fußzeilenmenüs usw.). Sie legen die Hierarchie Ihrer Webseiten fest und helfen sowohl Ihren Kunden als auch Google, sich in Ihrem Geschäft zurechtzufinden. Außerdem geben sie Link Equity weiter, was Google hilft zu verstehen, welche die wichtigsten Seiten in Ihrem Geschäft sind. Dadurch kann Google diese Seiten öfter crawlen.
• Kontextbezogene interne Links – Links im Hauptinhalt einer Webseite (z. B. Links zu Produktseiten auf einer Kategorieseite, Links in Artikeln und Produktbeschreibungen, Links auf Richtlinienseiten usw.). Der Zweck solcher Links besteht darin, den Linkwert weiterzugeben und Google dabei zu helfen, neue Seiten schneller zu entdecken.

Erstellen einer kugelsicheren internen Verlinkungsstruktur in 10 Schritten

Schritt 1: Stellen Sie sicher, dass Ihre internen Links gecrawlt werden können.

Mit anderen Worten:

• Die URLs sollten richtig formatiert sein. Shopify kümmert sich standardmäßig darum. Dennoch können Sie das URL-Inspektionstool verwenden, um nach Problemen zu suchen.

• Erstellen Sie keine internen Links zu Seiten, die von Ihrer robots.txt-Datei blockiert werden (sofern nicht erforderlich).
• Erstellen Sie keine internen Links zu Seiten mit dem Meta-Tag „kein Index“ (sofern nicht erforderlich).

Hinweis: Wir werden die robots.txt-Datei und das „no index“-Meta-Tag weiter unten ausführlicher besprechen.

Schritt 2: Stellen Sie sicher, dass Ihre Website keine defekten internen Links enthält.

Sie können ein Website-Audit-Tool wie das Site Audit von SEMRush verwenden, um einen internen Linkbericht anzuzeigen und fehlerhafte interne Links zu erkennen. Es gibt zwei Möglichkeiten, defekte interne Links zu reparieren – Sie können sie entweder entfernen oder durch einen anderen relevanten (und funktionierenden!) internen Link ersetzen.

Schritt 3: Entfernen Sie alle verwaisten Seiten aus Ihrem Shopify-Shop.

Verwaiste Seiten sind Seiten, die von keiner anderen Seite in Ihrem Shopify-Shop aus verlinkt sind. Da der Googlebot Links zum Crawlen des Webs verwendet, ist es für ihn schwieriger, verwaiste Seiten zu entdecken (grenzwertig unmöglich, wenn die verwaisten Seiten nicht in Ihrer Sitemap enthalten sind). Außerdem können Ihre Kunden verwaiste Seiten nicht wirklich erreichen. Mit anderen Worten, sie haben kein wirkliches SEO-Gewicht und kommen Ihnen in keiner Weise zugute.

Daher ist es wichtig herauszufinden, ob Ihre Website solche Seiten enthält. Sie können ein Tool wie das Site Audit von Ahrefs verwenden, um nach verwaisten Seiten zu suchen.

Wenn Ihre Website verwaiste Seiten enthält, müssen Sie deren Bedeutung einschätzen.

• Wenn sie wichtig sind, fügen Sie Links zu ihnen auf anderen Seiten Ihrer Website hinzu. Profi-Tipp: Wenn es sich um Seiten mit dünnem Inhalt handelt, versuchen Sie, gemeinsame Themen zu finden und ähnliche Seiten zusammenzuführen – es ist besser, eine Seite mit hoher Qualität zu haben als mehrere Seiten mit schlechter Qualität.
• Wenn sie nicht wichtig sind, entfernen Sie sie einfach.

Schritt 4: Stellen Sie sicher, dass Ihre Website eine Seitenhierarchie mit geringer Tiefe hat.

Identifizieren Sie zunächst die wichtigsten Seiten Ihrer Website.

Im Allgemeinen ist die wichtigste Seite einer Website ihre Homepage – das ist die Seite mit der höchsten Seitenautorität (PA).

Auch im E-Commerce sind die Seiten, die sich direkt auf das Endergebnis auswirken, von hoher Bedeutung. Dies sind Ihre Kategorieseiten und Ihre Produktseiten.

Alle diese Seiten sollten richtig miteinander verknüpft sein. Dies geschieht, wenn Ihre Website über eine technisch optimierte Website-Architektur verfügt.

Das Wichtigste, was Sie dabei beachten sollten, ist, dass wichtige Seiten Ihrer Website nicht weiter als drei Klicks von Ihrer Startseite entfernt sein sollten (z. B. Startseite > Kategorieseiten > Produktseiten). Auf diese Weise wird Ihre Homepage mehr Linkkapital an Ihre Kategorieseiten weitergeben, und Ihre Kategorieseiten werden Linkkapital an Ihre Produktseiten weitergeben usw. Infolgedessen werden Ihre Kategorie- und Produktseiten einen höheren Rang einnehmen.

Außerdem muss ein logischer Zusammenhang zwischen den verlinkten Seiten bestehen. Beispielsweise sollten die Produktseiten in einer Kategorie ähnliche Merkmale aufweisen, dh in Ihrer Kategorie „Hemden“ sollten keine Hosen vorhanden sein.

Hinweis: Wir werden dies in unserem nächsten Artikel ausführlicher besprechen, also bleiben Sie dran!

Schritt 5: Verwenden Sie interne Links, um dem Googlebot zu helfen, neue Seiten schneller zu entdecken und sein Ranking zu verbessern.

Angenommen, Sie haben gerade eine neue Produktseite zu Ihrem Shopify-Shop hinzugefügt. Um Google dabei zu helfen, ihn schneller zu crawlen und zu indizieren, können Sie einen Link zu ihm auf Ihrer Homepage oder in einem Blog-Beitrag hinzufügen, der außergewöhnlich gut abschneidet. Als zusätzlicher Vorteil wird dadurch Link-Equity an Ihre neue Produktseite weitergegeben, was bedeutet, dass sie bessere Chancen hat, in den SERPs höher zu ranken – natürlich wissen wir alle, was das bedeutet: mehr Sichtbarkeit und mehr Verkaufschancen.

Schritt 6: Nutzen Sie empfohlene Produkte.

Ein Abschnitt „Empfohlene Produkte“ erhöht Ihren durchschnittlichen Bestellwert und hilft Ihnen, ein ansprechenderes Einkaufserlebnis zu bieten. Außerdem ist es eine großartige Gelegenheit zum Verlinken – die Links in Ihrem Abschnitt „Empfohlene Produkte“ sind Links auf Ihren Produktseiten, die Kunden zu anderen Produktseiten in Ihrem Shopify-Shop führen.

In Shopify zeigt der Abschnitt „Empfohlene Produkte“ eine automatisch generierte Liste mit Produktempfehlungen an.

Produkte werden basierend auf einem Algorithmus empfohlen, der basierend auf dem Produkt, mit dem ein Kunde interagiert, die relevantesten Produkte vorhersagt. (Quelle: Shopify, Anzeigen von Produktempfehlungen auf Produktseiten)

Der Algorithmus verwendet Verkaufsdaten (um festzustellen, welche Produkte häufig zusammen gekauft werden) und Produktbeschreibungen (um festzustellen, welche Produkte ähnlich sind oder sich ergänzen). Der Algorithmus ordnet pro Produkt bis zu zehn ähnliche Produkte zu und zeigt sie nach Relevanz geordnet an.

Es gibt bestimmte Einschränkungen, die Sie beachten müssen. Abhängig von Ihrem Shopify-Plan können Sie beispielsweise verschiedene Arten von Produktempfehlungen auf Ihren Produktseiten anzeigen. Außerdem können Sie den Algorithmus nicht anpassen, um bestimmte Produkte auszuschließen (es sei denn, Sie schreiben benutzerdefinierten Code). Mehr erfahren → Shopify, Produktempfehlungen

Einige Shopify-Designs unterstützen standardmäßig Produktempfehlungen:

Quelle: Shopify, Produktempfehlungen auf der Produktseite anzeigen

Außerdem können Sie einen anpassbaren Abschnitt „Ähnliche Produkte“ erstellen oder eine Shopify-App verwenden, mit der Sie verwandte Produkte auf Ihren Produktseiten anzeigen können. Eine solche App ist „Verwandte Produkte – auch von Globo gekauft“:

Die App trägt eine - Bewertung. Es gibt einen kostenlosen Plan und eine kostenpflichtige Version, die 9,90 $/Monat kostet (eine 7-tägige kostenlose Testversion ist verfügbar).

Schritt 7: Achten Sie auf den Ankertext.

Ankertext ist wichtig, weil er Google hilft zu verstehen, worum es auf der verlinkten Seite geht und ob er für die Seite, die den Link enthält, relevant ist.

Der Ankertext Ihrer internen Links sollte relevant, beschreibend und spezifisch sein. Im besten Fall sollte es Keywords enthalten.

Vermeiden Sie als allgemeine Faustregel vage Ankertexte wie „Weiterlesen“ oder „Hier klicken“. Machen Sie stattdessen so etwas wie: „Weiterlesen → Interner-Link-mit-einem-relevanten-und-beschreibenden-Ankertext “

Schritt 8: Vermeiden Sie Weiterleitungsketten.

Eine Weiterleitungskette tritt auf, wenn mehrere Weiterleitungen zwischen der anfänglichen URL (dh der angeforderten URL) und der endgültigen Ziel-URL vorhanden sind. Stellen Sie sich beispielsweise vor, dass X die anfängliche URL und Z die endgültige URL ist. Eine Umleitungskette wäre URL X > Umleitungen zu URL Y > Umleitungen zu URL Z. Folglich benötigt URL Z mehr Zeit zum Laden.

Im Allgemeinen sollten Sie Weiterleitungsketten vermeiden, da sie zu einer schlechten Benutzererfahrung führen. Außerdem erschweren sie Google das Crawlen Ihrer Website. Daher empfiehlt Google, sie so weit wie möglich einzuschränken.

Wie entstehen Weiterleitungsketten?

Angenommen, Sie ändern die URL einer Seite und erstellen eine Weiterleitung zur neuen URL. Stellen Sie sich nun vor, die Seite wurde bereits verlinkt und der Link führt auf die alte URL. Wenn jemand auf den Link klickt, wird er zuerst zur alten URL und dann zur neuen, aktualisierten umgeleitet.

Eine Umleitungskette kann auch entstehen, wenn Sie ein SSL-Zertifikat auf Ihrer Website installieren – in diesem Fall werden alle alten HTTP-Links automatisch auf die neuen und sicheren HTTPS-Links umgeleitet. Wenn also ein Benutzer auf einen bereits erstellten Interlink klickt, wird er zuerst zur HTTP-Version der Seite und dann zur HTTPS-Version umgeleitet.

So minimieren Sie Weiterleitungsketten:

• Stellen Sie sicher, dass alle internen Links direkt zu einer Live-Seite führen.
• Aktualisieren Sie die Weiterleitungen, die Sie während des Wechsels von HTTP zu HTTPS implementieren.
• Vermeiden Sie es, auf eine URL zu verlinken, die auf eine andere URL umleitet.
• Überprüfen Sie regelmäßig Ihre bestehenden Weiterleitungen und entfernen Sie alle unnötigen Weiterleitungen. Sie können das Site-Audit-Tool von SEMRush verwenden, um Weiterleitungsketten zu erkennen und Ratschläge zu ihrer Behebung zu erhalten.

Schritt 9: Übertreiben Sie es nicht.

Klar, Verknüpfungen sind wichtig. Aber es gibt auch „zu viele Verlinkungen“, vor allem dann, wenn sie keinen Zweck erfüllen, also die Qualität der Seite in keinster Weise verbessern.

Eine Seite sollte eine angemessene Anzahl interner Links enthalten, und sie sollten alle sinnvoll sein, dh es sollte einen logischen Grund dafür geben, dass sie sich auf der Seite befinden.

Um es für Laien auszudrücken: Erstellen Sie interne Links nicht nur um der Sache willen.

Bonusschritt: Erstellen Sie eine Inhaltsstrategie.

Eine Content-Strategie zu haben ist aus mehreren Gründen wichtig:

• Es ist gut für SEO und hilft Ihnen, für eine Menge relevanter Keywords zu ranken. Dies erhöht die Sichtbarkeit und kann Ihnen helfen, die Markenbekanntheit zu steigern.
• Es hilft Ihnen, sich als Autorität in Ihrer Nische zu etablieren.
• Es schafft Kundenvertrauen.
• Es hilft Ihnen, ein fundierteres Einkaufserlebnis zu bieten.
• Es hilft Ihnen, Ihre Produkte ansprechender und gründlicher zu präsentieren.
• Es bietet eine Menge Verknüpfungsmöglichkeiten.

Wie baut man also eine starke Content-Strategie auf?

Erstellen Sie in erster Linie relevante und qualitativ hochwertige Inhalte. Schreiben Sie über Themen, die Ihrer Zielgruppe wichtig sind – sprechen Sie ihre Probleme an, beantworten Sie ihre Fragen usw.

Erstellen Sie zweitens Themen-Cluster, dh lassen Sie sich relevante Themen einfallen und erstellen Sie für jedes Thema fünf oder zehn separate Blog-Posts. Da diese Beiträge verschiedene Blickwinkel auf dasselbe Thema abdecken, sind die Möglichkeiten zur Verknüpfung zahlreich. Wenn Sie alle Blog-Beiträge einer Serie veröffentlicht haben, können Sie außerdem eine Pillar-Seite erstellen und alle miteinander verknüpfen – dies ist eine großartige Möglichkeit, Ihre interne Verlinkungsstrategie zu verbessern.

Drittens: Verwenden Sie Ihre Blog-Posts, um Ihre Kategorie- und Produktseiten miteinander zu verknüpfen (z. B. in Geschenkführern, Posts über Produktkollektionen oder Produkteinführungen und mehr). Dies wird Google helfen, sie schneller zu finden und könnte auch ihre Platzierungen verbessern.

Shopify & robots.txt: Alles, was Sie wissen müssen

Einfach ausgedrückt ist robots.txt eine einfache Textdatei, die Google mitteilt, welche Seiten Ihrer Website gecrawlt werden sollen und welche nicht.

Im Allgemeinen ist eine robots.txt-Datei für SEO nicht erforderlich. Eine robots.txt-Datei bietet jedoch mehrere Vorteile, die Sie nicht übersehen sollten:

• Es hält den Googlebot (und andere Suchmaschinen-Crawler) davon ab, Seiten zu crawlen und zu indizieren, die vertrauliche Informationen enthalten (z. B. Anmelde-/Registrierungsseiten, Kontoseiten usw.).
• Es hindert den Googlebot daran, Seiten und Ressourcen zu crawlen und zu indizieren, die kein SEO-Gewicht haben (z. B. „Danke“-Seiten, Vorschauseiten, PDF-Dateien (z. B. Produkthandbücher) usw.).
• Es hindert den Googlebot daran, Seiten mit dünnem Inhalt oder Seiten mit doppeltem Inhalt zu crawlen.
• Es hilft Suchmaschinen, Ihre Sitemap leichter zu finden (Ihre robots.txt-Datei enthält einen Link zu Ihrer Sitemap).
• Es hilft Google, Ihre Website schneller und effizienter zu crawlen und zu indizieren.
• Es optimiert Ihr Crawl-Budget (indem sichergestellt wird, dass Google keine Seiten crawlt, die nicht gecrawlt und indexiert werden sollten).

Was Sie über Shopify & robots.txt wissen müssen:

Dies ist die robots.txt-Datei von Final Straw – einem unserer beliebtesten Shopify-Shops.

Bevor wir fortfahren, erklären wir, was jede Anweisung (d. h. jede Zeile in der robots.txt-Datei) bedeutet:

• Die Direktive „User-agent“ gibt an, für welchen Crawler die Anweisungen bestimmt sind. Mit anderen Worten, wenn ein Benutzeragent in der „User-agent“-Anweisung angegeben ist (z. B. „User-agent: Googlebot“), sollte dieser Benutzeragent (z. B. „Googlebot“) den Anweisungen folgen, aber ein anderer Agent ( B. „Bingbot“ – Bings Crawler) weitergehen und nach einer spezifischeren Anweisung suchen sollten. Wenn kein Benutzeragent angegeben ist (wie im obigen Fall), sollten die Anweisungen von allen Suchmaschinen-Bots (oder Crawlern) befolgt werden.
• Die „Allow“-Anweisung gilt nur für den Googlebot. Es teilt dem Googlebot mit, dass er auf eine bestimmte Webseite oder einen Unterordner zugreifen kann, obwohl die übergeordnete Seite oder der Unterordner möglicherweise nicht zugelassen ist.
• Die Direktive „Disallow“ teilt Suchmaschinen-Bots mit, welche Seiten nicht gecrawlt und indexiert werden sollen.
• Die Direktive „Sitemap“ verweist Suchmaschinen-Bots auf den Speicherort Ihrer XML-Sitemap.
• Die Direktive „Host“ enthält die URL Ihrer Homepage (dh Ihrer primären Domain).

Nachdem Sie nun besser verstehen, wie robots.txt funktioniert, sollten Sie Folgendes über robots.txt-Dateien und Shopify wissen:

• Shopify generiert automatisch Ihre robots.txt-Datei.
• Ihre robots.txt-Datei befindet sich im Stammverzeichnis des primären Domainnamens Ihrer Website. Um darauf zuzugreifen, fügen Sie einfach „/robots.txt“ in die URL Ihrer Homepage ein, z. B. „https://www.yourshopifystore.com/robots.txt“.
• Ihre robots.txt-Datei wird von Shopify verwaltet. Das bedeutet, dass Sie den Inhalt nicht bearbeiten können. Wenn Sie jedoch nicht möchten, dass Google auf bestimmte Seiten zugreift, die in Ihrer robots.txt-Datei nicht verboten sind, können Sie sie mit dem „noindex“-Meta-Tag ausblenden – einer Codezeile, die Suchmaschinen anweist, eine bestimmte Seite nicht zu indizieren Seite. Die Implementierung des „noindex“-Meta-Tags erfordert technisches Wissen, da Sie Ihre theme.liquid-Layoutdatei anpassen müssen. Erfahren Sie, wie Sie bestimmte Seiten noindexieren → Shopify, Verbergen einer Seite vor Suchmaschinen

• Sie können überwachen, welche Seiten durch Ihre robots.txt-Datei blockiert wurden, indem Sie sich für ein kostenloses Google Search Console-Konto anmelden.

Shopify & sitemap.xml: Alles, was Sie wissen müssen

Ihre XML-Sitemap gibt Googlebot (und anderen Suchmaschinen-Bots) Informationen über die Webseiten und Ressourcen (z. B. Mediendateien, PDFs usw.) in Ihrem Shopify-Shop. Im Grunde ist es eine umfassende Liste der wichtigsten Seiten und Ressourcen Ihrer Website. Ihre Sitemap enthält auch wichtige Informationen über Ihre Webseiten (z. B. wann sie zuletzt geändert wurden, wie viele Bilder sie enthalten, in welcher Beziehung sie zu anderen Seiten oder Ressourcen stehen usw.).

Der Zweck der Sitemap besteht darin, Google dabei zu helfen, Ihre Website schneller und effizienter zu crawlen.

Ähnlich wie bei robots.txt-Dateien ist eine Sitemap nicht unbedingt erforderlich – Google kann Ihre Website ohne deren Hilfe crawlen (insbesondere wenn Sie eine starke interne Verlinkungsstrategie haben). Eine Sitemap kann Ihnen jedoch sicherlich zugute kommen. Insbesondere in folgenden Fällen:

• Wenn Sie einen großen Katalogspeicher haben. Stellen Sie sich vor, Sie müssten mehr als 1000 (oder auch nur 100) Produktseiten miteinander verknüpfen … unmöglich, oder?
• Wenn Ihr Shopify-Shop neu ist und noch sehr wenige Backlinks und Interlinks hat.
• Wenn Ihr Shopify-Shop viele Mediendateien wie Videos und Bilder enthält.
• Wenn Sie viele PDF-Dateien hochladen (z. B. Produkthandbücher oder Anleitungen).
• Wenn Sie viele Artikel veröffentlichen.
• Darüber hinaus bedeutet eine Sitemap, dass der Googlebot (und andere Suchmaschinen-Crawler) Ihre Website häufiger durchsuchen.

Was Sie über Shopify- und XML-Sitemaps wissen müssen:

Dies ist die Sitemap von Rebel Nell – ein weiterer unserer beliebtesten Shopify-Shops. So sieht eine typische Sitemap eines Shopify-Shops aus – es gibt eine übergeordnete Sitemap, die auf zusätzliche Sitemaps (oder untergeordnete Sitemaps) für Produkte, Sammlungen, Blogs und Seiten verweist. Diese Kategorisierung hilft Google, einfacher in Ihrem Shopify-Shop zu navigieren und ihn zu crawlen.

Jede der zusätzlichen Sitemaps enthält eine umfangreiche Seitenliste. Wenn wir uns beispielsweise die Produkt-Sitemap von Rebel Nell genauer ansehen, werden wir feststellen, dass sie Links zu allen Produktseiten von Rebel Nell enthält, sowie Informationen zu Bildern, wann die Seite zuletzt geändert wurde, wie oft die Seite aufgerufen wurde modifiziert und mehr.

Folgendes müssen Sie über sitemap.xml-Dateien und Shopify wissen:

• Shopify generiert automatisch eine sitemap.xml-Datei für Ihren Shop. Es enthält Links zu all Ihren Produkten, Produktbildern, Seiten, Sammlungen und Blogbeiträgen.

Wenn Sie den Basic Shopify-Plan verwenden, verfügt nur die primäre Domain Ihres Shops über eine generierte Sitemap-Datei und ist für Suchmaschinen auffindbar. Wenn Sie den Shopify-, Advanced Shopify- oder Shopify Plus-Plan haben, können Sie die Funktion für internationale Domains verwenden, um regionsspezifische oder länderspezifische Domains zu erstellen. Wenn Sie internationale Domains verwenden, werden Sitemap-Dateien für alle Ihre Domains generiert. Alle Ihre Domains sind für Suchmaschinen auffindbar, es sei denn, sie leiten auf Ihre primäre Domain weiter. (Quelle: Shopify, Finden und Einreichen Ihrer Sitemap)

• Ihre Sitemap befindet sich im Stammverzeichnis der Domain Ihres Shopify-Shops, d. h. Sie finden sie, indem Sie „/sitemap.xml“ zur URL Ihrer Homepage hinzufügen (z. B. „https://www.yourshopifystore.com/sitemap. xml“). Hinweis: Sie können den Speicherort Ihrer Sitemap auch in Ihrer robots.txt-Datei finden – denken Sie daran, dass er in der „Sitemap“-Anweisung angegeben ist.
• Shopify aktualisiert deine Sitemap jedes Mal automatisch, wenn du deinen Shop aktualisierst (z. B. jedes Mal, wenn du ein neues Produkt hinzufügst oder einen neuen Blogbeitrag veröffentlichst).
• Sie können Ihre Sitemap nicht manuell bearbeiten. Wenn Sie eine bestimmte Seite aus der Sitemap Ihres Shops ausschließen möchten, können Sie dies nur über die Shopify-API (über Code) tun. Glücklicherweise gibt es einige Apps, die Ihnen helfen können, wenn Sie nicht technisch versiert sind. Eine solche App ist Smart SEO. Mit nur einem Klick auf die Schaltfläche können Sie die Seiten ausschließen, die nicht in Ihrer Sitemap erscheinen sollen. Dadurch wird ihnen auch ein noindex-Tag hinzugefügt und sie werden von Ihrer Website-Suchseite ausgeschlossen.

Beachten Sie die Kontrollkästchen neben jedem Produkt – wenn ein Kontrollkästchen markiert ist, wird der Status des Produkts auf „Aktiv“ gesetzt. Das bedeutet, dass das Produkt in die Sitemap aufgenommen wird. Wenn Sie ein Produkt aus Ihrer Sitemap ausschließen möchten, müssen Sie lediglich das Häkchen aus der Checkbox entfernen.

Smart SEO hat eine hervorragende Bewertung. Es hat einen kostenlosen Plan und drei kostenpflichtige Pläne. Die Preise beginnen bei 9,99 $/Monat (eine 7-tägige kostenlose Testversion ist verfügbar).

Nachdem Sie nun wissen, was eine sitemap.xml-Datei ist und welche Vorteile sie für Sie hat, gehen wir zum letzten Abschnitt dieses Leitfadens über – der Übermittlung Ihrer Sitemap an die Google Search Console.

Senden Sie Ihre Sitemap an die Google Search Console: Warum ist das wichtig und wie geht das?

Sie können Ihre sitemap.xml-Datei jederzeit an die Google Search Console senden. Dies ist nicht unbedingt erforderlich - Google kann Ihre Sitemap auch dann finden, wenn Sie sie nicht einreichen. Aber es ist wichtig, dass Sie es tun!

Warum? Weil die Übermittlung Ihrer Sitemap an die Google Search Console dem Googlebot hilft, Ihre Webseiten und Ressourcen viel schneller zu crawlen und zu indizieren. Außerdem wird die Übermittlung Ihrer Sitemap an die Google Search Console Ihre Rankings verbessern, Ihre internen Verlinkungsbemühungen erhöhen und letztendlich Ihre Reichweite vergrößern. Einfach ausgedrückt, das Einreichen Ihrer Sitemap gibt Ihnen mehr Aufmerksamkeit und führt zu mehr Verkaufschancen.

So übermitteln Sie Ihre Sitemap an die Google Search Console:

• Stellen Sie sicher, dass Ihre Website nicht passwortgeschützt ist – Google kann sonst nicht auf Ihre Sitemap zugreifen. Erfahren Sie, wie Sie Ihr Shopify-Shop-Passwort entfernen
• Erstellen Sie ein kostenloses Google Search Console-Konto.
• Verifizieren Sie Ihre Domain mit der Google Search Console und bestätigen Sie, dass Sie der Eigentümer Ihres Shopify-Shops sind. Hinweis: Sie können Ihre Domain nicht verifizieren, wenn Ihre Website passwortgeschützt ist.
• Senden Sie Ihre sitemap.xml-Datei an die Google Search Console. Befolgen Sie die hier aufgeführten Schritte → Shopify, Ihre Sitemap finden und einreichen

Fazit

Heute haben wir darüber gesprochen, wie die Suche funktioniert. Wir haben den Unterschied zwischen Crawling, Indizierung und Ranking erklärt und erklärt, was technisches SEO mit jedem dieser Prozesse zu tun hat.

Außerdem haben wir Ihnen gezeigt, wie Sie Google dabei helfen können, Ihren Shopify-Shop schneller und effizienter zu crawlen und zu indizieren, indem Sie:

• Erstellen einer robusten internen Verlinkungsstrategie
• Eine einwandfreie robots.txt-Datei haben
• Eine tadellose sitemap.xml-Datei haben und an die Google Search Console senden

Wenn Sie weitere Fragen haben, schreiben Sie uns einfach unten!

In our next article, we'll focus on website architecture. More specifically, we'll show you how to create a low-depth page hierarchy, a logical URL structure, and intuitive website navigation - these are key steps to building a technically optimized website (and, as you already know, it helps with crawling and indexing as well). So, stay tuned!