SEO: Crawlen und Indexierung von Websites durch Suchmaschinen

Berlin (ptp027/08.08.2023/19:31) - Eine Website, die Suchmaschinen unbekannt ist, kann auch kein gutes Ranking erreichen. Somit sind das Crawlen und die anschließende Indexierung einer Website eines der Fundamente, auf der die Suchmaschinenoptimierung beruht. Beide Prozesse können von Website-Betreibern beeinflusst werden. Durch Robots-Meta-Tags weist man Webcrawlern wie dem Googlebot die Richtung und zeigt ihnen auf, wie sie die Seite handhaben sollen. Darüber hinaus bieten inhaltliche Meta-Tags eine Möglichkeit, den Content der jeweiligen Seite verständlich und prägnant zusammenzufassen.

Über die Funktion von Webcrawlern

Damit eine Website in den Suchergebnissen von Suchmaschinen wie Google erscheint, muss sie im ersten Schritt gecrawlt werden. Dieser Vorgang beschreibt die Untersuchung der Website durch einen Bot, auch Webcrawler genannt. Zu den Daten, die er während seines automatisierten Besuchs zusammenträgt, zählt einerseits der sichtbare Content einer Website, sprich das Frontend. Andererseits sammelt er auch Informationen, die sich im Seitenquelltext befinden. Dabei handelt es sich unter anderem um Meta-Angaben wie den Titel der Seite, ihre Beschreibung sowie Robots-Meta-Tags. Die gebündelten Daten werden nachfolgend zur Indexierung an die Suchmaschine weitergegeben. Sobald sie verarbeitet wurden, wird die Website im Index gespeichert und kann in den Suchergebnissen erscheinen.
Ein Ablauf, der eine Grundvoraussetzung für die Suchmaschinenoptimierung ist – denn ohne Indexierung gibt es auch kein Ranking.

Angaben zu den Inhalten auf einer Website

Meta-Angaben können aktiv von Website-Betreibern gepflegt werden. Hier nehmen das Title-Tag sowie die Meta-Description eine wichtige Rolle ein. Sie liefern Auskunft darüber, welches Thema die jeweilige Seite behandelt. Der Webcrawler nutzt die Informationen, die im Title-Tag und der Meta-Description hinterlegt wurden, als kontextuellen Rahmen für die Inhalte im Hauptteil der Seite. Insofern haben diese Angaben einen Einfluss auf das Verständnis der gesamten Seite seitens der Suchmaschine. Ein gutes Verständnis ist wiederum eine entscheidende Grundlage, wenn die Relevanz des Contents zu einer Suchanfrage abgeglichen wird. Darüber hinaus werden der Seitentitel und die Beschreibung zur Darstellung der Website in den Suchergebnissen herangezogen. Daher sollten sie nicht nur informativ, sondern auch ansprechend sein, um die Click-Through-Rate zu steigern. Schon daraus zeigt sich, wie wichtig diese Meta-Angaben für den Erfolg der SEO-Strategie sind. Webcrawler durchsuchen nicht nur Inhalte, sondern auch Links, die sich auf der Seite befinden. Mit dem "rel-Attribut" können Website-Betreiber aufzeigen, in welchem Verhältnis ihre eigene Website mit der verlinkten Website steht. Links sind sowohl Verweise als auch Empfehlungen, die bei der Suchmaschinenoptimierung eine große Rolle spielen. Mit dem "nofollow"-Attribut weist man den Webcrawler darauf hin, dem Link nicht zu folgen. Dementsprechend wird die Empfehlung entkräftet. Weitere Attribute sind "ugc", welches für nutzergenerierte Inhalte steht, sowie "sponsored", das auf werbliche Links hinweist. Um zu steuern, wie ein Webcrawler mit einer Seite umgeht, ist die gezielte Anwendung von Robots-Meta-Tags essenziell. Weitere Informationen zu diesem Thema unter https://www.goodranking.eu/google-und-robots-meta-tags/.

Crawl-Verhalten durch Robots-Meta-Tags aktiv beeinflussen

Eine Website setzt sich klassischerweise aus mehreren Unterseiten zusammen. Diese können sich auf vielfältige Weise unterscheiden. Unter anderem auch darin, ob und wie sie indexiert werden. Möchte man beispielsweise nicht, dass eine Seite indexiert wird, kann man dies mit entsprechenden Meta-Angaben festgelegt werden. So beruhen die Grundlagen zu Robots-Meta-Tags und deren Nutzung darauf, dass Webcrawler direkt angesprochen werden und Hinweise vom Website-Betreiber erhalten. Sei es der Ausschluss von der Indexierung, die Einschränkung von Text-Snippets in den Suchergebnissen oder die Verhinderung einer automatischen Übersetzung: Es gibt zahlreiche Anweisungen, die auch in Kombination eingefügt werden können. Vorausgesetzt, dass sie sich nicht gegenseitig ausschließen. Besonders bei SEO-relevanten Seiten sollte unbedingt darauf geachtet werden, dass die Robots-Meta-Tags so eingerichtet sind, dass eine reibungslose Indexierung ermöglicht wird.

(Ende)