Google erklärt in einer neuen Dokumentation, wie Content Delivery Networks (CDNs) das Crawling und die Suchmaschinenoptimierung (SEO) beeinflussen. Dabei wird beschrieben, wie CDNs das Crawling durch Googlebot beschleunigen können, aber auch, welche Probleme auftreten können.
Was ist ein CDN?
Ein Content Delivery Network (CDN) ist ein Dienst, der Webseiten-Inhalte von einem Server ausliefert, der geografisch näher am Nutzer liegt. Das CDN speichert eine Kopie einer Webseite zur Verbesserung der Ladegeschwindigkeit und reduziert so die Hops (Zwischenschritte) im Internet, die der Datenfluss benötigt. Dies optimiert die Seitenauslieferung und schafft eine bessere Nutzererfahrung.
Wie CDNs das Crawling verbessern
Google erhöht automatisch die Crawling-Rate, wenn erkannt wird, dass eine Webseite über ein CDN ausgeliefert wird. Das liegt daran, dass ein leistungsfähigeres System erkannt wird, das mehr Anfragen handhaben kann. Das bedeutet, dass Webseiten häufiger von Googlebot durchsucht werden können, was vor allem bei großen Seiten mit vielen Unterseiten vorteilhaft ist.
Allerdings müssen die Inhalte einer Webseite beim ersten Zugriff direkt vom Ursprungsserver geladen werden, bevor sie im CDN „zwischengespeichert“ werden. Dabei warnt Google davor, dass dies die Ressourcen eines Servers erheblich beanspruchen kann, wenn viele neue URLs gleichzeitig hinzukommen.
Probleme mit CDNs beim Crawling
Google weist auch darauf hin, dass CDNs gelegentlich problematische Fehler zurückgeben können, die das Crawling negativ beeinflussen. Dabei gibt es zwei Arten von Blockaden:
- Harte Blockaden: Diese treten auf, wenn ein Server einen schwerwiegenden Fehler wie einen 500- oder 502-Statuscode zurückgibt. Solche Fehler signalisieren Googlebot, die Crawling-Rate zu reduzieren, was dazu führen könnte, dass die betroffenen URLs mit der Zeit aus dem Google-Index entfernt werden.
- Weiche Blockaden: Diese entstehen beispielsweise, wenn ein CDN-Bot-Captcha oder Interstitials (Pop-ups) anzeigt, ohne einen entsprechenden 503-Statuscode auszugeben. Dadurch interpretiert Google diese Seiten unter Umständen falsch.
Empfehlungen von Google
Mit Tools wie der URL-Inspektionsfunktion in der Google Search Console können Webseitenbetreiber überprüfen, wie ihre Seiten vom CDN ausgeliefert werden. Falls Probleme auftreten, rät Google dazu, die Firewall oder andere Sicherheitslösungen des CDNs zu überprüfen. Es ist wichtig, sicherzustellen, dass Googlebot-IP-Adressen korrekt erkannt und nicht blockiert werden.
Google legt Betreibern nahe, dass es sinnvoll ist, regelmäßig die Blocklisten zu prüfen, um sicherzustellen, dass wichtige Crawler wie Googlebot nicht unbeabsichtigt ausgesperrt werden.
Mehr zur Dokumentation und weiteren Best Practices findest du direkt bei Google.
Fazit
CDNs bieten viele Vorteile für SEO, können aber auch technische Herausforderungen mit sich bringen. Mit den richtigen Vorkehrungen kannst du jedoch sicherstellen, dass deine Inhalte effizient indexiert werden und keine wertvollen Suchplatzierungen verloren gehen.
