Google’s Crawler Googlebot erhält gerade eine Zusatzausbildung: Er lernt, auch Inhalte, die erst mittels AJAX dynamisch nachgeladen werden, für die Indizierung zu nutzen. Diese Konstrukte werden ja auf modernen Websites immer mehr eingesetzt und der Crawler kam bisher nicht dran. Jetzt kann er sogar selbst POST-Requests auslösen, um solche Inhalte abzufragen. Wie das geht, beschreibt Google im Webmaster Central Blog.
Allerdings tauchen auch erste und nachvollziehbare Fragen der Webmaster auf. So zum Beispiel die, ob dabei nicht ungewollte Nutzeraktionen vorgegaukelt und damit die Statistiken verfälscht werden. In dem Zusammenhang erinnert Google nur an die Roboter-Steuerdatei robots.txt, mit der man das Verhalten der Webcrawler dirigieren kann.
