Update: 09-AUG-1999
Suchtiefe DAS WEB WäCHST IMMER SCHNELLER, DOCH DIE SUCHMASCHINEN HALTEN NICHT SCHRITT
Auch für Suchmaschinen gibt es Grenzen: Obwohl deren Indexierungs-Software riesige Datenmengen schaufelt, wird doch nur ein Ausschnitt des WWW erfaßt. So sind bestimmte Inhalte des Webs für Suchmaschinen nicht zugänglich, wenn sie
nach den Konventionen des sogenannten Robots exclusion-Standards durch einen entsprechenden Befehl im HTML-Code von der Indexierung ausgeschlossen werden
durch Passwort geschützt sind
nur durch Formular-Abfragen zugänglich sind (z.B. Artikel-Datenbanken)
Hinzu kommt: Die Inhalte verändern sich schneller, als die Software-Indexer arbeiten - einzelne Websites sogar mehrmals täglich. Und schließlich ist es um so unwahrscheinlicher, dass eine Site, die nicht bei einer Suchmaschine angemeldet worden sind, gefunden wird, je weniger Links von ausserhalb auf diese Site verweisen.
Selbst wenn man all diese Limitierungen anrechnet, so ist es doch desillusionierend, wie schlecht tatsächlich die führenden Suchmaschinen das Web durchdringen. Dieser Eindruck stellt sich zumindest ein, wenn man den Untersuchungen der Wissenschaftler Steve Lawrence und C. Lee Giles vom NEC Research Institute in Princeton Glauben schenkt. Sie haben in Testreihen vom Dezember 1997 und Februar 1999 die "Coverage" der Suchmaschinen untersucht und dabei festgestellt, dass deren Indexe mit dem Wachstum des Webs nicht Schritt halten konnten.
In ihrer Studie rechnen die Wissenschaftler die Gesamtzahl der frei indexierbaren Webseiten auf 800 Millionen hoch. Zum Vergleich: 1997 waren es nur 320 Millionen. Gemessen an diesem sprunghaften Wachstum ist der Umfang der Suchmaschinen-Datenbanken stagniert. Prozentual ergibt sich sogar ein signifikanter Abfall: Während 1997 der größte Index noch 34 Prozent der frei indexierbaren Webseiten erfaßte, waren es im Februar 1999 nur noch 16 Prozent.
Immerhin: Zusammen kommen alle elf geprüften Suchmaschinen mit ihren Datenbanken auf eine Abdeckung von 42 Prozent. Die Wissenschaftler raten deshalb zur Verwendung von Metasuchmaschinen, um kombinierte Trefferlisten zu erhalten. Auch in Sachen Aktualität gab es schlechte Noten: Zwischen der Meldung einer Website und deren Aufnahme in die Datenbanken vergingen durchschnittlich sechs Monate, fanden die Forscher heraus.
Doch muss die schiere Masse nicht immer den Ausschlag geben. "Die meisten Anfragen an Suchmaschinen können mit einem relativ kleinen Index zufriedengestellt werden", schreiben die Wissenschaftler. Anstatt das aufwendige und kostspielige Ziel zu verfolgen, immer mehr Dokumente zu indexieren, würden die Suchmaschinen-Betreiber ihr Geld lieber in andere Ressourcen wie freie Emaildienste investieren. Es sei auch nicht notwendig, dass eine Seite indexiert wird, um sie erreichbar zu machen, bahaupten Lawrence und Gilles: "Eine geeignete Suchanfrage dürfte eine andere Seite lokalisieren, die wiederum zu der gesuchten Seite verlinkt."
