Per molto tempo, Google ha consigliato agli sviluppatori di siti web di fare cose semplici al fine di garantire che gli spider dei motori di ricerca siano in grado di trovare le pagine ed altri contenuti di un sito e di elaborarli con successo:
Utilizza un browser di testo come Lynx per esaminare il tuo sito, in quanto la maggior parte degli spider dei motori di ricerca rileva il sito allo stesso modo di Lynx. Se funzioni creative come JavaScript, cookie, ID di sessione, frame, DHTML o Flash ti impediscono di visualizzare l’intero sito in un browser di testo, anche gli spider dei motori di ricerca potrebbero riscontrare problemi durante la scansione del tuo sito.1
In realtà, Google trova spesso i link inseriti in oggetti Flash, una capacità che è migliorata notevolmente, come lo scorso giugno (l’annuncio in inglese ha creato molta confusione visto che presentava questa capacità come novità piuttosto che come miglioramento). Nonostante tutto il rumore, sussistono ancora buoni motivi per evitare Flash.
JavaScript si è rivelato un altro vaso di Pandora. I primi crawler dei motori di ricerca e strumenti di indicizzazione non erano abbastanza sofisticati per elaborare il codice JavaScript. Eppure, osservatori astuti hanno fatto notare che Google ha scaricato file esterni del tipo JavaScript quando essi erano indicati nelle tag html