Search engine crawlers may look at a number ofwel different factors when crawling a site. Not every page kan zijn indexed by search engines. The distance of pages from the root directory ofwel a site may also be a factor in whether or not pages get crawled.[42]Het is niet bekend op welke manier De zoekmachines omgaat betreffende een waarde aangaand