Веб-индексирование — это автоматический процесс сбора информации о сайтах поисковыми роботами для последующего полнотекстового поиска. В базу данных попадают ключевые слова, статьи, ссылки, документы, а также изображения и аудио, при этом существуют ограничения на индексацию JavaScript и Flash-файлов. Управлять индексацией можно с помощью файла robots.txt (директивы Disallow, Allow, User-agent, Crawl-delay) и специальных тегов <noindex> и <nofollow>, которые блокируют содержимое для Яндекс и Google соответственно. Среди современных методов обработки данных выделяются латентно-семантическое индексирование (LSI) и вероятностный латентно-семантический анализ (PLSA), которые позволяют учитывать смысловые связи между словами. Это ключевой механизм, определяющий, какие страницы появятся в выдаче по вашему запросу.