Что такое «поисковый робот»?

Робот – это элемент поисковой системы, который отвечает за индексацию интернет ресурсов. Простыми словами, это программа, которая сканирует содержание сайта и передает данные для дальнейшей обработки.

Поисковый бот состоит из двух частей: первая просматривает и «запоминает» контент страницы (например, текст, картинки, видео и т.д.), а вторая – направляет работу робота путем поиска ссылок на другие ресурсы.