В этой программе есть все необходимое Вам для того, чтобы управлять и контролировать визиты пауков поисковых систем, индексирующих ваш веб-сайт. В отличие от других продуктов, данная программа содержит не только редактор стандартизированных файлов для контроля пауков robots.txt, но также и Анализатор лог-файлов веб-серверов, который распознает более 150 поисковых роботов.
Программное обеспечение позволит Вам оптимизировать Ваш веб-ресурс для поисковых машин. Больше не нужно тратить время, создавая файл robots.txt вручную и все время сомневаясь, правильно ли он отформатирован.
Вы сможете: Визуально генерировать стандартные файлы robots.txt; Идентифицировать нежелательных роботов и запрещать им доступ к Вашему сайту; Направлять поисковых роботов к соответственным страницам многоязычных сайтов; Использовать файлы robots.txt для управления doorway-страницами; Не допускать роботов в системные области Вашего сайта; Загружать правильно отформатированный файл robots.txt прямо на ваш FTP-сервер прямо из редактора robots.txt; Отслеживать посещения роботов; Создавать отчеты о посещениях роботов в форматах HTML, Microsoft Excel CSV и XML.
Краткая информация о Роботах и ROBOTS.TXT
Если Вы поддерживаете веб-сайт, то, вероятно, не раз замечали некоего пользователя, который в быстром темпе загружает к себе один за другим десятки, а то и сотни документов. Видимо, это тот случай, когда ваш узел посетила программа, называемая вебмастерами пауком (спайдером) или Web-агентом.
Роботы — это автоматизированные программы, а пауки (spiders) — один из видов роботов — непрерывно ползают по веб, переходя с одной страницы на другую, с целью сбора данных о самой Web и формирования централизованной базы данных с индексами содержимого Web. Такие популярные поисковые сайты Internet, как Rambler, Yandex, Google, AltaVista и др., используют пауков для индексирования веб-сайтов. Это облегчает пользователям поиск всех Web-страниц, содержащих информацию, скажем, об алгоритме MD5 Message Digest Algorithm или о состоянии туристической