Как узнать, когда на сайт заходил поисковый бот?

Скрипты

Нередко владельцам сайтов бывает нужна информация об индексации их ресурсов поисковыми системами. Сделать это можно с помощью специальных программ, анализирующих лог-файлы сервера (пример: AlterWind Log Analyzer), некоторых бесплатных сервисов статистики (пример: Liveinternet), или же небольшим скриптом PHP, о котором пойдет сегодня речь.

Итак, буду краток.

Вот код файла bot.php

<?
if (strstr($_SERVER['HTTP_USER_AGENT'], 'Yandex')){ $bot='Yandex';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'Googlebot')){$bot='Google';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'Mediapartners-Google')){$bot='Mediapartners-Google (Adsense)';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'Slurp')){$bot='Hot Bot search';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'WebCrawler')){$bot='WebCrawler search';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'ZyBorg')){$bot='Wisenut search';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'scooter')){$bot='AltaVista';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'StackRambler')){$bot='Rambler';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'Aport')){$bot='Aport';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'lycos')){$bot='Lycos';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'WebAlta')){$bot='WebAlta';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'yahoo')){$bot='Yahoo';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'msnbot')){$bot='msnbot/1.0';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'ia_archiver')){$bot='Alexa search engine';}
else if (strstr($_SERVER['HTTP_USER_AGENT'], 'FAST')){$bot='AllTheWeb';}

if($bot !=""){
$b_data = "bots.txt";
$inf = date("YmdHis",time());
$day = date("d.m.Y",time());
$time = date("H:i",time());
$ip = $REMOTE_ADDR;
$home = $_SERVER['HTTP_HOST'] . $_SERVER['REQUEST_URI'];
$data = fopen($b_data, "a");
fwrite($data, "$inf|$day|$time|$bot|$ip|$home|rn");
fclose($data);
}
?>

Этот код отслеживает заходы на ваш сайт 15 различных ботов. Естественно, список можно расширить - тут представлены далеко не все из существующих.

Использовать его можно следующим образом: допустим, ваш сайт имеет некий шаблон, и для его "сборки" используются файлы header.php ("шапка" сайта) и footer.php ("подвал"). Как правило, эти файлы вставляются в начале и в конце каждой страницы сайта.
Чтобы велась статистика о заходах поисковых ботов в данном случае вам необходимо добавить в файл header.php следующий код:

include("bot.php");

Теперь все заходы ботов будут фиксироваться и сохраняться в файле bots.txt на вашем сервере.