Таблица с данными из раздела «Последние изменения» включает в себя информацию только по страницам, статус которых был изменен — например, они были добавлены в поиск или, наоборот, выпали из него. При этом информации по каждой такой изменившейся странице представлено больше, чем в предыдущей выгрузке, а именно:
updateDate — дата обновления поисковой базы;
url — адрес страницы;
httpCode — HTTP-код, полученный роботом во время последнего обхода;
status — статус страницы;
target — адрес страницы, на которую происходит перенаправление со страницы, указанной в поле url, или страница, дублем которой является текущая;
lastAccess — дата последнего посещения страницы роботом;
title — заголовок страницы (HTML-элемент title);
event — действие, произведенное со страницей (добавление или исключение из поиска).
Теперь решать такие задачи, как найти все исключенные или только что добавленные в поиск страницы, страницы с конкретным HTTP-ответом, дубли или все страницы без title, стало еще проще.
MegaIndex планирует добавить функционал по анализу этих данных для проектов, созданных пользователями в системе.
Обсуждение