Сайт для сапы, часть 2

Статус
В этой теме нельзя размещать новые ответы.
Есть сайт (полузаброшенный, но маленько пузатый) на 15-18 тысяч страниц. Сапа нашла около 1000. Имеет смысл какими-либо ухищрениями пихать туда больше?
И второй вопрос из первого вытекает — гугловский (и Яшечный теперь) xml сайтмап в этом деле помогает?
 
kaveo, у сапы всегда были проблемы с индексацией многотысячестраничных сателлитов. Цифра 1000 является заветной, обычно столько сапа и находит по максимуму. Найти больше тысячи для нее является уже большой проблемой.
 
Много от перелинковки внутренней зависит, 2100 страниц увидела на последнем добавленом сайте (правда в индексе все 5 000).
 
Azalin написал(а):
kaveo, у сапы всегда были проблемы с индексацией многотысячестраничных сателлитов. Цифра 1000 является заветной, обычно столько сапа и находит по максимуму. Найти больше тысячи для нее является уже большой проблемой.
Нажмите для раскрытия...
неправда ваша :)
если у сайта правильная страктура и хостинг не совсем гомнохост (выдержит парсинг сайта) - сапа найдет до 22к страниц (150х150)
(хотя лично у меня рекорд гдето на уровне 4к.)
 
вроде на главной она 500 ссылок ищет?
150*500= 75k выходит ))
 
EugeneVC написал(а):
вроде на главной она 500 ссылок ищет?
150*500= 75k выходит ))
Нажмите для раскрытия...

именно так, максимальное кол-во страниц 75к
Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.
2) Неверная структура - например, кто-то решил вывалить километровую карту сайта, чтобы за счет нее целиком вогнать сайт в систему и поставил ссылку на нее с главной. Но у нашего бота есть ограничение по кол-ву внутренних ссылок, по которым он переходит дальше. Для главной - 500, для 2-го уровня - 150.
Нажмите для раскрытия...

Вопрос такой, есть сайт с менюшкой из выпадающего списка из 160 элементов, стоит "выше" остальных ссылок по html, т.е. индексируется первой. Менюшка - на каждой странице, на сайте 800 новостей, по 20 новостей на страницу (нумерация страниц в самом низу). При индексации бот сапы забирает ссылки из меню и все остальное, переходит на внутреннюю, где 20 новостей, но с внутренней может забрать только 150 ссылок на страницы, а с самого начала натыкается на меню из 160 ссылок, т.е. остальное он не индексирует. Как работает бот сапы, собирает первые 150 ссылок на странице, или выбирает 150 тех, которые еще не попали в индекс, тоесть "забивает" на менюшку (ссылки с которой получил уже с главной страницы) и индексирует дальше? Надеюсь написал не сильно запутанно))
 
Статус
В этой теме нельзя размещать новые ответы.
Назад
Сверху