Помощь Googlebot стучится в директории с изображениями. Что делать?

D-jack

Мой дом здесь!
Регистрация
8 Дек 2015
Сообщения
349
Реакции
492
Googlebot постоянно пытается сканировать директории, в которых расположены изображения:
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся
И, получает 403 ошибку:
Вот кусочек лога:
Снимок.JPG
На сайте, нигде нет таких ссылок.
У кого-то есть такая же проблема? Или это у меня что-то не правильно работает?
 
Ну не прям чтобы ломится, но в логах есть немного. Правда, Яша.
/var/log/httpd/domains/mysite.log
В robots.txt папка img/ не запрещена. Поэтому стремление понятно.

Само фото, если из админки товара открывать, то оно открывается: Для просмотра ссылки Войди или Зарегистрируйся
А Гугл уже пытается идти по иерархии вверх. А как узнал он - думать надо.

Если хранятся старые логи, то можно посмотреть когда, и что главное - когда впервые, он получил доступ прямому адресу изображения. Хорошо если так, а то вдруг был доступ к директории. Просто если он ломится, то у него в базе есть эти адреса и он стремится их проверять на изменения. Теперь, чтобы убрать из его базы это все, поможет только редирект: ко мне он щимится на адреса товаров, которые были в 2010 году. Пришлось 15000 редиректов скормить, теперь перестал щимится. Не уверена, если снять редиректы, то не попытается снова ли нащупать 404-тых мешок. :D

Вполне, что очень давно был доступ ко всей структуре /img/p/...
Главное что сейчас доступа нет. Осталось понять почему и когда он был. В моём случае несколько десятков попыток Яндекса, но тупо на картинку. Хотя сейчас всё сделано через медисерверы, а открывает он по старым адресам, без медиасервера. То есть нечто старое мурыжит.

Это если я все правильно понимаю.

Но существует и другой вариант. Кто-то слил ссылки на ваши картинки, чтобы Гугл наложил санкции за ошибки. Хоть и говорят, что ошибки не влияют, но опыт с 15000 редиректами мне говорит обратное.
 
В robots.txt папка img/ не запрещена.
У меня в роботсе тоже не запрещена индексация. Да и нельзя ее запрещать...
Само фото, если из админки товара открывать, то оно открывается: Для просмотра ссылки Войди или Зарегистрируйся
Да, верно. Прямые ссылки есть только в админке.
В фронт-офисе все ссылки на изображения такого формата:
Для просмотра ссылки Войди или Зарегистрируйся
Как гугл узнал о том, что есть ссылки формата /img/p/3/4/1/3/3873.jpg не понятно.
Возможно, когда-то, из-за неправильной настройки и были открыты ссылки такого формата.
Но, почему, в таком случае, он не пытается просканировать изображение? Ведь оно доступно по ссылке Для просмотра ссылки Войди или Зарегистрируйся
Он лезет именно по таким адресам: Для просмотра ссылки Войди или Зарегистрируйся
 
можно закрыть от поиска просто добавив в верхнюю папку (в img) index.html
 
можно закрыть от поиска просто добавив в верхнюю папку (в img) index.html
Можно по подробнее?
Имеется ввиду добавить index.html так, чтоб получился такой путь?
Для просмотра ссылки Войди или Зарегистрируйся

Как именно этот метод должен сработать?
 
робот получит ответ 200 и по идее дальше не будет стучаться.
Сейчас в /img есть index.php
Я так понимаю, что эфект должен быть тот же самый.
Если перейти по ссылке Для просмотра ссылки Войди или Зарегистрируйся идет переадресация на главную страницу
 
Сейчас в /img есть index.php
Я так понимаю, что эфект должен быть тот же самый.
Если перейти по ссылке Для просмотра ссылки Войди или Зарегистрируйся идет переадресация на главную страницу
Мда вообще этого эффекта мы и добивались, чтобы скрыть остальные папки от поисковых ботов. просто в других движках это помогает, в некоторых залит файл index.php в других index.html это скрывает вообще многое для постороних глаз.
 
Хоть и говорят, что ошибки не влияют, но опыт с 15000 редиректами мне говорит обратное.

У меня тоже есть подозрение, что эти ошибки негативно влияют.
В GSC они отображаются:

Скрытое содержимое доступно для зарегистрированных пользователей!
 
Мда вообще этого эффекта мы и добивались, чтобы скрыть остальные папки от поисковых ботов. просто в других движках это помогает, в некоторых залит файл index.php в других index.html это скрывает вообще многое для постороних глаз.
index.php есть только в /img и /img/p
А вот дальше по структуре папок уже нет.
Положить в каждую папку index.php ?
 
Назад
Сверху