Информация Генератор robots.txt

Статус
В этой теме нельзя размещать новые ответы.

Бобр Добр

Профессор
Регистрация
17 Янв 2010
Сообщения
242
Реакции
37
Привет всем вот написал маленький скрипт который на автомате создаёт robots.txt. Может кому то будет полезен)

PHP:
<?php
$string = 'User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.{domen}

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Sitemap: http://{domen}/sitemap.xml';

$string=str_replace('{domen}',$_SERVER['HTTP_HOST'],$string);
$fp = fopen('robots.txt', 'w');

fwrite($fp, $string);
fclose($fp);

?>
 

aquatory

Создатель
Регистрация
29 Апр 2010
Сообщения
15
Реакции
0
ну наконец-то, хоть кто-то решился автоматизировать задачу создания robots.txt (без плагинов), скрипт работает, файл прописывается... Возник тут же вопрос, возможно ли создание robots.txt с удаленного сервера одновременно на разных своих блогах?
 

Kores

Создатель
Регистрация
11 Янв 2009
Сообщения
33
Реакции
3
Отлично, я когда искал нашел ссылку Для просмотра ссылки Войди или Зарегистрируйся
проверил по вашему скрипту, все получается точно так же
 

Бобр Добр

Профессор
Регистрация
17 Янв 2010
Сообщения
242
Реакции
37
ну наконец-то, хоть кто-то решился автоматизировать задачу создания robots.txt (без плагинов), автору благодарность, скрипт работает, файл прописывается... Возник тут же вопрос, возможно ли создание robots.txt с удаленного сервера одновременно на разных своих блогах?
Ну тогда нужно через ftp заливать по другому не как... если очень нужно напишите в личку.
ПС. не нужно писать сообщение типа спасибо есть же кнопка для этих целий.
 

aquatory

Создатель
Регистрация
29 Апр 2010
Сообщения
15
Реакции
0
Hi,Bobr Dobr. Вопрос об ftp даже не обсуждаеца, сайтов сотни (много сотен) и их редактирование займет массу времени, поэтому и возник предыдущий вопрос на будущее. Фраза: "если очень нужно..." неоднозначная, у тя есть варианты (задумки) или нет?
 

drawing4

Профессор
Регистрация
21 Ноя 2008
Сообщения
323
Реакции
37
Hi,Bobr Dobr. Вопрос об ftp даже не обсуждаеца, сайтов сотни (много сотен) и их редактирование займет массу времени, поэтому и возник предыдущий вопрос на будущее. Фраза: "если очень нужно..." неоднозначная, у тя есть варианты (задумки) или нет?

Простите мою неграмотность. А зачем его менять даже если сотни сайтов. Сделал сайт, сделал роботс и все. Когда правишь сайт тогда и роботс можно поправить если нужно. Я чего-то не могу понять актуальности задачи
 

aquatory

Создатель
Регистрация
29 Апр 2010
Сообщения
15
Реакции
0
скрипт от BobrDobr берет данные внутри скрипта и прописывает их в rodots.txt, У мня сайты сделаны давно (по несколько лет) с предустановленым плагином, который где-то там в мета-тегах прописывал настройки роботс (которые я не вижу), поэтоиу не было самого robots.txt... Я же хочу подкачивать эти данные с удаленного сервера (вот и фсе), инет на месте не стоит и завтра появяться новые правила, боты, алгоритмы и т.д. Отредактировав один файл блабла.txt с данными, одновременно поменяется картина на фсех сайтах. Так думаю понятно?
Ребята помогите найти скрипт подкачки и кэширования данных без исп.DB, не знаю в какой категории развить эту тему:thenks:
 

Plazik

Создатель
Регистрация
25 Июн 2008
Сообщения
8
Реакции
1
А смысл этого скрипта? rodots.txt создает один раз и про него можно забыть, а этот скрипт будет постоянно делать нагрузку на сервак.
 
Статус
В этой теме нельзя размещать новые ответы.
Сверху