Меню

Настройка robots txt для ucoz



Robots.txt для uCoz: что это и как изменить

Эта запись написана мною в 2012 году. В те времена деревья были высокими, а доллар стоил меньше 40 рублей. С тех пор прошло много времени и многое изменилось. Учитывайте это, читая.

Очень давно сюда не писал — сначала не знал о чём писать, потом как-то то было лень, то времени не было. В общем плохо это, забрасывать блог. В любом случае этот момент настал и я пишу очередной пост, на этот раз о файле robots.txt

Файл вы можете найти по ссылка ваш_сайт.ru/robots.txt (для моего блога — blweb.ru/robots.txt ). У системы uCoz по-умолчанию есть такой стандартный файл:

Он вполне пригоден для большинства сайтов и если вы не полностью понимаете как и зачем менять robots.txt — лучше этого не делайте — можете только навредить.

Файл robots.txt создан специально для поисковых роботов. Они видят в нём инструкции по индексации сайта, вы можете в нём сообщить поисковику, к примеру, что можно индексировать, а что нельзя.

Теперь разберём стандартный юкозовский robots:

User-agent: * — это означает, что дальнейшие инструкции предназначены для всех поисковых роботов (на самом деле предназначены для всех остальных роботов, которые ещё не были указаны отдельно, но у нас в стандартном файле ни один из роботов отдельно не указывается). Можно указывать конкретного робота и указывать только ему. Для Яндекса это будет выглядеть так:

Другие роботы имеют другие названия: Для Google — Googlebot (инструкция User-agent: Googlebot), для Yahoo — Yahoo! Slurp и так далее.

Далее у нас идёт ряд инструкция с «Disallow«. Это означает запрет на индексацию определённых страниц.

Disallow / — запрещает индексировать весь сайт

Disallow /name — запрещает индексировать всё, что начинается c ‘/name’

Disallow /name/ — запрещает индексировать весь каталог name (т.е. если есть страницы site.ru/name/blablabla — они все запрещены к индексации)

Далее в стандартном файле есть команда Sitemap со ссылками на xml карты сайта:

Это так же стандартные файлы в системе uCoz, для чего они нужны я напишу как-нибудь в другой раз. Впрочем название намекает на их значение.

На этом инструкции стандартного юкозовсокого robots.txt заканчиваются, тем не менее существуют и другие полезные вещи, которые вы можете использовать самостоятельно:

Allow — обратная инструкция Disallow. Разрешает индексацию. Т.е. если вы пропишите

Будет индексироваться только каталог blog

При указании путей можно использовать символы * и $

* означает любую последовательность символов (а так же пустую)

$ отменяет действие * (по умолчанию * приписывается к концу каждого пути. т.е. /name/ означает /name/*)

Host — эту инструкцию используют для указания главного зеркала сайта. Т.е. если ваш сайт доступен по адресам site1.ru, site2.ru и site3.ru, а вы хотите что бы в поиске виден был именно site1.ru, вы прописываете

Есть ещё некоторые инструкции, но они вам вряд ли понадобятся.

Источник

Правильно настраиваем robots.txt на ucoz

В интернете, нашел много ГЕНЕРАТОР ФАЙЛОВ ROBOTS.TXT что могу сказать о них. Да некоторые выдают robots.txt, но он не полный. Мой совет не доверять таким онлайн сервисом. Так как это главная часть индексация сайта. Как пропишите его, так и будит индексировать ваш сайт. Не которые так прописывают что robots.txt не пускают поисковых ботов чтоб индексировали сайт.

Мне на многих блогах и сайтов у которых тематика CEO. Скажу сразу а не обращаюсь на сайты ucoz за такими консультациями. В 99% вам там наобещают все исправить за ваши деньги. А будут исправлять и составлять школьники у которых шапочное знание и у них одна цель только деньги. Чайки епть, больше не могу их назвать.

Читайте также:  Вордпресс настройка для мобильных устройств

И вот мне посоветовали с robots.txt убрать этот раздел.

Как мне объяснили он там совсем не нужен.

Не которые на сайтах ucoz сне вообще предлагали убрать robots.txt. Да есть такие умника, как описал выше.
Спросите что будит если убрать, или у каго нет robots.txt.
Ну первым скажу у каго нет robots. Вы скажите в поиске много страниц, но вы посмотрите внимательно поисковые ссылки. Там больше хлама поискового. Это к примеру пользователи, их персональная страница и данные. И скажу оно вам надо. Кто пойдет по такой поисковый ссылке. Так как не имения файла robots боты поисковые копируют в поиск что первое попадется и чтоб была немного уникальное. А персональные страницы скажем они все уникальные, так как нет не одной похоже.

Что я хотел этой статьей сказать? Файл robots.txt он нужен на сайте, но настроен должен быть под ваш сайт. Как мне сказали на системе uCoz головника не надо поставить стандартный robots и не каких проблем.

Вот так выглядит стандартный robots.txt взят с официального сайта ucoz

200?’200px’:»+(this.scrollHeight+5)+’px’);»> User-agent: *Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=

Sitemap: http://сайт/sitemap.xml
Sitemap: http://сайт/sitemap-forum.xml
Sitemap: http://сайт/sitemap-shop.xml

Но если у вас куплен домен, вам нужно прописать его в файле.

Чтоб не было зеркало. Просто замените на свой сайт. Будит выглядеть так:

200?’200px’:»+(this.scrollHeight+5)+’px’);»> User-agent: *Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=

Sitemap: http://сайт/sitemap.xml
Sitemap: http://сайт/sitemap-forum.xml
Sitemap: http://сайт/sitemap-shop.xml

Но вот как то так. Хлам в поиск пускать не будит, всем поисковым ботом разрешается зайти на ваш сайт и искать что то новое. Первое что они ищут ссылки новые потом описание.

Думаю понятно объяснил, если делаете оптимизацию сайта, мой совет спросите, будит ли изменение в файле robots.txt. Если чел ответит, что он и так настроен хорошо. Я бы такому человеку не доверил. Так как делается оптимизация сайта «Внутренне» Все равно связано с файлом.

Вот таким образом мы запрещаем поисковым системам читать наши «sekretiki» (сам директория и адреса начинающие на нее под запретом):

Спецсимволы и комментарии:

Для того, чтобы запретить только сам раздела без его содержимого, на конце ставится знак $:

Таким образом, дирректория «/sekretiki» запрещены к индексации, но «/sekretiki.html» допустимы.

Для использования в адресе переменные, используйте звездочки:

С помощью этих символов, можно сделать правило на запрет индексирования страниц дублей:

Код можно комментировать. Все что находится после # в строке не читается:

200?’200px’:»+(this.scrollHeight+5)+’px’);»> User-agent: * # Приветствую всех роботов
Allow: /sekretiki/ # Разрешаю секретики
Disallow: / # Запрещаю индексировать все остальные страницы

User-agent: GoogleBot # Приветствую только робота Google
Disallow: /sekretiki/ # А вот ему я запрещаю именно секретики

Источник

Photoshop cs8

Скачать фотошоп cs8

Скачать бесплатно photoshop cs8 по прямой ссылке

После того, как выделили заголовки – займитесь основным текстовым контентом. Количества текста на странице должно быть не менее 400 символов.

Текст должен быть:
— уникальным;
— написанным для людей;

В тексте несколько (не переусердствуйте!) ключевых слов следует выделить тегом

Дополнительно желательно в футере сайта (в нижней части сайта, где обычно пишется «все права защищены») добавить 1-2 предложения с ключевыми словами:
Пример:

Шаг 5. Перелинковка
С одной стороны перелинковка – важный элемент оптимизации.
С другой стороны, если перестараться или сделать что-то неверно, то результаты могут быть не такие, которые вы ожидаете.

Читайте также:  Рим 2 системные требования для ультра настроек

Поэтому, если вы не уверены в собственных силах – лучше пропустить этот пункт, так как без специальной перелинковки и так будет всё прекрасно индексироваться.

Итак, как же делать правильную перелинковку?
Для этого на каждой внутренней странице следует разместить ссылки на другие внутренние страницы. Всё просто. Частично это решается путем создания информера «похожие материалы».

Шаг 6. Навигация по сайту

Продуманная и понятная навигация нужна не только для посетителей сайта, но и для поисковых роботов, например, для создания ими «быстрых ссылок».

Во-первых, вам нужно выделить для себя несколько основных пунктов меню.
Затем это меню продублировать в верхней части сайта, в левом/правом блоке и в футере сайта (в нижней части сайта).
Следует помнить, что пунктов не должно быть больше 6.

Шаг 7. Оптимизирование картинок и ссылок

У всех картинок и ссылок на сайте должны быть прописаны атрибуты alt и title

Частые ошибки
В заключении стоит отметить несколько ошибок, которые допускают почти все.
1. «Если на сайте нет исходящих внешних ссылок – это очень хорошо».

Нет, это не так. если на сайте нет ни одной ссылки на другие сайты – это повод для поисковиков применить фильтр к вашему сайту: понизить его в вадыче. Запомните – у реальных сайтов для людей всегда есть внешние ссылки. Немного, но есть.

2. Размещение на сайте так называемого облака тегов и специального блока «нас ищут по фразам: …»
Это всё не только не помогает сайту, а наносит вред. Обилие разных ключевых слов на одной странице мгновенно понизит её в выдаче.
Каждая страница должна быть оптимизирована под отдельный вопрос.

Кроме того, если страница будет перенасыщена ключевыми словами под фильтр может попасть весь сайт полностью. Не рискуйте.

PS: Всегда нужно помнить самое главное – даже специально неоптимизированный сайт может попасть в ТОП (на 1-3 место) в выдаче поисковиков по нужным запросам.
Главное – это любить сайт. Делать сайт с душой, уделять много времени, наполнять интересными материалами, писать собственные статьи по теме.
И тогда, со временем, ваш сайт будет процветать.

Имеется множество примеров, когда «оптимизированные» сайты попадали под фильтры поисковиков уже через пару недель, а сайты с такой же тематикой, созданные в то же время, но не «оптимизированные» находятся в ТОПе и через год после создания.

оптимизация сайта, внутренняя оптимизация, Оптимизация

Источник

Как писать robots.txt для uCoz

Что такое robots.txt? Текстовый файл, который задает правила для роботов поисковых систем, что разрешено индексировать, а что нет. В этой заметке мы разберем из чего состоит этот файл, как написать robots.txt самому, и приведем примеры.

Не рекомендуется заменять стандартный robots.txt на сайте uCoz. Он прописан так, чтобы индексировались только страны с информацией, а служебные страницы – нет. Это один из основных элементов внутренней оптимизации сайта.

Вот так выглядит стандартный robots.txt:

200?’200px’:»+(this.scrollHeight+5)+’px’);»> User-agent: *
Allow: /*?page
Allow: /*?ref=
Allow: /stat/dspixel
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Sitemap: http://forum.ucoz.ru/sitemap.xml
Sitemap: http://forum.ucoz.ru/sitemap-forum.xml

Расшифровка каждого пункта ниже.

Из чего состоит robots.txt

Сначала нужно указать, к какому роботу мы обращаемся. Если обращаемся ко всем, то указываем звездочку, а если нужен конкретный, то обращаемся по имени. У Яндекса это YandexBot, а у Google – Googlebot. Это основные индексирующие роботы, узнавайте их имена в справках поисковых систем.

Читайте также:  Age of conan настройка графики

Собственно, вот пример начала для всех роботов:

Далее запрещаем или разрешаем выбранные нами страницы. Используем правило Disallow для запрета и Allow для разрешения. Используя такую структуру, можно например, запретить индексацию определенного раздела, но разрешить в нем же чтение роботом одного документа и т.д.

Вот таким образом мы запрещаем поисковым системам читать наши «sekretiki» (сам директория и адреса начинающие на нее под запретом):

Спецсимволы и комментарии:

Для того, чтобы запретить только сам раздела без его содержимого, на конце ставится знак $:

Таким образом, дирректория «/sekretiki» запрещены к индексации, но «/sekretiki.html» допустимы.

Для использования в адресе переменные, используйте звездочки:

С помощью этих символов, можно сделать правило на запрет индексирования страниц дублей:

Код можно комментировать. Все что находится после # в строке не читается:

200?’200px’:»+(this.scrollHeight+5)+’px’);»> User-agent: * # Приветствую всех роботов
Allow: /sekretiki/ # Разрешаю секретики
Disallow: / # Запрещаю индексировать все остальные страницы

User-agent: GoogleBot # Приветствую только робота Google
Disallow: /sekretiki/ # А вот ему я запрещаю именно секретики

Источник

Редактирование файла robots.txt на uCoz

Стандарт исключений для роботов (robots.txt) — файл ограничения доступа к содержимому роботам на http-сервере. Файл должен находиться в корне сайта (то есть иметь путь относительно имени сайта /robots.txt). При наличии нескольких поддоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандартSitemaps, который служит прямо противоположной цели: облегчать роботам доступ к содержимому.

Простыми словами:
Файл robots.txt присутствует на каждом сайте и запрещает поисковым системам индексировать заданные страницы. Это необходимо для того, чтобы ненужные страницы не попадали в поисковые системы, и тем самым не портили полную картину Вашего сайта.

Создать сайт файл robots.txt начинающему вебмастеру сложнее, чем его редактировать, так как любая ошибка может стоить Вам отсутствием нужных страниц в поисковой системе.
На сайтах uCoz файл robots.txt появляется автоматически при создании сайта.
КАТЕГОРИЧЕСКИ запрещается редактировать этот файл в первый месяц “жизни” Вашего сайта, при условии, что Вы бесплатный пользователь.

Редактирование файла robots.txt

Изначально, зайдя в файловый менеджер Вашего сайта, Вы не найдете там файла robots.txt. Как же нам его отредактировать?

Поможет в этом инструмент вебмастера Yandex.
1. Переходите по ссылке: http://webmaster.yandex.ua/robots.xml

В поле Имя хоста вводите ссылку на Ваш сайт, далее нажимаете “Загрузить robots.txt с сайта”.
И ниже видите все содержимое файла. Копируете его.

2. На компьютере с помощью программы Блокнот создаете текстовый файл с названием robots (в итоге получится robots.txt). Вставляете только что скопированное содержимое.

3. Вносим необходимые изменения. Это делается с помощью команды Disallow. Если Вам нужно запретить какую-то страницу с новой строки нужно написать:
Disallow: /index/3
(где вместо /index/3 нужно написать путь к Вашей страницы после корневой папки. Посмотреть его можно, например, в браузере, только нужно отбросить http://ваш_сайт.ru).
Например, чтобы запретить индексирование этой страницы нужно написать:
Disallow: /robots_txt_ucoz/

Если Вам нужно запретить доступ ко всем папке на Вашем сайте (и соответственно всем страницам внутри нее), Вам нужно написать:
Disallow: /название_папки/

И вот нюанс. На сайтах uCoz, есть страницы, которые являются и названием папки одновременно. Например, страница, которая ведет в модуль Каталог статей и показывает все статьи. Но эту страницу чаще всего никто не использует для навигации по сайту, т.е. не пользуется ею. Индексация данной страницы сбивает трафик с нужных страниц. Как запретить индексацию такой страницы?
Нужно написать:
Disallow: /publ$
так как, если просто написать Disallow: /publ/ тогда закроется доступ не только к этой странице, но и ко всем страницам папки /publ/, а это ВСЕ статьи сайта!

Источник

Adblock
detector