тел. +7(916) 586-91-34
тел. +7(965) 128-17-49
тел/факс. +7(495) 485-92-17
задать вопрос?
Создаем сайты под ключ для быстрого продвижения в Яндекс, Google, Mail.ru
подробнее...
Яндекс.Метрика

как правильно написать не сканируемые страницы на роботе txt

что такое робот txt правильно написать для яндекса ucoz wordpress

картинка: все только обещают мы создаем

Что Вы получаете при создании сайта у нас

  • Сайт с доменным именем com; su; ru; net; рф
  • Эксклюзивный адаптивный дизайн
  • Обучение работы с сайтом
  • Эксклюзивную верстку сайта
  • Оптимизацию для продвижения
  • Помощь в продвижении сайта
  • Сопровождение сайта

 

Начало статьи

Давайте я сначала напишу что такое робот txt? Что-бы вы мне не задавали глупых вопросов, затем почему роботы яндекс ищут именно робот txt, затем как правильно написать не сканируемые страницы роботе txt, и наконец робот txt как правильно написать не сканируемые страницы на uCoz, WordPress, Joomla. Так-же я приведу примеры робота txt, правильное написание для сайтов uCoz, Joomla, WordPress. А файл я думаю Вы найдете и сами у себя на компе, тем более что это делается вообще просто. На любом свободном месте своего компа ударьте левой клавишей мышки. Далее находим "создать", переводим мышку туда, вылезет еще строчка, находим "текстовый документ", все можете заносить robots txt туда, да и обязательно назовите его "robots txt", и тогда яндекс и google будут его видеть. И еще одно файл robots txt, надо внести в файловый менеджер хостинга. Во всех вебмастерах вносим все файлы Sitemap.

Что такое робот txt?

С вашего позволения я объединю первые два абзаца здесь. Что такое робот txt? Robots txt это поисковый робот, для поисковых роботов яндекса и google, он является приоритетным. То-есть для всех роботов яндексбот и googlebot этот робот является образцом, для вхождения на ваш сайт и индексирования страниц любого веб-ресурса, конечно если он продвигается вечными ссылками, своими руками, а так-же роботом продвижения. Это в крадце, а вообще я написал эту статью, как создать не сканируемые страницы для сайта, для тех кто сталкивался с этой проблемой, но не знает как это сделать. Если тема интересна что такое робот txt? Можете зайти в интернет, и просмотреть попросту другие веб-ресурсы, там более подробно об этом написано. Попросту сказать: без робота txt, яндекс и google не будут сканировать ваш сайт. Я думаю что что такое робот txt стало для вас более менее понятным. Если не понятно что такое яндексбот или googlebot, тогда зайдите на поисковик яндекс и наберите "яндекс помощь что такое робот txt"? По моему второй сайт или первый в поиске яндекса "яндекс помощь", там все понятно написано. Тут я просто приведу пример: Allow-это все разрешить, Disallow-это все запретить сканировать, ну а дальше можете набрать "как написать правильный робот txt для сайта ....." то-есть для какого хостинга вам нужен робот txt uCoz, Joomla, WordPress, DLE, Drupal и так далее, яндекс или google вам выдаст кучу сайтов, с правильным написанием робота txt, у меня-же Вы найдете правильное написание для сайтов uCoz, Joomla, WordPress, для остальных платформ подобного типа, то-есть DLE, Drupal, 1С-Битрикс, кое-что надо изменить, но суть проблемы это меняет. Например для платформы DLE подойдет робот txt от uCoz, а для платформы Drupal строго только от WordPress, а для платформ 1С-Битрикс подойдет от WordPress, но можно у робота txt убрать googlebot, google хорошо видит все хостинги на 1С-Битрикс.

Как правильно написать не сканируемые страницы на роботе txt для сайта uCoz?

Давайте-те я сразу напишу как правильно написать что-бы определенные страницы не сканировались. Как я написал робот txt: все просто я перекачал его в интернете, Вы это можете сделать у меня, далее я подставил свои значения, по крайне мере во всех вебмастерах ошибку не нашли. Как-же правильно написать не сканируемые страницы? Давайте начнем сначала как я это делал. Сначала я подумал а как правильно написать что-бы у меня страницы не сканировались? Так как у меня написано (пример Allow: /*?page), это значит разрешено сканирование всех страниц моего блога, значит мне надо писать все страницы с page, все роботы яндекса и google определяют страницы как page, все страницы сайта которые Вы захотите скрыть на uCoz обозначаются цифрой, поэтому в конце каждого page, я написал цифру страницы, которую мне надо что-бы робот не индексировал. И я написал через запятую (пример Disallow: /page1, page2, page311/) мне сразу яндекс вебмастер выдал ошибку: "ошибка сканирования", тогда я попробовал по другому и прописал в каждой отдельной строчке (пример Disallow: /page1/, Disallow: /page2/, Disallow: /page311/), ошибку яндекс вебмастер не нашел, но и у меня не чего не сохранилось, то-есть я написал это все в файле txt, в файловом менеджере, на следующий день зашел на яндекс вебмастер, а все улетучилось, и все улетучилось и в моем файле робот txt, я опять все прописал, на другой день опять не чего не было, я снова прописал, но зашел в админ-панель, в seo-модуль, в премиум настройки и сохранил там, и все получилось!

Как правильно написать не сканируемые страницы на роботе txt для сайта WordPress и Joomla?

Так как WordPress и Joomla в этом плане убогие сайты, опишу как я делал не сканируемые страницы на WordPress. Прежде всего надо закачать в файловый менеджер, файл робот txt, для этого набираем в интернете в любой поисковой системе "робот txt для WordPress", если вы это сделаете на яндексе, можно найти полно сайтов, на котором можно скачать правильный робот txt, у меня тоже перекаченный робот txt из интернета, и по крайне мере яндекс вебмастер, ошибок не пишет. У меня на uCoz стоит User-agent: *, то-есть разрешено сканирование всем поисковым системам, этого хватает, то-есть яндекс и google видят робот txt. На WordPress почти на всех хостингах помимо этого надо делать в трех ипостасях, то-есть что-бы выглядело правильно, надо скачать с любого сайта свой робот txt, и прописать в файле его три раза, зачем? Иначе яндекс вебмастер пишет ошибку, почему-то яндекс и google не видят робот txt, на хостингах которые заинтегрированы с платформой WordPress, Joomla в этом плане удобнее, это такая-же платформа как и uCoz, то есть имеет встроенный хостинг с высоким cms, но только все равно почему-то робот txt, приходиться создавать как на хостингах WordPress. Так вот что-бы устранить эту ошибку, я один User-agent: *, оставил без изменений, это для всех поисковых систем, на втором пишем User-agent: * yandexbot, на третьем User-agent: * googlebot, и я повторюсь прописываем все остальные атрибуты положенные роботу txt три раза, и во всех трех прописываем (пример Disallow: /http://мой-сайт.ru/01-01/html/), то-есть аббревиатура проста, прописываем каждую страницу которую надо скрыть от сканирования три раза, то-есть в User-agent: *, и в Yandexbot, и в Googlebot тоже. Если Вы прописываете один раз например Yandexbot, роботы яндекса понимает что это относиться к ним, а роботы google просто этого не видят, или Вы например прописываете в User-agent: *, а в других Yandexbot и Googlebot, не прописываете, тогда не видят ваши страницы, попросту роботы яндекса и google, что их не надо сканировать. Да и вот что еще я нашел на яндексе, один чувак написал в своем роботе txt на WordPress (пример Disallow: /contakty/), я так пробовал, и яндекс вебмастер писал ошибку, так-что прописывайте лучше страницу полностью.

Послесловие

Товарищи, мальчики и девочки, дамы и господа, если Вам что-то не понятно, или вы не знаете как создать файл робота txt, не знаете его правильное написание, или сомневаетесь что ваш робот написан правильно, лучше напишите мне, подскажу и даже дам правильный робот txt для всех сайтов, по крайне мере что такое робот txt, как написать для яндекса, это для нас не проблема, так-же подскажу куда поставить робот для сайтов uCoz, Joomla, WordPress, DLE, Drupal, 1С-Битрикс. Только одна просьба напишите свой сайт, больше мне не чего не нужно, а лучше напишите на каком хостинге сайт создан.

Это правильный робот для сайтов uCoz:

 

  1. User-agent: *
  2. Allow: /*.js
  3. Allow: /*.css
  4. Allow: /*?page
  5. Allow: /*?ref=
  6. Disallow: /*?
  7. Disallow: /stat/
  8. Disallow: /index/1
  9. Disallow: /index/3
  10. Disallow: /register
  11. Disallow: /index/5
  12. Disallow: /index/7
  13. Disallow: /index/8
  14. Disallow: /index/9
  15. Disallow: /index/sub/
  16. Disallow: /panel/
  17. Disallow: /admin/
  18. Disallow: /informer/
  19. Disallow: /secure/
  20. Disallow: /poll/
  21. Disallow: /search/
  22. Disallow: /abnl/
  23. Disallow: /*_escaped_fragment_=
  24. Disallow: /*-*-*-*-987$
  25. Disallow: /shop/order/
  26. Disallow: /shop/printorder/
  27. Disallow: /shop/checkout/
  28. Disallow: /shop/user/
  29. Disallow: /*0-*-0-17$
  30. Disallow: /*-0-0-
  31. Host: (ваш сайт без www. и http://)
  32.  
  33. Sitemap: http://ваш сайт/sitemap.xml
  34. Sitemap: http://ваш сайт/sitemap-forum.xml
  35. Sitemap: http://ваш сайт/sitemap-shop.xml

А это правильный робот для сайтов Joomla и WordPress:

 

  1. User-agent: *
  2. Disallow: /wp-admin
  3. Disallow: /wp-includes
  4. Disallow: /wp-content/plugins
  5. Disallow: /wp-content/cache
  6. Disallow: /wp-content/themes
  7. Disallow: /trackback
  8. Disallow: */trackback
  9. Disallow: */*/trackback
  10. Disallow: */*/feed/*/
  11. Disallow: */feed
  12. Disallow: /*?*
  13. Disallow: /tag
  14.  
  15. User-agent: Yandexbot
  16. Disallow: /wp-admin
  17. Disallow: /wp-includes
  18. Disallow: /wp-content/plugins
  19. Disallow: /wp-content/cache
  20. Disallow: /wp-content/themes
  21. Disallow: /trackback
  22. Disallow: */trackback
  23. Disallow: */*/trackback
  24. Disallow: */*/feed/*/
  25. Disallow: */feed
  26. Disallow: /*?*
  27. Disallow: /tag
  28. Host: (ваш сайт без www. и http://)
  29.  
  30. User-agent: Googlebot
  31. Disallow: /wp-admin
  32. Disallow: /wp-includes
  33. Disallow: /wp-content/plugins
  34. Disallow: /wp-content/cache
  35. Disallow: /wp-content/themes
  36. Disallow: /trackback
  37. Disallow: */trackback
  38. Disallow: */*/trackback
  39. Disallow: */*/feed/*/
  40. Disallow: */feed
  41. Disallow: /*?*
  42. Disallow: /tag
  43.  
  44. Sitemap: http://ваш сайт/sitemap.xml.gz
  45. Sitemap: http://ваш сайт/sitemap.xml

хотите задать вопрос, отправить письмо без регистрации, создать сайт, жмите на эту кнопку!!!

быстрая доставка почты

-

информационный портал
наш сайт

хотите просмотреть сайты созданные у нас просто нажмите курсором мышки на картинку

Галерия наших работ
Из последних наших работ
Cайты которые работают уже 8 лет
Cайты которые работают
Cайты 5-ти летний давности
Галерия наших работ
Из последних наших работ
Галерия наших работ
Галерия наших работ
Рабочие сайты
наши контакты
Тел: +7 916 586-91-34
Тел: +7 965 128-17-49
Email: moj-sajt@moj-sajt.ru

Наш офис:
Москва ул. Яхромская
дом 3 офис 24

более полная информация на странице "контакты"
ВЫ
html counterсчетчик посетителей сайта
ПОСЕТИТЕЛЬ ЭТОГО САЙТА
Яндекс.Метрика
Яндекс.Метрика Яндекс.Метрика Этот сайт защищен «Site Guard» Рейтинг@Mail.ru