Полезная информация


----

Начать новую тему Ответить на тему
АвторСообщение

 Сообщение robots и sitemap для phpbb3 2012-09-02

Аватар пользователя

Ставьте и не парьтесь


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!

Теги темы
"sitemap для phpbb3", "robots для phpbb3"
          Вернуться наверх  
 


Случайный аватар. Пользователю рекомендуется загрузить свой аватар в Настройках профиля

:2ohhh
Отличный пост. Жду результатов обработки поисковиками.


          Вернуться наверх  
 


Аватар пользователя

Ну где то через 24 часа после установки мода у вас на сервере в нужной папке начнут появляться мини-карты вашего форума, сразу же после установки мода сайтмап нужно скормить поисковикам, чтобы они знали о его существовании, а потом уже в панели вебмастера кадой из поисковых машин можно будет следить за количеством проиндесированных тем


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

А как закрыть от индексации вообще весь сайт? Можно через robots?
Просто у меня появилась идейка одна и для экспериментов я сделал копию форума на поддомен.. Или пусть индексируется?


_________________
Подпись:
Зри в корень
          Вернуться наверх  
 


Аватар пользователя

Ды лучше уж пусть индексируется, плохого ничего не будет, да и подумать надо хорошенько, как скрыть нужную инфу от ботов, впринципе условия есть для этого))


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

Блин, наверное в админке можно закрыть для них доступ ко всем форумам
DeaDRoMeO писал(а):

Ды лучше уж пусть индексируется, плохого ничего не будет

Или так)


_________________
Подпись:
Зри в корень
          Вернуться наверх  
 


Аватар пользователя

St_roy писал(а):

Блин, наверное в админке можно закрыть для них доступ ко всем форумам

Ну так остальная инфа будет доступна)


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

Галерея? Что ещё видят боты из незакрытого в robots-е?
Хотя я, наверное, не буду парится с роботами)


_________________
Подпись:
Зри в корень
          Вернуться наверх  
 


Аватар пользователя

Видят всю любую инфу))
Можно закрыть всю инфу путем добавления в роботс основных страниц, например
Disallow: /index.php
 


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

Нашла три образца файла robots.txt .
у Делитанта
User-agent: *
Disallow: /adm
Disallow: /cache
Disallow: /cgi-bin
Disallow: /docs
Disallow: /download
Disallow: /knowledge
Disallow: /statistics
Disallow: /temp
Disallow: /login.php
Disallow: /mcp.php
Disallow: /report.php
Disallow: /stats.php
Disallow: /style.php
Disallow: /viewonline.php
Disallow: /download.php
Disallow: /away.htm
Sitemap: http://ВАШ САЙТ/sitemap.php

User-agent: yandex
Disallow: /mcp.php
Disallow: /report.php
Disallow: /style.php
Disallow: /away.htm
Host: ВАШ САЙТ
Sitemap: http://ВАШ САЙТ/sitemap.php

User-agent: googlebot
Disallow: /mcp.php
Disallow: /report.php
Disallow: /style.php
Disallow: /away.htm

Sitemap: http://ВАШ САЙТ/sitemap.php


У Строя (в этой теме)
User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: lastforum.ru
Sitemap: /sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php


И у FladeX-а
Пожалуйста Зарегистрируйтесь чтобы увидеть ссылку

User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap:
Пожалуйста Зарегистрируйтесь чтобы увидеть ссылку


User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: forumadmins.ru
Sitemap:
Пожалуйста Зарегистрируйтесь чтобы увидеть ссылку

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php


Все они немного разнятся. Какой же самый правильный?..


_________________
Подпись:
Я уже прошел тот период когда можно было забывать про очистку кеша ©salexcorp
          Вернуться наверх  
 


Аватар пользователя

Вроде у фладекса более верный)


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

DeaDRoMeO писал(а):

Вроде у фладекса более верный)

А почему у Делитанта есть User-agent: googlebot, а у FladeX-a нету? Он не нужен?


_________________
Подпись:
Я уже прошел тот период когда можно было забывать про очистку кеша ©salexcorp
          Вернуться наверх  
 


Аватар пользователя

Гуглу он вроде не нужен, вот яшка-дурак, ему надо)


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

Интересно тогда, почему Делитант к себе добавил. Не просто же так :st_ruskiy:


_________________
Подпись:
Я уже прошел тот период когда можно было забывать про очистку кеша ©salexcorp
          Вернуться наверх  
 


Аватар пользователя

Lorem Ipsum У меня сейчас вот так, т.е. DeaDRoMeO прав.

User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap:
Пожалуйста Зарегистрируйтесь чтобы увидеть ссылку

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: *
Crawl-delay: 10

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap:
Пожалуйста Зарегистрируйтесь чтобы увидеть ссылку

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Host: forum.dlja-pohudenija.ru


          Вернуться наверх  
 


Аватар пользователя

Вобщем сделала так. Прально?
User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: http://stas-karpov.eu/sitemap.php

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: stas-karpov.eu
Sitemap: http://stas-karpov.eu/sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
 

delitant,
а вот это что такое?
User-agent: *
Crawl-delay: 10

Я ещё тут спросила, не пропусти... blog.php?u=895&b=49&r=287#r287


_________________
Подпись:
Я уже прошел тот период когда можно было забывать про очистку кеша ©salexcorp

Информация о редактировании
Последний раз редактировалось Lorem Ipsum 26 ноя 2012, 23:59, всего редактировалось 1 раз.
          Вернуться наверх  
 


Аватар пользователя

Lorem Ipsum писал(а):

User-agent: *
Crawl-delay: 10

Данная директива задает тайм-аут между закачками страниц (в секундах). Применяется для снижения нагрузки на сервер.


          Вернуться наверх  
 


Аватар пользователя

А у меня стоит seo мод и ссылки имеют такой вид:
Пожалуйста Зарегистрируйтесь чтобы увидеть ссылку
.мойфорум.ru/post19500.html
Пожалуйста Зарегистрируйтесь чтобы увидеть ссылку
.мойфорум.ru/member2.html (страницы пользователей)
Может кто-то посоветует как закрыть страницы с пользователями от поисковиков? и что еще лучше от них спрятать?


          Вернуться наверх  
 


Аватар пользователя

Может так:
Disallow: /member*.html
 

Но не уверен...


          Вернуться наверх  
 


Аватар пользователя

Alexander писал(а):

Но не уверен...

Именно так, спасибо!


          Вернуться наверх  
 
 
Начать новую тему Ответить на тему


Дополнительные возможности

  Похожие темы  Автор  Ответов  Просмотров  Последнее сообщение 
Аватар пользователя [Общая тема]BB-коды phpbb3
Тема полностью посвящена проблемам использования и разработки BB-кодов для форума

nudevolga

27

2224

Аватар пользователя

01 авг 2013, 14:04

DeaDRoMeO

Случайный аватар. Пользователю рекомендуется загрузить свой аватар в Настройках профиля [Общая тема]Вложения phpbb3
Данная тема полностью посвящена проблемам с настройкой и отображением вложений на форумах phpbb3

artur1992g

315

9206

Аватар пользователя

27 мар 2015, 08:35

DeaDRoMeO

Аватар пользователя [Общая тема]Права доступа phpBB3
Тема полностью посвящена проблемам и настройке прав доступа на форумах phpbb3

artcry

215

8133

Аватар пользователя

15 ноя 2017, 00:07

mela

Аватар пользователя [Общая тема]E-mail рассылки и уведомления phpbb3
Тема полностью посвящена проблемам с рассылкой и уведомлениями на форумах phpbb3

nudevolga

101

6373

Случайный аватар. Пользователю рекомендуется загрузить свой аватар в Настройках профиля

26 янв 2016, 14:19

djok

Аватар пользователя Sitemap FX phpbb3
Sitemap FX phpbb3 - модификация для phpbb3, создающая карту форума (иначе сайтмап, Sitemap) для еще более быстрого индексирования поисковиками

DeaDRoMeO

148

16771

Аватар пользователя

01 дек 2016, 08:22

termiton

Оставить свой комментарий

Поделиться темой с помощью

Ссылки на тему

Прямая ссылка:
BB-код для форумов, сайтов, блогов:
HTML ссылка:
 


cron

Самая неформальная поддержка phpBB :P