[Общая тема]robots и sitemap для phpbb3

Форум без пользователей, как машина без колес. Данный подфорум призван помочь ответить вам на вопросы - форум? Чем привлечь пользователей ? Как продвинуть свой ресурс в поисковиках ?
Обсуждаем все, что с этим связано, делимся секретами и решаем вместе проблемы раскрутки.

Модераторы: Vl@d1m1r, Lorem Ipsum, Atlas

Правила форума
----
Ответить
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Ставьте и не парьтесь
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#21
evgeniy
Заглянул на огонек
Заглянул на огонек
Сообщения: 2
Стаж: 11 лет 6 месяцев

robots и sitemap для phpbb3

Сообщение evgeniy »

:2ohhh
Отличный пост. Жду результатов обработки поисковиками.
#22
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Ну где то через 24 часа после установки мода у вас на сервере в нужной папке начнут появляться мини-карты вашего форума, сразу же после установки мода сайтмап нужно скормить поисковикам, чтобы они знали о его существовании, а потом уже в панели вебмастера кадой из поисковых машин можно будет следить за количеством проиндесированных тем
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#23
Аватара пользователя
St_roy
Завсегдатай Форума
Завсегдатай Форума
Сообщения: 873
Стаж: 12 лет 2 месяца
Откуда: Москва
Контактная информация:

robots и sitemap для phpbb3

Сообщение St_roy »

А как закрыть от индексации вообще весь сайт? Можно через robots?
Просто у меня появилась идейка одна и для экспериментов я сделал копию форума на поддомен.. Или пусть индексируется?
Зри в корень
#24
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Ды лучше уж пусть индексируется, плохого ничего не будет, да и подумать надо хорошенько, как скрыть нужную инфу от ботов, впринципе условия есть для этого))
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#25
Аватара пользователя
St_roy
Завсегдатай Форума
Завсегдатай Форума
Сообщения: 873
Стаж: 12 лет 2 месяца
Откуда: Москва
Контактная информация:

robots и sitemap для phpbb3

Сообщение St_roy »

Блин, наверное в админке можно закрыть для них доступ ко всем форумам
DeaDRoMeO писал(а):Ды лучше уж пусть индексируется, плохого ничего не будет
Или так)
Зри в корень
#26
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

St_roy писал(а):Блин, наверное в админке можно закрыть для них доступ ко всем форумам
Ну так остальная инфа будет доступна)
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#27
Аватара пользователя
St_roy
Завсегдатай Форума
Завсегдатай Форума
Сообщения: 873
Стаж: 12 лет 2 месяца
Откуда: Москва
Контактная информация:

robots и sitemap для phpbb3

Сообщение St_roy »

Галерея? Что ещё видят боты из незакрытого в robots-е?
Хотя я, наверное, не буду парится с роботами)
Зри в корень
#28
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Видят всю любую инфу))
Можно закрыть всю инфу путем добавления в роботс основных страниц, например

Код: Выделить всё

Disallow: /index.php
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#29
Аватара пользователя
Lorem Ipsum
Прописался тут надолго
Прописался тут надолго
Сообщения: 1974
Стаж: 11 лет 7 месяцев
Контактная информация:

robots и sitemap для phpbb3

Сообщение Lorem Ipsum »

Нашла три образца файла robots.txt .
у Делитанта
User-agent: *
Disallow: /adm
Disallow: /cache
Disallow: /cgi-bin
Disallow: /docs
Disallow: /download
Disallow: /knowledge
Disallow: /statistics
Disallow: /temp
Disallow: /login.php
Disallow: /mcp.php
Disallow: /report.php
Disallow: /stats.php
Disallow: /style.php
Disallow: /viewonline.php
Disallow: /download.php
Disallow: /away.htm
Sitemap: http://ВАШ САЙТ/sitemap.php

User-agent: yandex
Disallow: /mcp.php
Disallow: /report.php
Disallow: /style.php
Disallow: /away.htm
Host: ВАШ САЙТ
Sitemap: http://ВАШ САЙТ/sitemap.php

User-agent: googlebot
Disallow: /mcp.php
Disallow: /report.php
Disallow: /style.php
Disallow: /away.htm

Sitemap: http://ВАШ САЙТ/sitemap.php
У Строя (в этой теме)
User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: /sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: lastforum.ru
Sitemap: /sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
И у FladeX-а http://fladex.ru/article/a-6.html
User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: http://forumadmins.ru/sitemap.php

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: forumadmins.ru
Sitemap: http://forumadmins.ru/sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Все они немного разнятся. Какой же самый правильный?..
Я уже прошел тот период когда можно было забывать про очистку кеша ©salexcorp
#30
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Вроде у фладекса более верный)
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#31
Аватара пользователя
Lorem Ipsum
Прописался тут надолго
Прописался тут надолго
Сообщения: 1974
Стаж: 11 лет 7 месяцев
Контактная информация:

robots и sitemap для phpbb3

Сообщение Lorem Ipsum »

DeaDRoMeO писал(а):Вроде у фладекса более верный)
А почему у Делитанта есть User-agent: googlebot, а у FladeX-a нету? Он не нужен?
Я уже прошел тот период когда можно было забывать про очистку кеша ©salexcorp
#32
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Гуглу он вроде не нужен, вот яшка-дурак, ему надо)
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#33
Аватара пользователя
Lorem Ipsum
Прописался тут надолго
Прописался тут надолго
Сообщения: 1974
Стаж: 11 лет 7 месяцев
Контактная информация:

robots и sitemap для phpbb3

Сообщение Lorem Ipsum »

Интересно тогда, почему Делитант к себе добавил. Не просто же так :st_ruskiy:
Я уже прошел тот период когда можно было забывать про очистку кеша ©salexcorp
#34
delitant
Активно общаюсь
Активно общаюсь
Сообщения: 318
Стаж: 12 лет 2 месяца
Откуда: Украина
Контактная информация:

robots и sitemap для phpbb3

Сообщение delitant »

Lorem Ipsum У меня сейчас вот так, т.е. DeaDRoMeO прав.
User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: http://forum.dlja-pohudenija.ru/sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

User-agent: *
Crawl-delay: 10

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: http://forum.dlja-pohudenija.ru/sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php

Host: forum.dlja-pohudenija.ru
#35
Аватара пользователя
Lorem Ipsum
Прописался тут надолго
Прописался тут надолго
Сообщения: 1974
Стаж: 11 лет 7 месяцев
Контактная информация:

robots и sitemap для phpbb3

Сообщение Lorem Ipsum »

Вобщем сделала так. Прально?

Код: Выделить всё

User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Sitemap: http://stas-karpov.eu/sitemap.php

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: stas-karpov.eu
Sitemap: http://stas-karpov.eu/sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
delitant,
а вот это что такое?
User-agent: *
Crawl-delay: 10
Я ещё тут спросила, не пропусти... blog.php?u=895&b=49&r=287#r287
Последний раз редактировалось Lorem Ipsum 26 ноя 2012, 23:59, всего редактировалось 1 раз.
Я уже прошел тот период когда можно было забывать про очистку кеша ©salexcorp
#36
Аватара пользователя
Alexander
Свой на все 100
Свой на все 100
Сообщения: 484
Стаж: 11 лет 5 месяцев
Откуда: Россия
Контактная информация:

robots и sitemap для phpbb3

Сообщение Alexander »

Lorem Ipsum писал(а):User-agent: *
Crawl-delay: 10
Данная директива задает тайм-аут между закачками страниц (в секундах). Применяется для снижения нагрузки на сервер.
#37
Alexander.Gavrilash
Заглянул на огонек
Заглянул на огонек
Сообщения: 10
Стаж: 11 лет 4 месяца
Контактная информация:

robots и sitemap для phpbb3

Сообщение Alexander.Gavrilash »

А у меня стоит seo мод и ссылки имеют такой вид:
http://www.мойфорум.ru/post19500.html
http://www.мойфорум.ru/member2.html (страницы пользователей)
Может кто-то посоветует как закрыть страницы с пользователями от поисковиков? и что еще лучше от них спрятать?
#38
Аватара пользователя
Alexander
Свой на все 100
Свой на все 100
Сообщения: 484
Стаж: 11 лет 5 месяцев
Откуда: Россия
Контактная информация:

robots и sitemap для phpbb3

Сообщение Alexander »

Может так:

Код: Выделить всё

Disallow: /member*.html
Но не уверен...
#39
Alexander.Gavrilash
Заглянул на огонек
Заглянул на огонек
Сообщения: 10
Стаж: 11 лет 4 месяца
Контактная информация:

robots и sitemap для phpbb3

Сообщение Alexander.Gavrilash »

Alexander писал(а):Но не уверен...
Именно так, спасибо!
#40
Ответить