[Общая тема]robots и sitemap для phpbb3

Форум без пользователей, как машина без колес. Данный подфорум призван помочь ответить вам на вопросы - форум? Чем привлечь пользователей ? Как продвинуть свой ресурс в поисковиках ?
Обсуждаем все, что с этим связано, делимся секретами и решаем вместе проблемы раскрутки.

Модераторы: Vl@d1m1r, Lorem Ipsum, Atlas

Правила форума
----
Ответить
Аватара пользователя
Lorem Ipsum
Прописался тут надолго
Прописался тут надолго
Сообщения: 1974
Стаж: 11 лет 7 месяцев
Контактная информация:

robots и sitemap для phpbb3

Сообщение Lorem Ipsum »

Я правильно понимаю, что если устанавливаются какие-то моды, где есть отдельная страничка для просмотра чего-нибудь, то её нужно вносить в роботс? Например, облако тегов выводится на /phpbb_topic_tagging.php, Система репутации - /reputation.php, Облако пользователей - /allmembers.php. Ботам там делать нечего.
Я уже прошел тот период когда можно было забывать про очистку кеша ©salexcorp
#61
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Правильно, то что ботам незачем видеть можно запретить в роботс)
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#62
Аватара пользователя
Lorem Ipsum
Прописался тут надолго
Прописался тут надолго
Сообщения: 1974
Стаж: 11 лет 7 месяцев
Контактная информация:

robots и sitemap для phpbb3

Сообщение Lorem Ipsum »

Ок, после этого достаточно просто загрузить файл в корень и всё или нужно в яндексе опять его прогонять?
Я уже прошел тот период когда можно было забывать про очистку кеша ©salexcorp
#63
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Правильно))
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#64
Аватара пользователя
Lorem Ipsum
Прописался тут надолго
Прописался тут надолго
Сообщения: 1974
Стаж: 11 лет 7 месяцев
Контактная информация:

robots и sitemap для phpbb3

Сообщение Lorem Ipsum »

Что именно правильно? Первая или вторая часть вопроса?))
Я уже прошел тот период когда можно было забывать про очистку кеша ©salexcorp
#65
Аватара пользователя
akella1900
Хорошо тут живется
Хорошо тут живется
Сообщения: 1568
Стаж: 11 лет 3 месяца
Откуда: Слявный город Николяев :-)
Контактная информация:

robots и sitemap для phpbb3

Сообщение akella1900 »

Обе))) вторая если хочешь чтоб быстрее было))
back'up придумали трусы Ваша воля моими руками, но платно. Стучим в skype akella1900.
#66
Аватара пользователя
pmebear
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 67
Стаж: 10 лет 10 месяцев
Откуда: Москва
Контактная информация:

robots и sitemap для phpbb3

Сообщение pmebear »

Добрый день, какие разделы форума нужно обязательно оставить роботам для индексации?
#67
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Ну главная, список тем в подфорумах и сами темы, иначе доступ к страницам index.php, viewforum.php, viewtopic.php
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#68
Аватара пользователя
pmebear
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 67
Стаж: 10 лет 10 месяцев
Откуда: Москва
Контактная информация:

robots и sitemap для phpbb3

Сообщение pmebear »

Сергей, спасибо за оперативный ответ.
robots.txt на мой взгляд важен для оптимизации форума, но, к сожалению в теме нет окончательной инструкции FAQ по его созданию.

Можно ли прилепить к началу темы пошаговую инструкцию для чайников.
1. как создать;
2. куда положить
2. какие функции за что отвечают Disallow: Sitemap: Clean-param: Crawl-delay:
3. самый полный вид robots.txt (из которого методом исключения можно слепить то что требуется)
4. как проверять на сайтах поисковиков (способы, ссылки), например как проверить " принял яшка... форум " или нет

В тексте темы есть достаточно примеров, которые в том числе содержат неточности.
Я, к сожалению, так и не понял как проверять индексацию поисковиками. Спасибо.
#69
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Попробую сделать на досуге)
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#70
Аватара пользователя
Alex31
Активно осваиваю Форум
Активно осваиваю Форум
Сообщения: 221
Стаж: 10 лет 6 месяцев
Откуда: Белгород
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Alex31 »

Загрузил вот такой robots

Код: Выделить всё

User-agent: *
 Disallow: /faq.php
 Disallow: /mcp.php
 Disallow: /memberlist.php
 Disallow: /posting.php
 Disallow: /report.php
 Disallow: /search.php
 Disallow: /style.php
 Disallow: /ucp.php
 Disallow: /viewtopic.php?p=*
 Disallow: /viewtopic.php?f=*&t=*&start=0$
 Disallow: /viewtopic.php?f=*&t=*&view=next
 Disallow: /viewtopic.php?f=*&t=*&view=previous
 Sitemap: http://golf2-jetta2.ru/forum/sitemap.php


 User-agent: Yandex
 Disallow: /faq.php
 Disallow: /mcp.php
 Disallow: /memberlist.php
 Disallow: /posting.php
 Disallow: /report.php
 Disallow: /search.php
 Disallow: /style.php
 Disallow: /ucp.php
 Disallow: /viewtopic.php?p=*
 Disallow: /viewtopic.php?f=*&t=*&start=0$
 Disallow: /viewtopic.php?f=*&t=*&view=next
 Disallow: /viewtopic.php?f=*&t=*&view=previous
 Host: golf2-jetta2.ru
 Sitemap: http://golf2-jetta2.ru/forum/sitemap.php
 Clean-param: sid /index.php
 Clean-param: sid /viewforum.php
 Clean-param: sid /viewtopic.php

Но не гугл не яндекс его не находит, почему? Установил sitemap, гугл принял, яндекс не понятно пока.
#71
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Alex31 писал(а):/viewtopic.php?p=*
Для примера, у вас же форум в папке находится, разве не надо дописывать имя папки ?
Alex31 писал(а):Но не гугл не яндекс его не находит, почему?
Где он вообще лежит, в какой папке ?
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#72
Аватара пользователя
Alex31
Активно осваиваю Форум
Активно осваиваю Форум
Сообщения: 221
Стаж: 10 лет 6 месяцев
Откуда: Белгород
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Alex31 »

DeaDRoMeO писал(а):Где он вообще лежит, в какой папке ?
Да в том то и дело в паке forum, мне так на сервере сделали. А куда мне добавить папку? Лежит в папке forum, это и есть вроде корень форума.
#73
Аватара пользователя
Alex31
Активно осваиваю Форум
Активно осваиваю Форум
Сообщения: 221
Стаж: 10 лет 6 месяцев
Откуда: Белгород
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Alex31 »

DeaDRoMeO писал(а):/viewtopic.php?p=*
Я понял, надо /forum/viewtopic.php?p=*)
#74
Аватара пользователя
Alex31
Активно осваиваю Форум
Активно осваиваю Форум
Сообщения: 221
Стаж: 10 лет 6 месяцев
Откуда: Белгород
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Alex31 »

Кинул такой

Код: Выделить всё

User-agent: *
 Disallow: /forum/faq.php
 Disallow: /forum/mcp.php
 Disallow: /forum/memberlist.php
 Disallow: /forum/posting.php
 Disallow: /forum/report.php
 Disallow: /forum/search.php
 Disallow: /forum/style.php
 Disallow: /forum/ucp.php
 Disallow: /forum/viewtopic.php?p=*
 Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
 Disallow: /forum/viewtopic.php?f=*&t=*&view=next
 Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
 Sitemap: http://golf2-jetta2.ru/forum/sitemap.php


 User-agent: Yandex
 Disallow: /forum/faq.php
 Disallow: /forum/mcp.php
 Disallow: /forum/memberlist.php
 Disallow: /forum/posting.php
 Disallow: /forum/report.php
 Disallow: /forum/search.php
 Disallow: /forum/style.php
 Disallow: /forum/ucp.php
 Disallow: /forum/viewtopic.php?p=*
 Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
 Disallow: /forum/viewtopic.php?f=*&t=*&view=next
 Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
 Host: golf2-jetta2.ru
 Sitemap: http://golf2-jetta2.ru/forum/sitemap.php
 Clean-param: sid /forum/index.php
 Clean-param: sid /forum/viewforum.php
 Clean-param: sid /forum/viewtopic.php

Только не в папке /forum/, а на главную на сервере. Все вроде приняли. Спасибо за помощь.
Кстати и вопрос, такой оставить robots или что то изменить?
#75
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Вроде ничего лишнего не вижу, нормально)
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#76
Аватара пользователя
Alex31
Активно осваиваю Форум
Активно осваиваю Форум
Сообщения: 221
Стаж: 10 лет 6 месяцев
Откуда: Белгород
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Alex31 »

После того как установил мод sitemap и кинул такой robots

Код: Выделить всё

User-agent: *
 Disallow: /forum/faq.php
 Disallow: /forum/mcp.php
 Disallow: /forum/memberlist.php
 Disallow: /forum/posting.php
 Disallow: /forum/report.php
 Disallow: /forum/search.php
 Disallow: /forum/style.php
 Disallow: /forum/ucp.php
 Disallow: /forum/viewtopic.php?p=*
 Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
 Disallow: /forum/viewtopic.php?f=*&t=*&view=next
 Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
 Sitemap: http://golf2-jetta2.ru/forum/sitemap.php


 User-agent: Yandex
 Disallow: /forum/faq.php
 Disallow: /forum/mcp.php
 Disallow: /forum/memberlist.php
 Disallow: /forum/posting.php
 Disallow: /forum/report.php
 Disallow: /forum/search.php
 Disallow: /forum/style.php
 Disallow: /forum/ucp.php
 Disallow: /forum/viewtopic.php?p=*
 Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
 Disallow: /forum/viewtopic.php?f=*&t=*&view=next
 Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
 Host: golf2-jetta2.ru
 Sitemap: http://golf2-jetta2.ru/forum/sitemap.php
 Clean-param: sid /forum/index.php
 Clean-param: sid /forum/viewforum.php
 Clean-param: sid /forum/viewtopic.php

В вебмастер гугл, опять стали увеличиваться Повторяющиеся заголовки (теги title).
К примеру вот одна и таже тема viewtopic.php?f=20&t=79&start=30
viewtopic.php?t=79&p=2061
Вот еще viewtopic.php?t=258&p=1482
viewtopic.php?f=12&t=258
И таких довольна много. Как это исправить?
Еще там 2 главных страницы /forum/ и /forum/index.php
Может это из за того что я убрал /index.php?
#77
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Обычное дело для нашего двига, просто для страниц одной темы везде тайтл одинаковый, что ж поделать
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#78
Аватара пользователя
Alex31
Активно осваиваю Форум
Активно осваиваю Форум
Сообщения: 221
Стаж: 10 лет 6 месяцев
Откуда: Белгород
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Alex31 »

А может мне robots кинуть все таки в папку /форум/? Можно попробовать?
Странно, если кидаю в корень форума, то robots яндекс не находит.
#79
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Оставляйте там где его видят, тем более индексация идет нормально
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#80
Ответить