[Общая тема]robots и sitemap для phpbb3

Форум без пользователей, как машина без колес. Данный подфорум призван помочь ответить вам на вопросы - форум? Чем привлечь пользователей ? Как продвинуть свой ресурс в поисковиках ?
Обсуждаем все, что с этим связано, делимся секретами и решаем вместе проблемы раскрутки.

Модераторы: Vl@d1m1r, Lorem Ipsum, Atlas

Правила форума
----
Ответить
Виктория99
Заглянул на огонек
Заглянул на огонек
Сообщения: 24
Стаж: 10 лет 3 месяца
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Виктория99 »

О спасибо , только теперь я поняла
100&view=...
&&start=0=0 это какое то продолжение страницы ( хотя смысл еще не совсем уловила - , когда ставиться &start=0 и прочее ) , но понимаю что это дубляж .
Значит вопрос по роботсу решила - ничего делать не надо.

Теперь как мне узнать Файлы Sitemap у меня есть или нет ? Я молодой админ и только учусь

ситуация такая в вебмастере в яндексе

Not available: http://сайт/sitemap.xml Файл Sitemap недоступен.
а в админке на форуме вот так





мне нужно что делать? или как и с роботсом все уже настроено нормально?
Спасибо.

О и в догонку вопрос , как теги темы подставились автоматически ? , потому что я их не вставляла .
Я этот мод поставила себе месяца 2 назад и вручную сама добавляю :goria_cho: , что занимает время.
А тут на форуме автоматизировано все , и я хочу так . :smu:sche_nie:
#101
Аватара пользователя
БОРИСЫЧ
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 89
Стаж: 10 лет
Откуда: Москва
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение БОРИСЫЧ »

Виктория99, Вот он ваш файл - http://shops-zona.ck.ua/sitemaps/sitemap_index.xml
В админке в настройках ничего не трогайте, а только лишь нажмите одну кнопку RUN NOW чтобы обновить карту сайта. Также ссылка на карту сайта должна быть в файле robots.txt - вставьте эту строку

Код: Выделить всё

Sitemap: http://shops-zona.ck.ua/sitemaps/sitemap_index.xml
в двух местах перед строкой "Crawl-delay".
Вебмастер не нашел ссылку (Not available: http://сайт/sitemap.xml Файл Sitemap недоступен) именно потому что в роботсе не указано местонахождение карты сайта.

Вообще этот мод карты сайта не самый лучший, его бы надо поменять, но этим мы с вами займемся в другой раз ))

По вопросу "как теги темы подставились автоматически" - я вообще ничего не понял об чем речь?))
#102
Виктория99
Заглянул на огонек
Заглянул на огонек
Сообщения: 24
Стаж: 10 лет 3 месяца
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Виктория99 »

БОРИСЫЧ, по поводу теги темы , я сама разобралась - мое сообщение 1-е на странице - вот и теги подставились. Это Сео мод .

Строку вставлю , спасибо большое
а по поводу
БОРИСЫЧ писал(а):RUN NOW чтобы обновить карту сайта
пишет мне следующее да еще на ярко красном квадрате
Информация

You Have SEOMOD turned on, But SEO MOD is not installed..
You need to either install SEO MOD, or turn SEOMOD to off in the settings

Это как ? из за сео мода я не могу обновить сайт мар ?
#103
Аватара пользователя
БОРИСЫЧ
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 89
Стаж: 10 лет
Откуда: Москва
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение БОРИСЫЧ »

Значит все настройки карты сайта ставим на НЕТ, значения botuser и mapdir не меняем, нажимаем отправить, а потом нажимаем RUN NOW - думаю, что все получица.
#104
Виктория99
Заглянул на огонек
Заглянул на огонек
Сообщения: 24
Стаж: 10 лет 3 месяца
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Виктория99 »

БОРИСЫЧ,сделала , получилось
Информация
SiteMap Creation Complete.


Сегодня в роботс добавлю ссылку на сайтмап.
Так а теперь чтоб я понимала
нажимаем RUN NOW
это разовая процедура?
и надо ли возвращать как было
все настройки карты сайта ставим на НЕТ менять на ДА? Я просто хоть и не понимаю этого момента , хочу знать и поставить " галочку" этот вопрос решен и забудь

Да а за сайтмап читала за мод нужно будет ставить ., но чуть позже.
#105
Аватара пользователя
БОРИСЫЧ
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 89
Стаж: 10 лет
Откуда: Москва
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение БОРИСЫЧ »

Виктория99 писал(а):это разовая процедура?
Похоже, что НЕ разовая. То есть периодически по мере появления новых страниц надо обновлять карту сайта. Например раз в неделю. Если же поставить другой мод, более удобный - SITEMAP FX - так там карта автоматически новая создается при посещении роботом.
Виктория99 писал(а):и надо ли возвращать как было все настройки карты сайта
Лучше ничего не меняйте, эти настройки нужны если у вас установлен SEO MOD, а у вас как я понял с ним какие то проблемы.
#106
Виктория99
Заглянул на огонек
Заглянул на огонек
Сообщения: 24
Стаж: 10 лет 3 месяца
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Виктория99 »

БОРИСЫЧ,спасибо, освобожусь и поставлю SITEMAP FX
#107
Аватара пользователя
pmebear
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 67
Стаж: 10 лет 10 месяцев
Откуда: Москва
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение pmebear »

Добрый день!
На одном из сайтов по phpbb нашел такой robots
User-agent: *
Disallow: /index.php
Disallow: /phpbb_topic_tagging.php
Disallow: /adm/
Disallow: /away.html
Disallow: /go.html
Disallow: /reputation.php
Disallow: /viewonline.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$


Sitemap: http://мой сайт/sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Crawl-delay: 10



User-agent: Yandex
Disallow: /index.php
Disallow: /phpbb_topic_tagging.php
Disallow: /adm/
Disallow: /away.html
Disallow: /go.html
Disallow: /reputation.php
Disallow: /viewonline.php
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$

# Google Image
User-agent: Googlebot-Image
Disallow:

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

Sitemap: http://мой сайт/sitemap.php
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Crawl-delay: 10
Host: мой сайт
В нем есть отличия от вариантов приведенных здесь.
Проверку он проходит корректно, вроди ничего лишнего не закрывает.
Просьба прокомментировать: что оставить, а что убрать и почему.
Заранее благодарен.
#108
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Ну как минимум, зачем в нем записи для модов, которых у вас нет?
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#109
Аватара пользователя
pmebear
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 67
Стаж: 10 лет 10 месяцев
Откуда: Москва
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение pmebear »

Моды все установлены (репутацию правда удалил).
Больше интересуют эти строки:

Disallow: /index.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$
По версии автора этого robots - Disallow: /index.php прописан для того, чтобы параллельно не индексировать форум по прямому адресу и по индексной странице, правильно ли это, ни у кого больше не встречал такое. Почему-то яндекс в отличае от гугл не индексирует главную страницу, а индексирует все подряд в каких-то подфорумах. Все что идет после Disallow: /index.php тоже не понятно что закрывает, чем например отличается это Disallow: /viewtopic.php?p=* от этого Disallow: /viewtopic.php*p=* Тоесть проверяю robots, почти все открыто, что закрывают строки в спойлере и зачем их нагородили не понятно.
#110
Аватара пользователя
БОРИСЫЧ
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 89
Стаж: 10 лет
Откуда: Москва
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение БОРИСЫЧ »

pmebear писал(а):По версии автора этого robots - Disallow: /index.php прописан для того, чтобы параллельно не индексировать форум по прямому адресу и по индексной странице, правильно ли это, ни у кого больше не встречал такое.
Я просто в htaccess сделал редирект страницы /index.php на страницу /
А также в шаблонах подправил ссылки на главную страницу, также заменив /index.php на /
И тогда запрет индексации /index.php не потребуется.
#111
Аватара пользователя
pmebear
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 67
Стаж: 10 лет 10 месяцев
Откуда: Москва
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение pmebear »

.htaccess в корне форума или в корне сайта? Если не сложно дайте ссылочку на инструкцию...
#112
Аватара пользователя
БОРИСЫЧ
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 89
Стаж: 10 лет
Откуда: Москва
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение БОРИСЫЧ »

pmebear, берем htaccess находящийся в корне сервера и дописываем туда:

Код: Выделить всё

Options +FollowSymLinks
RewriteEngine On
RewriteBase /
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ http://domen.ru/ [R=301,L]
Тем самым сделали редирект со страницы /index.php на страницу /, синтаксис записи может быть иной в зависимости от того что там у вас в этом файле уже содержится.
Далее делаем так, чтобы во всех шаблонах ссылки типа /index.php заменились на ссылки типа /
Для энтого открываем: includes/functions.php, находим:

Код: Выделить всё

'U_INDEX' => append_sid("{$phpbb_root_path}index.$phpEx"),
Заменяем на:

Код: Выделить всё

'U_INDEX' => append_sid("{$phpbb_root_path}"),
Вот и сказочке конец.
#113
Аватара пользователя
pmebear
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 67
Стаж: 10 лет 10 месяцев
Откуда: Москва
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение pmebear »

Для карты сайта использую мод Sitemap FX (просто и удобно) ссылка на него - мой сайт/sitemap.php Некоторые валидаторы не видят карту сайта, так как им требуется карта в формате sitemap.xml Откопал старый мод GYM Sitemaps & RSS module 2.0.4], который помимо карты сайта отправляет в индекс новости и RSS форума. Этот мод установлен на нескольких старых и уважаемых мною форумах. Правда мод давно не поддерживается и как-то не приветствуется на гуру. Кто-нибудь использовал этот мод? Вас устраивают результаты?
#114
Аватара пользователя
Gipsomaster
Заглянул на огонек
Заглянул на огонек
Сообщения: 5
Стаж: 10 лет 6 месяцев
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Gipsomaster »

pmebear писал(а):Тоесть проверяю robots, почти все открыто, что закрывают строки в спойлере и зачем их нагородили не понятно.
Вот как раз занялся этой темой, так как обнаружил, что в ЯВ в индекс попали страницы для печати, которые по ходу вытеснили полновесные версии страниц. Ввел запрос что-то типа как убрать дубли на форуме и наткнулся на ответ на вашем же форуме, только с такой же бедой.
У вас в поиске также страницы для печати (без картинок, рекламы и т. п.) Вот пример: hello-vitebsk.ru/viewtopic.php?f=142&t=884&start=300&view=print
Получается, что одна из строчек в приведенном выше коде:

Код: Выделить всё

Disallow: /*&view=*
Как раз и отвечает за то, чтобы убрать из индекса версии страниц для печати, которые по сути являются дублями и вытесняют с выдачи полноценные страницы.
Хотя у себя я эту строчку прописал более конкретно (на всякий случай, чтобы не запретить чего лишнего):

Код: Выделить всё

Disallow: /forum/viewtopic.php?f*&view=print*
А теперь, внимание, вопрос? Это у всех какой-то недочет (здесь и на серче такое встречал)? Или я чего-то не знаю? Чем страницы для печати лучше полновесных? Или все-таки это дубли от которых нужно избавляться?
#115
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

На странице для печати почти нет мусора и лишних слов, они быстрее открываются и индексируются
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#116
Аватара пользователя
pmebear
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 67
Стаж: 10 лет 10 месяцев
Откуда: Москва
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение pmebear »

Как сделать так, чтобы вместо обычного стиля индексировались страницы для печати, и при этом не было дублей. Или вы для ботов сделали отдельный, облегченный стиль без кнопок и css?
#117
Аватара пользователя
Gipsomaster
Заглянул на огонек
Заглянул на огонек
Сообщения: 5
Стаж: 10 лет 6 месяцев
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Gipsomaster »

DeaDRoMeO писал(а):На странице для печати почти нет мусора и лишних слов, они быстрее открываются и индексируются
То есть этим Вы хотите сказать, что у Вас специально в индексе только версия для печати? :sh_ok: И нет других версий? Или все же каша из дублей?
Страницы то быстрее открываются, но подозреваю, что поведенческий не айс. Ведь мало кто может на первый взгляд отличить ГС от печатной версии? Особенно не продвинутые пользователи коих большинство (Хотя к Вашей тематике это не относится). Плюс нет картинок, а на многих форумах это основной контент.

Еще какие мнения?
pmebear писал(а):Как сделать так, чтобы вместо обычного стиля индексировались страницы для печати, и при этом не было дублей. Или вы для ботов сделали отдельный, облегченный стиль без кнопок и css?
А при чем тут для ботов? С поиска ведь не боты переходят, а живые люди.
#118
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Нет, ничего такого я не делал, даже не заморачивался по этому поводу)) Это просто мысли вслух))

Да возьмите самый легкий стиль, вырежите из него мусор и назначьте для ботов его))
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#119
Аватара пользователя
pmebear
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 67
Стаж: 10 лет 10 месяцев
Откуда: Москва
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение pmebear »

Gipsomaster писал(а):А при чем тут для ботов? С поиска ведь не боты переходят, а живые люди.
Приходят то люди, но чтобы в индексе не было мусорных ключевых слов типа вперед, назад, ответить, форум... ботам нужно давать для индексации облегченный стиль без мусора.
#120
Ответить