Полезная информация


----

Начать новую тему Ответить на тему
АвторСообщение

 Сообщение [Общая тема]robots и sitemap для phpbb3 2013-09-12

Аватар пользователя

Сейчас вообще на 150 страниц прибавилось ( Повторяющиеся заголовки (теги title)). Плюс еще короткие метаописания -8, повторяющееся метаописание -61. И как я понимаю это только начало, может как то можно исправить. В админки есть еще стили, не может это повторение из за них?



Теги темы
"sitemap для phpbb3", "robots для phpbb3"
          Вернуться наверх  
 


Аватар пользователя

Alex31 писал(а):

не может это повторение из за них?

Врядли боты могут переключать стили, эти стили активны ?


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

DeaDRoMeO писал(а):

эти стили активны ?

prosilver, subsilver2 активны, prosilver написано 1 бот индексирует. Еще был активный Getaway его 10 бот написано индексирует, я его 3 дня назад сделал не активным.


          Вернуться наверх  
 


Аватар пользователя

Вообще бы в идеале оставить активным только 1 стиль, незачем столько активных держать если на них моды не ставятся, а на один ставятся


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

DeaDRoMeO писал(а):

Вообще бы в идеале оставить активным только 1 стиль,

Так и сделаю, но думаю этим не исправить проблему.
На форуме установлен мод радио, как его скрыть от ботов? Так пойдет?
Disallow: /forum/radio.php
Или ссылку скрыть?
<li class="icon-logout"><a href="radio.php" onclick="window.open('radio.php','','toolbar=no, location=no, directories=no, status=no, menubar=no, scrollbars=yes, resizable=yes, width=440, height=380, left=20, top=20'); return false;">{L_RADIO}</a></li>
 

Заменить на
<!-- IF not S_IS_BOT --><li class="icon-logout"><a href="radio.php" onclick="window.open('radio.php','','toolbar=no, location=no, directories=no, status=no, menubar=no, scrollbars=yes, resizable=yes, width=440, height=380, left=20, top=20'); return false;">{L_RADIO}</a></li><!-- ENDIF -->
 


          Вернуться наверх  
 


Аватар пользователя

Первое лучше ибо они всеравно найдут и без ссылки радио, через роботс надежнее


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

В гугле опять прибавление). Повторяющиеся заголовки (теги title) - 330, повторяющееся метаописание - 141. Мне интересно как у остальных с этими повторениями. Не попаду ли я из за них в бан?


          Вернуться наверх  
 


Аватар пользователя

Alex31 писал(а):

Не попаду ли я из за них в бан?

Нет конечно))
У меня тоже повторений много)


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

DeaDRoMeO писал(а):

У меня тоже повторений много)

Ну как то не спокойно на душе, когда ошибки есть))


          Вернуться наверх  
 


Аватар пользователя

Если повторяющиеся метаописания - то туда можно закинуть номер страницы, как для тайтла. А вот повторяющиеся тайтлы - возможно придется поколдовать над роботсом, у меня та же проблема, в свободное время попробую решить


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

DeaDRoMeO писал(а):

Если повторяющиеся метаописания - то туда можно закинуть номер страницы, как для тайтла.

Так там тоже такие же страницы
/forum/viewtopic.php?t=382&p=2905
/forum/viewtopic.php?t=382&p=2913


          Вернуться наверх  
 


Аватар пользователя

А ещё если стоит портал, то посмотри сколько страниц наплодилось с адресом в конце /portal.php?m18=xxx вместо xxx могут быть любые цифры. Я эти страницы в robots.txt заблокировал. Поэтому думаю что добавить такую строчку Disallow: /portal.php?m1* будет полезно.


          Вернуться наверх  
 


Аватар пользователя

У меня тоже форум находится в папке forum, у меня форум встроен в Wordpress, и я просто добавил дополнительные строки на свой уже готовый Robots который лежит не в корне форума а в корне сайта, получилось так:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Host: сайт.net
Sitemap: http://сайт.net/sitemap.xml.gz
Sitemap: http://сайт.net/sitemap.xml
Sitemap: http://сайт.net/forum/sitemap.php
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php
 

Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php
гугл и яндекс вроде скушали, вот только в гугле для трёх последних строк пишет что "Синтаксис не распознаётся", так и должно быть? :x


          Вернуться наверх  
 


Аватар пользователя

У меня так же и фиг поймешь чем ему синтаксис не нравится, в свое время не нашел решения этой проблемы


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

Здесь все решается так. Почему нет пустой строки между
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
User-agent: Yandex
 

Разрыв строки надо вставить обязательно. У вас Гугл видимо читает файл до конца, то есть читает и то, что написано только для Яндекса. Поскольку директивы Host и Clean Param понимает только Яндекс, а Гугл не знает с чем это едят, возникает ошибка. Если вдруг захотите сделать файл robots.txt сразу для всех роботов (без выделения яндекса), то последовательность директив должна быть следующей:
User-agent: *
Disallow:
Sitemap:
Clean-param:
Host:
 

То есть Sitemap должен быть ДО того как Гугл встретит неизвестные ему директивы. Я рекомендую делать универсальный список директив без отдельного списка для яндекса, если только нет потребности сделать какие то исключительные правила именно для яндекса.

Если же делаете отдельно для яндекса и всех остальных, тогда так:
User-agent: *
Disallow:
Sitemap:

User-agent: Yandex
Disallow:
Sitemap:
Clean-param:
Host:
 


И еще. Допускается только одна директива Sitemap, если у вас много файлов с картой сайта, на них должны быть ссылки в главном файле карты сайта.

Есть еще вопрос - а зачем нужно Disallow: /*?* Это же запретит индексацию всех страниц форума, кроме главной, если только у вас не используется преобразование ссылок в ЧПУ.

Файл robots.txt который лежит не в корне форума а в корне сайта... - Так в папке /forum/ вообще не нужен этот файл, он должен быть только один и только в корне всего сайта.


          Вернуться наверх  
 


Аватар пользователя

БОРИСЫЧ
Всё верно, у меня на wordpress для сообщений настроены ЧПУ вида
Пожалуйста Зарегистрируйтесь чтобы увидеть ссылку
%postname%.html, код Disallow: /*?* исключает из индексации только урлы вида:
Пожалуйста Зарегистрируйтесь чтобы увидеть ссылку
, поэтому проблем с индексацией статей на сайте у меня нет, но думаю всё же эту строчку удалить в связи с её не надобностью, урлы на сайте у меня всё равно настраиваются автоматически, и ещё не знаю как на форум эта строчка может отразиться, попробую переставить всё вашим методом, посмотрю потом на результаты :-00):


          Вернуться наверх  
 


Аватар пользователя

Подскажите с чего начинать а то голова кругом . По вебмастеру в яндексе есть 2 дня по которым я вылетела .
что делать с чего начинать и как возвращаться к жизни не пойму

Скрытый текст. Нужно быть Зарегистрированным и иметь 15 сообщений(я)(е).


мой робот тикст
User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Crawl-delay: 5

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: shops-zona.ck.ua
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Crawl-delay: 3
 




прям и не знаю с чего начинать с robots.txt , сайт мапа ( его нет у меня ) или где искать причину :ga-ze-ta; ?
надо ж понимать почему так . может в админке нужно что подправить.

помогите советами с чего начинать и что делать .
Спасибо.


          Вернуться наверх  
 


Аватар пользователя

Виктория99, а что вам тут не нравится? Роботс составлен верно (по крайней мере не запрещено то, что должно быть разрешено). Исключенные яндексом страницы - там тоже все в порядке, именно эти страницы с параметрами view= и прочими подобными и нужно запрещать. Поясните конкретней что не нравится и что значит - вылетела на два дня ))

Сообщение добавлено... спустя 16 минут 45 секунд:
А по части неверного формата документа - в скриншоте видна только 1 ссылка -
Пожалуйста Зарегистрируйтесь чтобы увидеть ссылку


Так по этой ссылке ваш форум не доступен - требует авторизации. Может быть в правилах доступа какие настройки стоят для ботов, им эти страницы тоже не видны, вот и выдает ошибку...


          Вернуться наверх  
 


Аватар пользователя

БОРИСЫЧ,успокоили спасибо .
Меня смущает такое кол-во запрещенных ссылок

Скрытый текст. Нужно быть Зарегистрированным и иметь 20 сообщений(я)(е).

Цитата:
Документ запрещен в файле robots.txt ? 80477

да здесь профиля участников занимают ,но и есть темы , которые присутствуют на форуме . Почему ж роботсу они не нравятся?

Вот смущает что на скрине красным написано что запрещено правилом , как разрешить?


          Вернуться наверх  
 


Аватар пользователя

Виктория99, чтобы разрешить проиндексировать эти страницы, нужно убрать из роботса эти строки:
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
 

Но я это делать не рекомендую, так как эти ссылки правильно запрещены. Это дублирующий контент.
То есть если проиндексированы страница без всяких параметров типа /viewtopic.php?f=10&t=100, то индексировать страницы типа
/viewtopic.php?f=10&t=100#p100
/viewtopic.php?f=10&t=100&view=...
/viewtopic.php?f=10&t=100&start=0
 

уже не нужно, иначе в поисковой выдаче будут несколько одинаковых результатов, что не есть хорошо.


          Вернуться наверх  
 
 
Начать новую тему Ответить на тему


Дополнительные возможности

  Похожие темы  Автор  Ответов  Просмотров  Последнее сообщение 
Аватар пользователя [Общая тема]BB-коды phpbb3
Тема полностью посвящена проблемам использования и разработки BB-кодов для форума

nudevolga

27

2224

Аватар пользователя

01 авг 2013, 14:04

DeaDRoMeO

Случайный аватар. Пользователю рекомендуется загрузить свой аватар в Настройках профиля [Общая тема]Вложения phpbb3
Данная тема полностью посвящена проблемам с настройкой и отображением вложений на форумах phpbb3

artur1992g

315

9206

Аватар пользователя

27 мар 2015, 08:35

DeaDRoMeO

Аватар пользователя [Общая тема]Права доступа phpBB3
Тема полностью посвящена проблемам и настройке прав доступа на форумах phpbb3

artcry

215

8133

Аватар пользователя

15 ноя 2017, 00:07

mela

Аватар пользователя [Общая тема]E-mail рассылки и уведомления phpbb3
Тема полностью посвящена проблемам с рассылкой и уведомлениями на форумах phpbb3

nudevolga

101

6373

Случайный аватар. Пользователю рекомендуется загрузить свой аватар в Настройках профиля

26 янв 2016, 14:19

djok

Аватар пользователя Sitemap FX phpbb3
Sitemap FX phpbb3 - модификация для phpbb3, создающая карту форума (иначе сайтмап, Sitemap) для еще более быстрого индексирования поисковиками

DeaDRoMeO

148

16771

Аватар пользователя

01 дек 2016, 08:22

termiton

Оставить свой комментарий

Поделиться темой с помощью

Ссылки на тему

Прямая ссылка:
BB-код для форумов, сайтов, блогов:
HTML ссылка:
 


Самая неформальная поддержка phpBB :P