[Общая тема]robots и sitemap для phpbb3

Форум без пользователей, как машина без колес. Данный подфорум призван помочь ответить вам на вопросы - форум? Чем привлечь пользователей ? Как продвинуть свой ресурс в поисковиках ?
Обсуждаем все, что с этим связано, делимся секретами и решаем вместе проблемы раскрутки.

Модераторы: Vl@d1m1r, Lorem Ipsum, Atlas

Правила форума
----
Ответить
Аватара пользователя
Alex31
Активно осваиваю Форум
Активно осваиваю Форум
Сообщения: 221
Стаж: 10 лет 6 месяцев
Откуда: Белгород
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Alex31 »

Сейчас вообще на 150 страниц прибавилось ( Повторяющиеся заголовки (теги title)). Плюс еще короткие метаописания -8, повторяющееся метаописание -61. И как я понимаю это только начало, может как то можно исправить. В админки есть еще стили, не может это повторение из за них?
#81
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Alex31 писал(а):не может это повторение из за них?
Врядли боты могут переключать стили, эти стили активны ?
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#82
Аватара пользователя
Alex31
Активно осваиваю Форум
Активно осваиваю Форум
Сообщения: 221
Стаж: 10 лет 6 месяцев
Откуда: Белгород
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Alex31 »

DeaDRoMeO писал(а):эти стили активны ?
prosilver, subsilver2 активны, prosilver написано 1 бот индексирует. Еще был активный Getaway его 10 бот написано индексирует, я его 3 дня назад сделал не активным.
#83
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Вообще бы в идеале оставить активным только 1 стиль, незачем столько активных держать если на них моды не ставятся, а на один ставятся
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#84
Аватара пользователя
Alex31
Активно осваиваю Форум
Активно осваиваю Форум
Сообщения: 221
Стаж: 10 лет 6 месяцев
Откуда: Белгород
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Alex31 »

DeaDRoMeO писал(а):Вообще бы в идеале оставить активным только 1 стиль,
Так и сделаю, но думаю этим не исправить проблему.
На форуме установлен мод радио, как его скрыть от ботов? Так пойдет?
Disallow: /forum/radio.php
Или ссылку скрыть?

Код: Выделить всё

<li class="icon-logout"><a href="radio.php" onclick="window.open('radio.php','','toolbar=no, location=no, directories=no, status=no, menubar=no, scrollbars=yes, resizable=yes, width=440, height=380, left=20, top=20'); return false;">{L_RADIO}</a></li>
Заменить на

Код: Выделить всё

<!-- IF not S_IS_BOT --><li class="icon-logout"><a href="radio.php" onclick="window.open('radio.php','','toolbar=no, location=no, directories=no, status=no, menubar=no, scrollbars=yes, resizable=yes, width=440, height=380, left=20, top=20'); return false;">{L_RADIO}</a></li><!-- ENDIF -->
#85
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Первое лучше ибо они всеравно найдут и без ссылки радио, через роботс надежнее
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#86
Аватара пользователя
Alex31
Активно осваиваю Форум
Активно осваиваю Форум
Сообщения: 221
Стаж: 10 лет 6 месяцев
Откуда: Белгород
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Alex31 »

В гугле опять прибавление). Повторяющиеся заголовки (теги title) - 330, повторяющееся метаописание - 141. Мне интересно как у остальных с этими повторениями. Не попаду ли я из за них в бан?
#87
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Alex31 писал(а):Не попаду ли я из за них в бан?
Нет конечно))
У меня тоже повторений много)
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#88
Аватара пользователя
Alex31
Активно осваиваю Форум
Активно осваиваю Форум
Сообщения: 221
Стаж: 10 лет 6 месяцев
Откуда: Белгород
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Alex31 »

DeaDRoMeO писал(а):У меня тоже повторений много)
Ну как то не спокойно на душе, когда ошибки есть))
#89
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Если повторяющиеся метаописания - то туда можно закинуть номер страницы, как для тайтла. А вот повторяющиеся тайтлы - возможно придется поколдовать над роботсом, у меня та же проблема, в свободное время попробую решить
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#90
Аватара пользователя
Alex31
Активно осваиваю Форум
Активно осваиваю Форум
Сообщения: 221
Стаж: 10 лет 6 месяцев
Откуда: Белгород
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Alex31 »

DeaDRoMeO писал(а):Если повторяющиеся метаописания - то туда можно закинуть номер страницы, как для тайтла.
Так там тоже такие же страницы
/forum/viewtopic.php?t=382&p=2905
/forum/viewtopic.php?t=382&p=2913
#91
Аватара пользователя
bvp
Заглянул на огонек
Заглянул на огонек
Сообщения: 37
Стаж: 10 лет 4 месяца

[Общая тема]robots и sitemap для phpbb3

Сообщение bvp »

А ещё если стоит портал, то посмотри сколько страниц наплодилось с адресом в конце /portal.php?m18=xxx вместо xxx могут быть любые цифры. Я эти страницы в robots.txt заблокировал. Поэтому думаю что добавить такую строчку Disallow: /portal.php?m1* будет полезно.
#92
Аватара пользователя
Rapcoreman
Заглянул на огонек
Заглянул на огонек
Сообщения: 29
Стаж: 10 лет
Откуда: Россия

[Общая тема]robots и sitemap для phpbb3

Сообщение Rapcoreman »

У меня тоже форум находится в папке forum, у меня форум встроен в Wordpress, и я просто добавил дополнительные строки на свой уже готовый Robots который лежит не в корне форума а в корне сайта, получилось так:

Код: Выделить всё

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag 
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewtopic.php?p=*
Disallow: /forum/viewtopic.php?f=*&t=*&start=0$
Disallow: /forum/viewtopic.php?f=*&t=*&view=next
Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
Host: сайт.net
Sitemap: http://сайт.net/sitemap.xml.gz
Sitemap: http://сайт.net/sitemap.xml
Sitemap: http://сайт.net/forum/sitemap.php
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php
Clean-param: sid /forum/index.php
Clean-param: sid /forum/viewforum.php
Clean-param: sid /forum/viewtopic.php
гугл и яндекс вроде скушали, вот только в гугле для трёх последних строк пишет что "Синтаксис не распознаётся", так и должно быть? :x
#93
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

У меня так же и фиг поймешь чем ему синтаксис не нравится, в свое время не нашел решения этой проблемы
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#94
Аватара пользователя
БОРИСЫЧ
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 89
Стаж: 10 лет
Откуда: Москва
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение БОРИСЫЧ »

Здесь все решается так. Почему нет пустой строки между

Код: Выделить всё

Disallow: /forum/viewtopic.php?f=*&t=*&view=previous
User-agent: Yandex
Разрыв строки надо вставить обязательно. У вас Гугл видимо читает файл до конца, то есть читает и то, что написано только для Яндекса. Поскольку директивы Host и Clean Param понимает только Яндекс, а Гугл не знает с чем это едят, возникает ошибка. Если вдруг захотите сделать файл robots.txt сразу для всех роботов (без выделения яндекса), то последовательность директив должна быть следующей:

Код: Выделить всё

User-agent: *
Disallow:
Sitemap:
Clean-param:
Host:
То есть Sitemap должен быть ДО того как Гугл встретит неизвестные ему директивы. Я рекомендую делать универсальный список директив без отдельного списка для яндекса, если только нет потребности сделать какие то исключительные правила именно для яндекса.

Если же делаете отдельно для яндекса и всех остальных, тогда так:

Код: Выделить всё

User-agent: *
Disallow:
Sitemap:

User-agent: Yandex
Disallow:
Sitemap:
Clean-param:
Host:
И еще. Допускается только одна директива Sitemap, если у вас много файлов с картой сайта, на них должны быть ссылки в главном файле карты сайта.

Есть еще вопрос - а зачем нужно Disallow: /*?* Это же запретит индексацию всех страниц форума, кроме главной, если только у вас не используется преобразование ссылок в ЧПУ.

Файл robots.txt который лежит не в корне форума а в корне сайта... - Так в папке /forum/ вообще не нужен этот файл, он должен быть только один и только в корне всего сайта.
#95
Аватара пользователя
Rapcoreman
Заглянул на огонек
Заглянул на огонек
Сообщения: 29
Стаж: 10 лет
Откуда: Россия

[Общая тема]robots и sitemap для phpbb3

Сообщение Rapcoreman »

БОРИСЫЧ
Всё верно, у меня на wordpress для сообщений настроены ЧПУ вида www.site.ru/%postname%.html, код Disallow: /*?* исключает из индексации только урлы вида: www.site.ru/?param=1, поэтому проблем с индексацией статей на сайте у меня нет, но думаю всё же эту строчку удалить в связи с её не надобностью, урлы на сайте у меня всё равно настраиваются автоматически, и ещё не знаю как на форум эта строчка может отразиться, попробую переставить всё вашим методом, посмотрю потом на результаты :-00):
#96
Виктория99
Заглянул на огонек
Заглянул на огонек
Сообщения: 24
Стаж: 10 лет 4 месяца
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Виктория99 »

Подскажите с чего начинать а то голова кругом . По вебмастеру в яндексе есть 2 дня по которым я вылетела .
что делать с чего начинать и как возвращаться к жизни не пойму

[hide=15]




Вообщем исключено роботом
Исключено роботом 81326
:zvez_ochki:[/hide]

мой робот тикст

Код: Выделить всё

User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Crawl-delay: 5

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: shops-zona.ck.ua
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Crawl-delay: 3


прям и не знаю с чего начинать с robots.txt , сайт мапа ( его нет у меня ) или где искать причину :ga-ze-ta; ?
надо ж понимать почему так . может в админке нужно что подправить.

помогите советами с чего начинать и что делать .
Спасибо.
#97
Аватара пользователя
БОРИСЫЧ
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 89
Стаж: 10 лет
Откуда: Москва
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение БОРИСЫЧ »

Виктория99, а что вам тут не нравится? Роботс составлен верно (по крайней мере не запрещено то, что должно быть разрешено). Исключенные яндексом страницы - там тоже все в порядке, именно эти страницы с параметрами view= и прочими подобными и нужно запрещать. Поясните конкретней что не нравится и что значит - вылетела на два дня ))

Сообщение добавлено... спустя 16 минут 45 секунд:
А по части неверного формата документа - в скриншоте видна только 1 ссылка - http://shops-zona.ck.ua/viewtopic.php?f=100&t=1393

Так по этой ссылке ваш форум не доступен - требует авторизации. Может быть в правилах доступа какие настройки стоят для ботов, им эти страницы тоже не видны, вот и выдает ошибку...
#98
Виктория99
Заглянул на огонек
Заглянул на огонек
Сообщения: 24
Стаж: 10 лет 4 месяца
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Виктория99 »

БОРИСЫЧ,успокоили спасибо .
Меня смущает такое кол-во запрещенных ссылок

[hide=20]вообщем ситуация такая
Информация о сайте
Страниц в поиске ? 6918
Внешних ссылок на страницы сайта 34
Дата последнего посещения сайта роботом 5.05.2014
Загружено роботом 141393
Исключено роботом 81326 почему? , или что мне сделать чтоб больше в поиске были .
ТИЦ ? меньше 10

и еще вот

HTTP-статус: Доступ к ресурсу запрещён (403) ? 45

Страницы запрещены к индексированию вебмастером или не существуют
HTTP-статус: Неавторизованный запрос (401) ? 1
HTTP-статус: Ресурс не найден (404) ? 40
Документ запрещен в файле robots.txt ? 80477

Не поддерживается роботом
Неверный формат документа ? 763[/hide]
Документ запрещен в файле robots.txt ? 80477

да здесь профиля участников занимают ,но и есть темы , которые присутствуют на форуме . Почему ж роботсу они не нравятся?

Вот смущает что на скрине красным написано что запрещено правилом , как разрешить?
#99
Аватара пользователя
БОРИСЫЧ
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 89
Стаж: 10 лет
Откуда: Москва
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение БОРИСЫЧ »

Виктория99, чтобы разрешить проиндексировать эти страницы, нужно убрать из роботса эти строки:

Код: Выделить всё

Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewforum.php?f=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Но я это делать не рекомендую, так как эти ссылки правильно запрещены. Это дублирующий контент.
То есть если проиндексированы страница без всяких параметров типа /viewtopic.php?f=10&t=100, то индексировать страницы типа

Код: Выделить всё

/viewtopic.php?f=10&t=100#p100
/viewtopic.php?f=10&t=100&view=...
/viewtopic.php?f=10&t=100&start=0
уже не нужно, иначе в поисковой выдаче будут несколько одинаковых результатов, что не есть хорошо.
#100
Ответить