[Общая тема]robots и sitemap для phpbb3

Форум без пользователей, как машина без колес. Данный подфорум призван помочь ответить вам на вопросы - форум? Чем привлечь пользователей ? Как продвинуть свой ресурс в поисковиках ?
Обсуждаем все, что с этим связано, делимся секретами и решаем вместе проблемы раскрутки.

Модераторы: Vl@d1m1r, Lorem Ipsum, Atlas

Правила форума
----
Ответить
Аватара пользователя
Gipsomaster
Заглянул на огонек
Заглянул на огонек
Сообщения: 5
Стаж: 10 лет 6 месяцев
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Gipsomaster »

pmebear писал(а):Приходят то люди, но чтобы в индексе не было мусорных ключевых слов типа вперед, назад, ответить, форум... ботам нужно давать для индексации облегченный стиль без мусора.
На счет облегченного стиля согласен ( причем он нужен не только для ботов, а вообще. Зачем перегружать тему, чтобы она открывалась с такими тормозами, что пользователи не будут дожидаться?). А что касается вперед, назад и т. п., то крайне не согласен. С каких пор навигация, да и контент в целом стал ключевыми словами?
Еще раз повторюсь, что стилей для ботов не существует. Есть только стили для пользователей. А Вы самую важную составляющего любого проекта под названием юзабилити, называете мусором???
ПС сейчас стали настолько умными, что мне кажется глупо пытаться подстраиваться исключительно под них (особенно сейчас). Да и сами Гугловцы и Платоны говорят, что думать нужно в первую очередь о пользователях.
Для себя я уже сделал вывод, что версии для печати в поиске (и не полноценные облегченные темы в том числе) - это как минимум не правильно и от этого необходимо избавиться. А Вы как хотите. Я просто высказал свое мнение.
#121
Аватара пользователя
pmebear
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 67
Стаж: 10 лет 10 месяцев
Откуда: Москва
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение pmebear »

Gipsomaster писал(а):Еще раз повторюсь, что стилей для ботов не существует.
вот стиль для ботов Artodia
Gipsomaster писал(а):На счет облегченного стиля согласен ( причем он нужен не только для ботов, а вообще. Зачем перегружать тему, чтобы она открывалась с такими тормозами, что пользователи не будут дожидаться?).
для ботов можно убрать профили, аватары и т.д., все это лишнее для индексации, если это убрать для всех пользователей.... то форум будет не информативен.....
Gipsomaster писал(а):Для себя я уже сделал вывод, что версии для печати в поиске (и не полноценные облегченные темы в том числе) - это как минимум не правильно и от этого необходимо избавиться. А Вы как хотите. Я просто высказал свое мнение.
Я уже писал выше, что если в индексе облегченный стиль, то пользователи получают в результатах не ваш облегченный стиль, а тот, который им положен по умолчанию. Облегченный стиль нужен для того, чтобы бот быстро и без мусора получил контент, выдаст он пользователю то, что нужно....То что в индес попадают страницы для печати (которые есть в любом стиле и даже облегченном) это маленькая недоработка, страницы для печати нужно закрывать в роботсе.
Gipsomaster писал(а):А что касается вперед, назад и т. п., то крайне не согласен. С каких пор навигация, да и контент в целом стал ключевыми словами?
Ключевые слова получаются из контента, а слова из навигации туда попадать не должны. Форумов на phpbb миллион, и по ключевым словам вперед назад, форум в топ думаю не попадет.... Если открыть панель вебмастера Гугл, то по моему форуму, там половина слов вперед, назад, форум, перейти... нужные мне слова в конце рейтинга, поэтому я и пытаюсь убрать все вперед, назад из стиля для ботов (Гугл выбирает слова автоматически).
Gipsomaster писал(а):ПС сейчас стали настолько умными, что мне кажется глупо пытаться подстраиваться исключительно под них (особенно сейчас). Да и сами Гугловцы и Платоны говорят, что думать нужно в первую очередь о пользователях.
Ага, настолько умные, что Yandex выкинул из индексации почти все страницы моего форума (в том числе индексную), ссылаясь на дубли, а оставил то, что и не нужно было индексировать, пока я думал о пользователях....
Сказанное выше исключительно мое личное мнение
#122
Аватара пользователя
Gipsomaster
Заглянул на огонек
Заглянул на огонек
Сообщения: 5
Стаж: 10 лет 6 месяцев
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Gipsomaster »

pmebear писал(а):Я уже писал выше, что если в индексе облегченный стиль, то пользователи получают в результатах не ваш облегченный стиль, а тот, который им положен по умолчанию.
Спасибо. Я этого не знал. А как сделать чтобы бот индексировал именно эту тему, а при переходе с поиска открывалась, к примеру, просильвер?
#123
Аватара пользователя
pmebear
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 67
Стаж: 10 лет 10 месяцев
Откуда: Москва
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение pmebear »

Gipsomaster писал(а):Спасибо. Я этого не знал. А как сделать чтобы бот индексировал именно эту тему, а при переходе с поиска открывалась, к примеру, просильвер?
Всегда пожалуйста.
Установите боту мобильный стиль, а пользователям стиль просильвер по умолчанию. Бот будет индексировать не тему, а ее контент, а пользователь получит на выходе свой просильвер.
#124
Аватара пользователя
Gipsomaster
Заглянул на огонек
Заглянул на огонек
Сообщения: 5
Стаж: 10 лет 6 месяцев
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Gipsomaster »

Спасибо, что прояснили ситуацию. После редизайна так и сделаю.
#125
Аватара пользователя
Рубцовск
Зашел немного посидеть
Зашел немного посидеть
Сообщения: 54
Стаж: 9 лет 7 месяцев
Откуда: Рубцовск
Контактная информация:

Не правильно работает robots

Сообщение Рубцовск »

Здравствуйте у меня не правильно работает robotsПроблема такая вот как выдаёт гугал в поиске Вот скрин


А так выдаёт яндекс



В ФТП robots лежит у меня так public_html/rubcovsk-city.ru

Помогите правильно настроить вот сам robots

Код: Выделить всё

User-agent: *
Disallow: /forum/faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: rubcovsk-city.ru
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Sitemap: http://rubcovsk-city.ru/sitemap.php
Есть ещё такой но он не стоит

Код: Выделить всё

User-agent: *
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$

# Google Image
User-agent: Googlebot-Image
Disallow:

# Google AdSense
User-agent: Mediapartners-Google
Disallow:
#126
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Листайте тему и сравнивайте с выложенными роботсами
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#127
mela
Активно осваиваю Форум
Активно осваиваю Форум
Сообщения: 246
Стаж: 9 лет 6 месяцев
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение mela »

Подскажите, пжт, сейчас сделала файл роботс, проверила в яндексе. При проверке пишет: Найдено несколько директив Host. Как такое возможно???

И еще, на сайте в роботс у меня пропасано:

Sitemap: http://домен.ru/sitemap.[b]xml.gz[/b]
Sitemap: http://домен.ru/sitemap.[b]xml[/b]

Для фрума такое годится, или обязательно должно быть Sitemap: http://forum.домен.ru/sitemap.[b]php[/b]


Вот я ... тетя-мотя... Два раза прописала хост :-00):
#128
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Хах))) да необязательно php сайтмап
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#129
mela
Активно осваиваю Форум
Активно осваиваю Форум
Сообщения: 246
Стаж: 9 лет 6 месяцев
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение mela »

Здравствуйте. Подскажите, пожалуйста, что добавить в robots.txt, чтобы в поиске не выходили сами разделы. На скриншоте joxi.ru/1A5xDj3IBDnN2E первые три ссылки - это ссылки на форумы и подфорумы, а последняя на топик. По-моему, названия форумов не должны выходить в поиске, или я ошибаюсь?
#130
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

mela писал(а):По-моему, названия форумов не должны выходить в поиске, или я ошибаюсь?
Ошибаетесь, это тоже важный момент в индексировании или вы хотите чтоб боты как то сами находили ссылки на темы минуя страницу просмотра форумов?
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#131
mela
Активно осваиваю Форум
Активно осваиваю Форум
Сообщения: 246
Стаж: 9 лет 6 месяцев
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение mela »

)) Не знаю, просто у других (крупных) форумов такого не видела, там только топики. Все понятно, спасибо.
#132
San4
Заглянул на огонек
Заглянул на огонек
Сообщения: 12
Стаж: 8 лет 11 месяцев

[Общая тема]robots и sitemap для phpbb3

Сообщение San4 »

что-то с роботс не могу разобраться. Посмотрите, пожалуйста нет ли тут лишних запретов для форума.
у меня стоит вордпресс, а форум лежит в папке.
был закинут сначала такой роботс:

Код: Выделить всё

Disallow: *?
Disallow: *.php$
Disallow: /tag/
Disallow: /feed/
Disallow: /wp-admin/
Disallow: */attachment/
Disallow: /forum/adm/
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/index.php?
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewonline.php
Disallow: /forum/*&st=*
Disallow: /forum/*&sk=*
Disallow: /forum/*&sd=*
Disallow: /forum/*&hilit=*
Disallow: /forum/*&view=*
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/viewtopic.php?t=*
Disallow: /forum/view*&start=0$
но после этого, яндекс выкинул почти все страницы из форума, я так понял ошибка была в первой и второй вордпрессовской строчке : *.php$ и *?

потом исправил и закинул такой роботс:

Код: Выделить всё

Allow: /wp-content/uploads
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed
Disallow: */feed
Disallow: /comment-page-*
Disallow: /comments
Disallow: /*/?replytocom=*
Disallow: /tag
Disallow: /author/
Disallow: /js/
Disallow: /20*/*
Disallow: /page/*
Disallow: /forum/adm/
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/index.php?
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewonline.php
Disallow: /forum/*&st=*
Disallow: /forum/*&sk=*
Disallow: /forum/*&sd=*
Disallow: /forum/*&hilit=*
Disallow: /forum/*&view=*
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/viewtopic.php?t=*
Disallow: /forum/view*&start=0$
но уже неделя прошла, а толку нет, практически весь форум все равно исключен из индексации.... :wo)(ll:
#133
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

Уберите всю секцию, связаную с сайтом, оставьте форумное. Либо используйте инструменты вебмастера яндекса и гугла дабы проверить доступны ли ключевые страницы форума
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#134
Аватара пользователя
Олега
Активно осваиваю Форум
Активно осваиваю Форум
Сообщения: 191
Стаж: 7 лет 1 месяц
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение Олега »

А у меня стоит вот такой robots ( скачал с гуру ) Яндекс принимает А гугл пока не знаю у меня еще нигде форум не регился. Сравнил с тем что здесь - есть небольшая разница. Как ваше мнение? Что лучше что хуже или что переделать?

Код: Выделить всё

User-agent: *
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$

# Google Image
User-agent: Googlebot-Image
Disallow:

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

User-agent: Yandex
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$

Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
У меня phpbb 3.1.10
#135
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

По моему переделывать ничего не надо
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#136
Аватара пользователя
madam-ka
Начинаю осваивать Форум
Начинаю осваивать Форум
Сообщения: 123
Стаж: 8 лет 9 месяцев

[Общая тема]robots и sitemap для phpbb3

Сообщение madam-ka »

Подскажите, а что этот robots.txt блокирует аватары? Мне гугл консоль выдвинул список из 260 картинок, заблокированных на форуме. И это все аватары. При этом гугл предупреждает, что страницы с заблокированными ресурсами (аватарами) могут сканироваться с ошибками и это влияет на позиции :sh_ok: :sh_ok:
#137
Аватара пользователя
DeaDRoMeO
Старожил Форума
Старожил Форума
Сообщения: 16763
Стаж: 13 лет
Откуда: Витебск
Контактная информация:

[Общая тема]robots и sitemap для phpbb3

Сообщение DeaDRoMeO »

А что у вас там в этом файле то прописано?
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
#138
Ответить