Полезная информация


----

Начать новую тему Ответить на тему
АвторСообщение

 Сообщение [Общая тема]robots и sitemap для phpbb3 2014-05-31

Аватар пользователя

pmebear писал(а):

Приходят то люди, но чтобы в индексе не было мусорных ключевых слов типа вперед, назад, ответить, форум... ботам нужно давать для индексации облегченный стиль без мусора.

На счет облегченного стиля согласен ( причем он нужен не только для ботов, а вообще. Зачем перегружать тему, чтобы она открывалась с такими тормозами, что пользователи не будут дожидаться?). А что касается вперед, назад и т. п., то крайне не согласен. С каких пор навигация, да и контент в целом стал ключевыми словами?
Еще раз повторюсь, что стилей для ботов не существует. Есть только стили для пользователей. А Вы самую важную составляющего любого проекта под названием юзабилити, называете мусором???
ПС сейчас стали настолько умными, что мне кажется глупо пытаться подстраиваться исключительно под них (особенно сейчас). Да и сами Гугловцы и Платоны говорят, что думать нужно в первую очередь о пользователях.
Для себя я уже сделал вывод, что версии для печати в поиске (и не полноценные облегченные темы в том числе) - это как минимум не правильно и от этого необходимо избавиться. А Вы как хотите. Я просто высказал свое мнение.



Теги темы
"sitemap для phpbb3", "robots для phpbb3"
          Вернуться наверх  
 


Аватар пользователя

Gipsomaster писал(а):

Еще раз повторюсь, что стилей для ботов не существует.
вот стиль для ботов
Пожалуйста Зарегистрируйтесь чтобы увидеть ссылку


Gipsomaster писал(а):

На счет облегченного стиля согласен ( причем он нужен не только для ботов, а вообще. Зачем перегружать тему, чтобы она открывалась с такими тормозами, что пользователи не будут дожидаться?).
для ботов можно убрать профили, аватары и т.д., все это лишнее для индексации, если это убрать для всех пользователей.... то форум будет не информативен.....
Gipsomaster писал(а):

Для себя я уже сделал вывод, что версии для печати в поиске (и не полноценные облегченные темы в том числе) - это как минимум не правильно и от этого необходимо избавиться. А Вы как хотите. Я просто высказал свое мнение.

Я уже писал выше, что если в индексе облегченный стиль, то пользователи получают в результатах не ваш облегченный стиль, а тот, который им положен по умолчанию. Облегченный стиль нужен для того, чтобы бот быстро и без мусора получил контент, выдаст он пользователю то, что нужно....То что в индес попадают страницы для печати (которые есть в любом стиле и даже облегченном) это маленькая недоработка, страницы для печати нужно закрывать в роботсе.
Gipsomaster писал(а):

А что касается вперед, назад и т. п., то крайне не согласен. С каких пор навигация, да и контент в целом стал ключевыми словами?
Ключевые слова получаются из контента, а слова из навигации туда попадать не должны. Форумов на phpbb миллион, и по ключевым словам вперед назад, форум в топ думаю не попадет.... Если открыть панель вебмастера Гугл, то по моему форуму, там половина слов вперед, назад, форум, перейти... нужные мне слова в конце рейтинга, поэтому я и пытаюсь убрать все вперед, назад из стиля для ботов (Гугл выбирает слова автоматически).
Gipsomaster писал(а):

ПС сейчас стали настолько умными, что мне кажется глупо пытаться подстраиваться исключительно под них (особенно сейчас). Да и сами Гугловцы и Платоны говорят, что думать нужно в первую очередь о пользователях.
Ага, настолько умные, что Yandex выкинул из индексации почти все страницы моего форума (в том числе индексную), ссылаясь на дубли, а оставил то, что и не нужно было индексировать, пока я думал о пользователях....
Сказанное выше исключительно мое личное мнение


          Вернуться наверх  
 


Аватар пользователя

pmebear писал(а):

Я уже писал выше, что если в индексе облегченный стиль, то пользователи получают в результатах не ваш облегченный стиль, а тот, который им положен по умолчанию.

Спасибо. Я этого не знал. А как сделать чтобы бот индексировал именно эту тему, а при переходе с поиска открывалась, к примеру, просильвер?


          Вернуться наверх  
 


Аватар пользователя

Gipsomaster писал(а):

Спасибо. Я этого не знал. А как сделать чтобы бот индексировал именно эту тему, а при переходе с поиска открывалась, к примеру, просильвер?

Всегда пожалуйста.
Установите боту мобильный стиль, а пользователям стиль просильвер по умолчанию. Бот будет индексировать не тему, а ее контент, а пользователь получит на выходе свой просильвер.


          Вернуться наверх  
 


Аватар пользователя

Спасибо, что прояснили ситуацию. После редизайна так и сделаю.


          Вернуться наверх  
 


Аватар пользователя

Здравствуйте у меня не правильно работает robotsПроблема такая вот как выдаёт гугал в поиске Вот скрин
Пожалуйста Зарегистрируйтесь чтобы увидеть ссылку


А так выдаёт яндекс

Пожалуйста Зарегистрируйтесь чтобы увидеть ссылку


В ФТП robots лежит у меня так public_html/rubcovsk-city.ru

Помогите правильно настроить вот сам robots

User-agent: *
Disallow: /forum/faq.php
Disallow: /mcp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Host: rubcovsk-city.ru
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Sitemap: http://rubcovsk-city.ru/sitemap.php
 


Есть ещё такой но он не стоит

User-agent: *
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$

# Google Image
User-agent: Googlebot-Image
Disallow:

# Google AdSense
User-agent: Mediapartners-Google
Disallow:
 


          Вернуться наверх  
 


Аватар пользователя

Листайте тему и сравнивайте с выложенными роботсами


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

Подскажите, пжт, сейчас сделала файл роботс, проверила в яндексе. При проверке пишет: Найдено несколько директив Host. Как такое возможно???

И еще, на сайте в роботс у меня пропасано:

Sitemap: http://домен.ru/sitemap.xml.gz
Sitemap: http://домен.ru/sitemap.xml

Для фрума такое годится, или обязательно должно быть Sitemap:
Пожалуйста Зарегистрируйтесь чтобы увидеть ссылку
.домен.ru/sitemap.php


Вот я ... тетя-мотя... Два раза прописала хост :-00):


          Вернуться наверх  
 


Аватар пользователя

Хах))) да необязательно php сайтмап


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

Здравствуйте. Подскажите, пожалуйста, что добавить в robots.txt, чтобы в поиске не выходили сами разделы. На скриншоте joxi.ru/1A5xDj3IBDnN2E первые три ссылки - это ссылки на форумы и подфорумы, а последняя на топик. По-моему, названия форумов не должны выходить в поиске, или я ошибаюсь?


          Вернуться наверх  
 


Аватар пользователя

mela писал(а):

По-моему, названия форумов не должны выходить в поиске, или я ошибаюсь?

Ошибаетесь, это тоже важный момент в индексировании или вы хотите чтоб боты как то сами находили ссылки на темы минуя страницу просмотра форумов?


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

)) Не знаю, просто у других (крупных) форумов такого не видела, там только топики. Все понятно, спасибо.


          Вернуться наверх  
 


Случайный аватар. Пользователю рекомендуется загрузить свой аватар в Настройках профиля

что-то с роботс не могу разобраться. Посмотрите, пожалуйста нет ли тут лишних запретов для форума.
у меня стоит вордпресс, а форум лежит в папке.
был закинут сначала такой роботс:
Disallow: *?
Disallow: *.php$
Disallow: /tag/
Disallow: /feed/
Disallow: /wp-admin/
Disallow: */attachment/
Disallow: /forum/adm/
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/index.php?
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewonline.php
Disallow: /forum/*&st=*
Disallow: /forum/*&sk=*
Disallow: /forum/*&sd=*
Disallow: /forum/*&hilit=*
Disallow: /forum/*&view=*
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/viewtopic.php?t=*
Disallow: /forum/view*&start=0$
 

но после этого, яндекс выкинул почти все страницы из форума, я так понял ошибка была в первой и второй вордпрессовской строчке : *.php$ и *?

потом исправил и закинул такой роботс:
Allow: /wp-content/uploads
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed
Disallow: */feed
Disallow: /comment-page-*
Disallow: /comments
Disallow: /*/?replytocom=*
Disallow: /tag
Disallow: /author/
Disallow: /js/
Disallow: /20*/*
Disallow: /page/*
Disallow: /forum/adm/
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/index.php?
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/report.php
Disallow: /forum/search.php
Disallow: /forum/style.php
Disallow: /forum/ucp.php
Disallow: /forum/viewonline.php
Disallow: /forum/*&st=*
Disallow: /forum/*&sk=*
Disallow: /forum/*&sd=*
Disallow: /forum/*&hilit=*
Disallow: /forum/*&view=*
Disallow: /forum/viewtopic.php*p=*
Disallow: /forum/viewtopic.php?t=*
Disallow: /forum/view*&start=0$
 

но уже неделя прошла, а толку нет, практически весь форум все равно исключен из индексации.... :wo)(ll:


          Вернуться наверх  
 


Аватар пользователя

Уберите всю секцию, связаную с сайтом, оставьте форумное. Либо используйте инструменты вебмастера яндекса и гугла дабы проверить доступны ли ключевые страницы форума


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

А у меня стоит вот такой robots ( скачал с гуру ) Яндекс принимает А гугл пока не знаю у меня еще нигде форум не регился. Сравнил с тем что здесь - есть небольшая разница. Как ваше мнение? Что лучше что хуже или что переделать?

User-agent: *
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$

# Google Image
User-agent: Googlebot-Image
Disallow:

# Google AdSense
User-agent: Mediapartners-Google
Disallow:

User-agent: Yandex
Disallow: /adm/
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /index.php?
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewonline.php
Disallow: /*&st=*
Disallow: /*&sk=*
Disallow: /*&sd=*
Disallow: /*&hilit=*
Disallow: /*&view=*
Disallow: /viewtopic.php*p=*
Disallow: /viewtopic.php?t=*
Disallow: /view*&start=0$

Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml

Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
 


_________________
Подпись:
У меня phpbb 3.1.10
          Вернуться наверх  
 


Аватар пользователя

По моему переделывать ничего не надо


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

Подскажите, а что этот robots.txt блокирует аватары? Мне гугл консоль выдвинул список из 260 картинок, заблокированных на форуме. И это все аватары. При этом гугл предупреждает, что страницы с заблокированными ресурсами (аватарами) могут сканироваться с ошибками и это влияет на позиции :sh_ok: :sh_ok:


          Вернуться наверх  
 


Аватар пользователя

А что у вас там в этом файле то прописано?


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 
 
Начать новую тему Ответить на тему


Дополнительные возможности

  Похожие темы  Автор  Ответов  Просмотров  Последнее сообщение 
Аватар пользователя [Общая тема]BB-коды phpbb3
Тема полностью посвящена проблемам использования и разработки BB-кодов для форума

nudevolga

27

2224

Аватар пользователя

01 авг 2013, 14:04

DeaDRoMeO

Случайный аватар. Пользователю рекомендуется загрузить свой аватар в Настройках профиля [Общая тема]Вложения phpbb3
Данная тема полностью посвящена проблемам с настройкой и отображением вложений на форумах phpbb3

artur1992g

315

9206

Аватар пользователя

27 мар 2015, 08:35

DeaDRoMeO

Аватар пользователя [Общая тема]Права доступа phpBB3
Тема полностью посвящена проблемам и настройке прав доступа на форумах phpbb3

artcry

215

8133

Аватар пользователя

15 ноя 2017, 00:07

mela

Аватар пользователя [Общая тема]E-mail рассылки и уведомления phpbb3
Тема полностью посвящена проблемам с рассылкой и уведомлениями на форумах phpbb3

nudevolga

101

6373

Случайный аватар. Пользователю рекомендуется загрузить свой аватар в Настройках профиля

26 янв 2016, 14:19

djok

Аватар пользователя Sitemap FX phpbb3
Sitemap FX phpbb3 - модификация для phpbb3, создающая карту форума (иначе сайтмап, Sitemap) для еще более быстрого индексирования поисковиками

DeaDRoMeO

148

16771

Аватар пользователя

01 дек 2016, 08:22

termiton

Оставить свой комментарий

Поделиться темой с помощью

Ссылки на тему

Прямая ссылка:
BB-код для форумов, сайтов, блогов:
HTML ссылка:
 


Самая неформальная поддержка phpBB :P