Полезная информация


----

Начать новую тему Ответить на тему
АвторСообщение

 Сообщение Googlebot не получает доступ на сайт 
#1 

Случайный аватар. Пользователю рекомендуется загрузить свой аватар в Настройках профиля

Здравствуйте, может кто сможет подсказать. На мой форум все иностранные боты во главе с гуглботом не могут получить доступ. Им выдаётся 503 ответ сервера и такой код:
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"><html xmlns="http://www.w3.org/1999/xhtml" dir="ltr"><head><meta http-equiv="content-type" content="text/html; charset=utf-8" /><title>Общая ошибка</title><style type="text/css">
/* <![CDATA[ */
* { margin: 0; padding: 0; } html { font-size: 100%; height: 100%; margin-bottom: 1px; background-color: #E4EDF0; } body { font-family: "Lucida Grande", Verdana, Helvetica, Arial, sans-serif; color: #536482; background: #E4EDF0; font-size: 62.5%; margin: 0; } a:link, a:active, a:visited { color: #006699; text-decoration: none; } a:hover { color: #DD6900; text-decoration: underline; } #wrap { padding: 0 20px 15px 20px; min-width: 615px; } #page-header { text-align: right; height: 40px; } #page-footer { clear: both; font-size: 1em; text-align: center; } .panel { margin: 4px 0; background-color: #FFFFFF; border: solid 1px  #A9B8C2; } #errorpage #page-header a { font-weight: bold; line-height: 6em; } #errorpage #content { padding: 10px; } #errorpage #content h1 { line-height: 1.2em; margin-bottom: 0; color: #DF075C; } #errorpage #content div { margin-top: 20px; margin-bottom: 5px; border-bottom: 1px solid #CCCCCC; padding-bottom: 5px; color: #333333; font: bold 1.2em "Lucida Grande", Arial, Helvetica, sans-serif; text-decoration: none; line-height: 120%; text-align: left; }
/* ]]> */
</style></head><body id="errorpage"><div id="wrap">   <div id="page-header">      <a href="./">Вернуться на главную страницу</a>   </div>   <div id="acp">   <div class="panel">      <div id="content">         <h1>Общая ошибка</h1>         <div>SQL ERROR [ mysqli ]<br /><br />You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'AND t.template_id = s.template_id
            AND c.theme_id = s.theme_id
            AND i.imag' at line 4 [1064]<br /><br />Произошла ошибка SQL при выборке на этой странице. Пожалуйста, сообщите <a href="mailto:admin@nonarko.ru">администратору</a>, если ошибка будет повторяться.</div><p>Уведомите администратора конференции или вебмастера: <a href="mailto:admin@nonarko.ru">admin@nonarko.ru</a></p>      </div>   </div>   </div>   <div id="page-footer">      Powered by <a href="https://www.phpbb.com/">phpBB</a>&reg; Forum Software &copy; phpBB Group   </div></div></body></html>
 


Я уже полинета перерыл, нашёл только такой же вопрос как у меня но ответа нет.
При этом Яндексбот, рамблер, спутник заходят и индексируют всё без проблем. Подскажите хоть в какую сторону смотреть, что бы ошибку найти. Мне советовали обратить внимание на user-agent, но вот где его найти?


          Вернуться наверх  
 

#2 

Аватар пользователя

Права к форумам для ботов настроены? Указанные боты вообще в админке добавлены? Что в корневом файле robots.txt ?


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 

#3 

Случайный аватар. Пользователю рекомендуется загрузить свой аватар в Настройках профиля

Спасибо, что откликнулись на мой вопрос. Да, права для ботов настроены, это первое, о чём я подумал. Всё боты добавлены. Я пробовал Гуглеботу даже админские права присвоить, всё равно не может зайти. Причём Яндекс бот заходит, всё видит и индексирует, это я проверял вот здесь http://www.bertal.ru/index.php?a1775074/forum-nonarko.ru/#h Так же боты рамблера и спутника проводят на сайте долгое время и просматривают множество страниц. Мне кажется, что виной всему User-agent иностранных роботов. Если проверять из Гугл вебмастер, то при просмотре как Гуглбот робот для Для мобильных устройств: XHTML/WML спокойно заходит и видит страницу, обычный же робот получает статус страницы "Недоступен"
Есть подозрения, что это могло случится после установления мода Prime Quick Style, но в его коде не нашёл чего то такого, за что можно было бы зацепиться.
Уже не знаю, что предпринять.


          Вернуться наверх  
 

#4 

Аватар пользователя

Скорее всего этa проблемa хостингa, возможно внесли IP бота в чёрный список, пишите им, проверьте Чмод нa фaйл robots.txt = 777.


          Вернуться наверх  
 

#5 

Случайный аватар. Пользователю рекомендуется загрузить свой аватар в Настройках профиля

Нет, хостинг не при чём, у меня другие сайты там прекрасно индексирует. Это явно проблема кода, который так реагирует на user-agent иностранных роботов. Гуглы тоже скрытные, от них не добьёшься какой SQL запрос посылает их бот, на который и генерируется ошибка. В общем приходится копать вслепую.


          Вернуться наверх  
 

#6 

Аватар пользователя

<script async="" src="//pagead2.googlesyndication.com/pagead/js/adsbygoogle.js"></script>
Этот скрипт под шaпкой - реклaмa Google, попробуйте убрaть его.

<noindex>
<script async="" src="//pagead2.googlesyndication.com/pagead/js/adsbygoogle.js"></script>
<!-- Forum no -->
<ins class="adsbygoogle" style="display:inline-block;width:728px;height:90px" data-ad-client="ca-pub-7336070910163926" data-ad-slot="1989004545"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>
</noindex>
 


A в robots.txt у вaс User-agent: Mediapartners-Google
Disallow:


          Вернуться наверх  
 

#7 

Случайный аватар. Пользователю рекомендуется загрузить свой аватар в Настройках профиля

Мако, дело было не в рекламе Гугл Адсенс, кстати Disallow: то же, что и Allow: / , так что это разрешающая директива.
Расскажу поподробнее, может кому и пригодится.
Для начала я проставил User-agent для бота гугла не "google", как было изначально прописано в phpbb, а полный агент, то есть "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)", после чего робот преспокойно зашёл на сайт. Покопавшись далее, я обнаружил, что на форуме перепутаны id пользователей. id 1 должен принадлежать Anonymous'у, 2 - админу, 3 и последующие ботам и зарегистрированным пользователям. Так вот, у меня Анонимуса вообще не было, а id 1 принадлежал пользователю. Это случилось из-за того, что я с боями переносил форум с платформы Форуменко на свой хостинг, они отдавать не хотели, пришлось парсить форум скриптом, а они скрывали многие значения БД, поэтому получилась путаница.
Восстановил Анонимуса под id 1, и из БД совершенно свежего phpbb3 скопировал себе всех ботов, удалив старых. Думал, что всё решилось, но при беглом просмотре оказалось, что все роботы перестали получать доступ на сайт. Это возникло из за того, что им прописался по умолчанию другой стиль, который был неактивен. После того, как я активировал стиль, доступ всё равно не появился. Пришлось вручную присвоить нужный стиль по умолчанию всем нужным роботам. Теперь они не вылезают с форума (соскучились видать).
Для меня осталось загадкой то, почему русские боты преспокойно гуляли по сайту, несмотря на все неполадки, но видать у них менталитет такой, ходят там где хотят, невзирая на запрещающие знаки и сломанные дороги.


          Вернуться наверх  
 
 
Начать новую тему Ответить на тему


Дополнительные возможности

  Похожие темы  Автор  Ответов  Просмотров  Последнее сообщение 
Аватар пользователя Как перейти с http://www.ВАШ САЙТ.ru/ на http://ВАШ САЙТ.ru

tralan

8

869

Аватар пользователя

06 фев 2013, 13:32

tralan

Аватар пользователя Как раскрутить свой сайт

DeaDRoMeO

57

2882

Аватар пользователя

09 сен 2013, 21:13

DeaDRoMeO

Аватар пользователя Как раскрутить сайт в поисковиках

Atlas

5

1105

Аватар пользователя

28 янв 2013, 20:38

akella1900

Аватар пользователя Прикрутить сайт к форуму

ZmejNK

15

805

Аватар пользователя

23 ноя 2013, 16:44

bvp

Случайный аватар. Пользователю рекомендуется загрузить свой аватар в Настройках профиля Ошибка входа на сайт

Nilesnobc

1

989

Аватар пользователя

28 ноя 2011, 12:20

DeaDRoMeO

Оставить свой комментарий

Поделиться темой с помощью

Ссылки на тему

Прямая ссылка:
BB-код для форумов, сайтов, блогов:
HTML ссылка:
 


cron

Самая неформальная поддержка phpBB :P