Полезная информация


----

Начать новую тему Ответить на тему
АвторСообщение

 Сообщение [Общая тема]Боты для форума 2012-02-25

Аватар пользователя

В последнее время много развелось разных ботов, посещающих наши форумы. В стандарте в phpbb3 присутствует уже неплохой список ботов, но с каждым обновлением список не пополняется, приходится самим дописывать. Зачем вообще их дописывать ? Все достаточно просто, на многих форумах информация скрыта от Гостей, допустим заходит новый поисковой бот на ваш форум и видит фигу, у него то права доступа Гостя, так вот чтобы ему помочь в индексировании нам надо дать ему права Бота(перенести его в группу Боты).

Боты добавляются через админку форума - Система - Поисковые боты. Тут нам предстает картина - полный список установленных на форуме Ботов. Можно и своих добавить, это не тяжело.
Далее представляю списочек ботов которых я добавлял и которые реально посещают форум (Имя бота/Соответствие агенту)
Bing [Bot]/bingbot
Butterfly [Bot]/butterfly
RuTwit [Bot]/bitlybot
Tweetmeme [Bot]/TweetmemeBot
Twitter [Bot]/Twitterbot
Discobot [Bot]/discobot
TurnitinBot [Bot]/TurnitinBot

Ну а эта подборка избавит вас от желания искать где либо еще ботов, добавляем любых на свое усмотрение
Name: Google AppEngine
Agent: AppEngine-Google

Name: Bit.ly
Agent: bitlybot

Name: Twitter
Agent: Twitterbot/

Name: LongURL
Agent: LongURL API

Name: PycURL
Agent: PycURL/

Name: PostRank2
Agent: PostRank/

Name: JS-Kit
Agent: JS-Kit URL Resolver

Name: MirarSearch
Agent: Mirar Search Indexing Agent

Name: Search.ch
Agent: search.ch

Name: Twitmatic
Agent: twitmatic

Name: OWS
Agent: owsBot

Name: Gais
Agent: Gaisbot/

Name: Twenga
Agent: TwengaBot

Bot Name : 1klik.dk [Bot]
Bot Agent : FastCrawler

Bot Name : 2Bone Link Checker [Bot]
Bot Agent : 2Bone

Bot Name : ABACHO [Bot]
Bot Agent : AbachoBOT

Bot Name : ABCdatos [Bot]
Bot Agent : ABCdatos

Bot Name : AEIWI [Bot]
Bot Agent : Aeiwi

Bot Name : AISearch [Bot]
Bot Agent : AISearchBot

Bot Name : Aberja [Bot]
Bot Agent : Aberja Checkomat

Bot Name : Abonti [Bot]
Bot Agent : Abonti

Bot Name : About [Bot]
Bot Agent : About/

Bot Name : Accoona [Bot]
Bot Agent : accoona

Bot Name : ActiveBookmark [Bot]
Bot Agent : ActiveBookmark

Bot Name : AdsBotGoogle [Bot]
Bot Agent : AdsBot-Google

Bot Name : Aesop [Bot]
Bot Agent : AESOP

Bot Name : Agada [Bot]
Bot Agent : agadine

Bot Name : AideRSS [RSS]
Bot Agent : AideRSS

Bot Name : Alexa [Bot]
Bot Agent : ia_archiver

Bot Name : Allesklar [Bot]
Bot Agent : Allesklar

Bot Name : Alta Vista [Bot]
Bot Agent : Scooter

Bot Name : Amfibi [Bot]
Bot Agent : Amfibibot

Bot Name : Amidalla [Bot]
Bot Agent : amibot

Bot Name : Aport [Bot]
Bot Agent : Aport

Bot Name : Apple-PubSub [Bot]
Bot Agent : Apple-PubSub

Bot Name : Arachnid Crawler [Bot]
Bot Agent : ArachBot

Bot Name : Arexera [Bot]
Bot Agent : X-Crawler

Bot Name : Arianna [Bot]
Bot Agent : arianna

Bot Name : Ask Jeeves [Bot]
Bot Agent : Ask Jeeves

Bot Name : AustLII [Bot]
Bot Agent : Gromit

Bot Name : Axada [Bot]
Bot Agent : axadine

Bot Name : BDProtect [Bot]
Bot Agent : BPImageWalker

Bot Name : Babaloo [Bot]
Bot Agent : BabalooSpider

Bot Name : Baidu [Bot]
Bot Agent : Baiduspider

Bot Name : Balihoo [Bot]
Bot Agent : Balihoo

Bot Name : Become [Bot]
Bot Agent : BecomeBot

Bot Name : Best of the Web [Bot]
Bot Agent : BOTW Spider

Bot Name : Big Brother [Bot]
Bot Agent : Big Brother

Bot Name : BigClique [Bot]
Bot Agent : BigCliqueBOT

Bot Name : Bim Zone [Bot]
Bot Agent : bim-zone

Bot Name : BitTorrent [Bot]
Bot Agent : BTbot

Bot Name : BlogDex [Bot]
Bot Agent : BlogBot

Bot Name : Bloglines [Bot]
Bot Agent : Bloglines

Bot Name : Blue.lu [Bot]
Bot Agent : Confuzzledbot

Bot Name : BoardReader [Bot]
Bot Agent : BoardReader

Bot Name : Boitho [Bot]
Bot Agent : boitho.com

Bot Name : Boston Project [Spam]
Bot Agent : Boston Project

Bot Name : Brandwatch [Bot]
Bot Agent : Jakarta Commons

Bot Name : Business.com [Bot]
Bot Agent : bdcindexer

Bot Name : BuzzRanking [Bot]
Bot Agent : BuzzRankingBot

Bot Name : CSS Validator [W3C]
Bot Agent : W3C_CSS_Validator

Bot Name : CanadianContent [Bot]
Bot Agent : RoboCrawl

Bot Name : Cazoodle [Bot]
Bot Agent : CazoodleBot

Bot Name : Check Favorites [Bot]
Bot Agent : Check Favorites

Bot Name : CheckWeb [Bot]
Bot Agent : CheckWeb

Bot Name : Checkbot [Bot]
Bot Agent : Checkbot

Bot Name : Checklinks [Bot]
Bot Agent : CheckLinks

Bot Name : Cipinet [Bot]
Bot Agent : CipinetBot

Bot Name : Claymont [Bot]
Bot Agent : Claymont.com

Bot Name : Clush [Bot]
Bot Agent : Clushbot

Bot Name : CommonCrawl [Bot]
Bot Agent : CCBot

Bot Name : Convera [Bot]
Bot Agent : Convera

Bot Name : Cosmoty [Bot]
Bot Agent : beautybot

Bot Name : CreativeCommons [Bot]
Bot Agent : CreativeCommons

Bot Name : Cruiser [Bot]
Bot Agent : Internet Cruiser Robot

Bot Name : Cuill [Bot]
Bot Agent : Twiceler

Bot Name : Custo [Bot]
Bot Agent : Custo

Bot Name : Cyber Spyder Link Test [Bot]
Bot Agent : CyberSpyder

Bot Name : CyberPatrol [Bot]
Bot Agent : CyberPatrol

Bot Name : Cydral [Bot]
Bot Agent : CydralSpider

Bot Name : Cynthia [Bot]
Bot Agent : Cynthia

Bot Name : DZNET [Bot]
Bot Agent : Kevin

Bot Name : DailyOrbit [Bot]
Bot Agent : Orbiter

Bot Name : Daum [Bot]
Bot Agent : Daumoa

Bot Name : Dead Link Check [Bot]
Bot Agent : DeadLinkCheck

Bot Name : DeepIndex [Bot]
Bot Agent : DeepIndex

Bot Name : DepSpid [Bot]
Bot Agent : DepSpid

Bot Name : Desert Realm [Bot]
Bot Agent : DesertRealm

Bot Name : Die Blinde Kuh [Bot]
Bot Agent : Die Blinde Kuh

Bot Name : Diffbot [Bot]
Bot Agent : Diffbot

Bot Name : DiscoveryEngine [Bot]
Bot Agent : discobot

Bot Name : Ditto [Bot]
Bot Agent : DittoSpyder

Bot Name : DomainTools [Bot]
Bot Agent : SurveyBot

Bot Name : DotNet [Bot]
Bot Agent : DotBot

Bot Name : Dumbfind [Bot]
Bot Agent : Dumbot

Bot Name : EXPelite [Spam]
Bot Agent : ExtractorPro

Bot Name : EmailSearch [Spam]
Bot Agent : EmailSearch

Bot Name : Enaball [Bot]
Bot Agent : EnaBot

Bot Name : Entireweb [Bot]
Bot Agent : Speedy Spider

Bot Name : Envolk [Bot]
Bot Agent : envolk

Bot Name : Exabot [Bot]
Bot Agent : Exabot

Bot Name : Exactseek [Bot]
Bot Agent : ExactSeek

Bot Name : Exalead [Bot]
Bot Agent : Exabot/

Bot Name : ExaleadThumbnails [Bot]
Bot Agent : Exabot-Thumbnails

Bot Name : Exooba [Bot]
Bot Agent : exooba

Bot Name : FAST Enterprise [Bot]
Bot Agent : FAST Enterprise

Bot Name : FAST WebCrawler [Bot]
Bot Agent : FAST-WebCrawler

Bot Name : FULLSearch [Bot]
Bot Agent : FULLSearch

Bot Name : Facebook Scraper [Bot]
Bot Agent : facebookscraper

Bot Name : Facebook [Bot]
Bot Agent : facebookexternalhit

Bot Name : FakeWordpress [Spam]
Bot Agent : WordPress/

Bot Name : Favorstar [Bot]
Bot Agent : favorstarbot

Bot Name : Feed Validator [W3C]
Bot Agent : FeedValidator

Bot Name : FeedValidator [Bot]
Bot Agent : FeedValidator

Bot Name : Filangy [Bot]
Bot Agent : Filangy

Bot Name : Fireball [Bot]
Bot Agent : Fireball

Bot Name : Focuseek [Bot]
Bot Agent : focuseekbot

Bot Name : Francis [Bot]
Bot Agent : http://www.neomo.de

Bot Name : Furl [Bot]
Bot Agent : FurlBot

Bot Name : FyberSearch [Bot]
Bot Agent : FyberSpider

Bot Name : Galaxy [Bot]
Bot Agent : GalaxyBot

Bot Name : Geona [Bot]
Bot Agent : GeonaBot

Bot Name : Gigabot [Bot]
Bot Agent : Gigabot

Bot Name : Girafa [Bot]
Bot Agent : Girafabot

Bot Name : GoForIt [Bot]
Bot Agent : GOFORITBOT

Bot Name : GoGuides [Bot]
Bot Agent : Goblin

Bot Name : Goo [Bot]
Bot Agent : ichiro

Bot Name : Google Adsense [Bot]
Bot Agent : Mediapartners-Google

Bot Name : Google Desktop [Bot]
Bot Agent : Google Desktop

Bot Name : Google Feedfetcher [Bot]
Bot Agent : Feedfetcher-Google

Bot Name : Google Search Appliance [Bot]
Bot Agent : gsa-crawler

Bot Name : Google Wireless Transcoder [Bot]
Bot Agent : Google Wireless Transcoder

Bot Name : Google [Bot]
Bot Agent : Googlebot

Bot Name : HMSEbot [Spam]
Bot Agent : HMSEbot

Bot Name : HTML2JPG [Bot]
Bot Agent : HTML2JPG

Bot Name : HTTrack [Bot]
Bot Agent : HTTrack

Bot Name : Hatena Antenna [Bot]
Bot Agent : Hatena Antenna

Bot Name : Heeii [Bot]
Bot Agent : Heeii

Bot Name : Heise IT-Markt [Bot]
Bot Agent : IT-Markt

Bot Name : Heritrix [Bot]
Bot Agent : heritrix

Bot Name : Homerweb [Bot]
Bot Agent : Homerbot

Bot Name : Hoppa! [Bot]
Bot Agent : Toutatis

Bot Name : Html Link Validator [Bot]
Bot Agent : Html Link Validator

Bot Name : IBM Research [Bot]
Bot Agent : ibm.com/cs/crawler

Bot Name : ICjobs [Bot]
Bot Agent : ICCrawler

Bot Name : INFOmine [Bot]
Bot Agent : iVia

Bot Name : ISC Open Index [Bot]
Bot Agent : ISC Open Index crawler

Bot Name : IceRocket [Bot]
Bot Agent : BlogzIce

Bot Name : IconSurf [Bot]
Bot Agent : IconSurf

Bot Name : Il Trovatore [Bot]
Bot Agent : IlTrovatore-Setaccio

Bot Name : Ilse [Bot]
Bot Agent : IlseBot

Bot Name : ImageShack [Bot]
Bot Agent : ImageShack Image Fetcher

Bot Name : Indy Library [Spam]
Bot Agent : Indy Library

Bot Name : Information Credibility Criteria Project [Bot]
Bot Agent : ICC-Crawler

Bot Name : InternetSeer [Bot]
Bot Agent : InternetSeer.com

Bot Name : InternetServicesResearch [Bot]
Bot Agent : MSR-ISRCCrawler

Bot Name : JCheckLinks [Bot]
Bot Agent : JCheckLinks

Bot Name : Jyxo [Bot]
Bot Agent : Jyxobot

Bot Name : Kalooga [Bot]
Bot Agent : Kalooga

Bot Name : Keywen Encyclopedia Links [Bot]
Bot Agent : KeywenBot

Bot Name : Keywen Encyclopedia [Bot]
Bot Agent : EasyDL

Bot Name : Kvasir [Bot]
Bot Agent : Solbot

Bot Name : Larbin [Bot]
Bot Agent : larbin

Bot Name : Link Checker [W3C]
Bot Agent : W3C-checklink/

Bot Name : LinkAlarm [Bot]
Bot Agent : LinkAlarm

Bot Name : LinkChecking [Bot]
Bot Agent : LinkWalker

Bot Name : LinkLint [Bot]
Bot Agent : LinkLint

Bot Name : LinkNZ [Bot]
Bot Agent : linknzbot

Bot Name : Lookseek [Bot]
Bot Agent : Seeker

Bot Name : Looksmart [Bot]
Bot Agent : MantraAgent

Bot Name : Lycos [Bot]
Bot Agent : Lycos

Bot Name : MLBot [Bot]
Bot Agent : MLBot

Bot Name : MOMspider [Bot]
Bot Agent : MOMspider

Bot Name : MSIEcrawler [Bot]
Bot Agent : msiecrawler

Bot Name : MSN Mobile [Bot]
Bot Agent : MSMOBOT

Bot Name : MSN [Bot]
Bot Agent : msnbot

Bot Name : Magpie [Bot]
Bot Agent : magpie-crawler

Bot Name : Majestic-12 [Bot]
Bot Agent : MJ12bot/

Bot Name : Majestic12 [Bot]
Bot Agent : MJ12bot

Bot Name : Markup Validator [W3C]
Bot Agent : W3C_Validator

Bot Name : Media [MSN]
Bot Agent : msnbot-media

Bot Name : Megaglobe [Bot]
Bot Agent : Megaglobe

Bot Name : Megaproxy [Bot]
Bot Agent : ProxyOS

Bot Name : Metager [Bot]
Bot Agent : MetagerBot

Bot Name : Metaspinner [Bot]
Bot Agent : Metaspinner

Bot Name : Microsoft Research [Bot]
Bot Agent : MSRBOT

Bot Name : Mirago [Bot]
Bot Agent : Mirago-Test-Robot

Bot Name : MixCat [Bot]
Bot Agent : Mixcat Crawler

Bot Name : MoPilot [Bot]
Bot Agent : w@pSpider

Bot Name : Mojeek [Bot]
Bot Agent : MojeekBot

Bot Name : Morfeo [Bot]
Bot Agent : holmes

Bot Name : Munax [Bot]
Bot Agent :

Bot Name : MyFamily [Bot]
Bot Agent : MyFamilyBot

Bot Name : Mylinea [Bot]
Bot Agent : Mylinea

Bot Name : NG-Search [Bot]
Bot Agent : NG-Search

Bot Name : NationalDirectory [Bot]
Bot Agent : NDSpider

Bot Name : Naver [Bot]
Bot Agent : Yeti

Bot Name : NetMechanic [Bot]
Bot Agent : NetMechanic

Bot Name : Netcraft WebServerSurvey [Bot]
Bot Agent : Netcraft Web Server Survey

Bot Name : NewsBlogs [MSN]
Bot Agent : msnbot-NewsBlogs

Bot Name : NextLinks [Bot]
Bot Agent : findlinks

Bot Name : Nextopia [Bot]
Bot Agent : Nextopia

Bot Name : Nextthing [Bot]
Bot Agent : nextthing.org

Bot Name : Nokodo [Bot]
Bot Agent : NokodoBot

Bot Name : Noxtrum [Bot]
Bot Agent : noxtrumbot

Bot Name : Nutch [Bot]
Bot Agent : nutch

Bot Name : NutchCVS [Bot]
Bot Agent : NutchCVS

Bot Name : ObjectsSearch [Bot]
Bot Agent : ObjectsSearch

Bot Name : Omgili [Bot]
Bot Agent : omgilibot

Bot Name : OmniExplorer [Bot]
Bot Agent : OmniExplorer

Bot Name : Onet.pl [Bot]
Bot Agent : Onet.pl

Bot Name : Online link [Bot]
Bot Agent : online link validator

Bot Name : OnlineLinkValidator [Bot]
Bot Agent : online link validator

Bot Name : Openfind [Bot]
Bot Agent : Openbot

Bot Name : Oxide [Bot]
Bot Agent : Anthill

Bot Name : P3P Validator [W3C]
Bot Agent : P3P Validator

Bot Name : PEERbot [Bot]
Bot Agent : PEERbot

Bot Name : PHP Version Tracker [Bot]
Bot Agent : PHP version tracker

Bot Name : Patsearch [Bot]
Bot Agent : Patwebbot

Bot Name : PicSearch [Bot]
Bot Agent : psbot

Bot Name : Picosearch [Bot]
Bot Agent : PicoSearch

Bot Name : Pingdom [Bot]
Bot Agent : Pingdom

Bot Name : Pipeline [Bot]
Bot Agent : pipeLiner

Bot Name : Polybot [Bot]
Bot Agent : polybot

Bot Name : Popdex [Bot]
Bot Agent : Popdexter

Bot Name : Powerset [Bot]
Bot Agent : zermelo

Bot Name : Proximic [Bot]
Bot Agent : proximic

Bot Name : Qango [Bot]
Bot Agent : Qango

Bot Name : Quepasa [Bot]
Bot Agent : QuepasaCreep

Bot Name : REAP Project [Bot]
Bot Agent : REAP-crawler

Bot Name : RIX [Bot]
Bot Agent : RixBot

Bot Name : RPonline [Bot]
Bot Agent : BlitzBOT

Bot Name : RSS-Reader [RSS]
Bot Agent : RSS-Reader

Bot Name : RSS-SPIDER [RSS]
Bot Agent : RSS-SPIDER

Bot Name : Rambler [Bot]
Bot Agent : StackRambler

Bot Name : ReciprocalLinksChecker [Bot]
Bot Agent : reciprocal links checker

Bot Name : Robots.txt Validator [Bot]
Bot Agent : Robots.txt Validator

Bot Name : SEO Crawler [Bot]
Bot Agent : SEO search

Bot Name : SEOSearch [Bot]
Bot Agent : SEOsearch

Bot Name : ScoutJet [Bot]
Bot Agent : ScoutJet

Bot Name : ScrubTheWeb [Bot]
Bot Agent : Scrubby

Bot Name : SearchByUSA [Bot]
Bot Agent : SearchByUsa

Bot Name : SearchHippo [Bot]
Bot Agent : Fluffy the spider

Bot Name : SearchScout [Bot]
Bot Agent : ClariaBot

Bot Name : SearchUK [Bot]
Bot Agent : MegaSheep

Bot Name : Searchalot [Bot]
Bot Agent : SEARCHALOT

Bot Name : Searchles [Bot]
Bot Agent : Dumbot

Bot Name : Searchme [Bot]
Bot Agent : Charlotte

Bot Name : SecureComputing [Bot]
Bot Agent : page_prefetcher

Bot Name : Seekport [Bot]
Bot Agent : Seekbot

Bot Name : Semantic Data Extractor [W3C]
Bot Agent : Python-urllib

Bot Name : Sensis [Bot]
Bot Agent : Sensis

Bot Name : Seoma [Bot]
Bot Agent : Seoma

Bot Name : Setooz [Bot]
Bot Agent : OOZBOT

Bot Name : Seznam [Bot]
Bot Agent : SeznamBot

Bot Name : Shelob [Spam]
Bot Agent : shelob

Bot Name : Shoula! [Bot]
Bot Agent : Shoula

Bot Name : Simply [Bot]
Bot Agent : Argus

Bot Name : SingingFish [Bot]
Bot Agent : asterias

Bot Name : Site Valet [Bot]
Bot Agent : Valet

Bot Name : SiteSearcher [Bot]
Bot Agent : SSearch

Bot Name : SiteSell [Bot]
Bot Agent : SBIder

Bot Name : SiteSpider [Bot]
Bot Agent : SiteSpider

Bot Name : Sitesearch.ca [Bot]
Bot Agent : Reaper

Bot Name : SitiDi [Bot]
Bot Agent : SitiDiBot

Bot Name : Skaffe [Bot]
Bot Agent : Skampy

Bot Name : Skizzle [Bot]
Bot Agent : SKIZZLE

Bot Name : Snap Shots Preview [Bot]
Bot Agent : SnapPreviewBot

Bot Name : Snap Shots [Bot]
Bot Agent : Snapbot

Bot Name : Snappy [Bot]
Bot Agent : Snappy

Bot Name : Snoopy [Bot]
Bot Agent : Snoopy

Bot Name : SoMusical! [Bot]
Bot Agent : MusicWalker

Bot Name : Sonic [Spam]
Bot Agent : EmailSiphon

Bot Name : Soso [Bot]
Bot Agent : Sosospider

Bot Name : Speedy Spider [Bot]
Bot Agent : speedy_spider

Bot Name : SpiderMonkey [Bot]
Bot Agent : SpiderMonkey

Bot Name : Spinn3r [Bot]
Bot Agent : Spinn3r

Bot Name : Startpagina [Bot]
Bot Agent : Startpagina

Bot Name : Steeler [Bot]
Bot Agent : www.tkl.iis.u-tokyo.ac.jp/~crawler

Bot Name : Suchbot [Bot]
Bot Agent : suchbot

Bot Name : Suchen.de [Bot]
Bot Agent : suchen.de

Bot Name : Suchknecht [Bot]
Bot Agent : Suchknecht

Bot Name : Suchmaschine21 [Bot]
Bot Agent : CoolBot

Bot Name : SurfSafely [Bot]
Bot Agent : Submission Spider

Bot Name : Sygol [Bot]
Bot Agent : sygol

Bot Name : Syno [Bot]
Bot Agent : Synoobot

Bot Name : Synoo [Bot]
Bot Agent : SynooBot

Bot Name : Szukacz [Bot]
Bot Agent : Szukacz

Bot Name : Telekom [Bot]
Bot Agent : crawleradmin.t-info@telekom.de

Bot Name : Teradex [Bot]
Bot Agent : Teradex

Bot Name : The Web Moose [Bot]
Bot Agent : WebMoose

Bot Name : Thunderstone [Bot]
Bot Agent : T-H-U-N-D-E-R-S-T-O-N-E

Bot Name : TinEye [Bot]
Bot Agent : TinEye

Bot Name : Tkensaku [Bot]
Bot Agent : Tkensaku

Bot Name : Trampelpfad [Bot]
Bot Agent : Trampelpfad

Bot Name : Tricus [Bot]
Bot Agent : Rotondo

Bot Name : TulipChain [dmoz]
Bot Agent : TulipChain

Bot Name : TurnPike [Bot]
Bot Agent : Turnpike

Bot Name : Turnitin [Bot]
Bot Agent : TurnitinBot

Bot Name : TutorGig [Bot]
Bot Agent : TutorGig

Bot Name : Twotrees [Bot]
Bot Agent : Willow Internet Crawler

Bot Name : Tygo [Bot]
Bot Agent : Tygo

Bot Name : UKWizz [Bot]
Bot Agent : Mackster

Bot Name : UnCHAOS [Bot]
Bot Agent : UnChaos

Bot Name : Updated! [Bot]
Bot Agent : updated

Bot Name : Verity [Bot]
Bot Agent : vspider

Bot Name : Virgilio [Bot]
Bot Agent : FAST

Bot Name : Visvo [Bot]
Bot Agent : VisBot

Bot Name : Voila [Bot]
Bot Agent : VoilaBot

Bot Name : Voyager [Bot]
Bot Agent : voyager

Bot Name : W3M2 [Bot]
Bot Agent : W3M2

Bot Name : W3SiteSearch [Bot]
Bot Agent : W3SiteSearch

Bot Name : WBpagechecker [Bot]
Bot Agent : WBpagechecker

Bot Name : WISEnutbot [Bot]
Bot Agent : WISEnutbot

Bot Name : Walhello [Bot]
Bot Agent : appie

Bot Name : WebAlta [Bot]
Bot Agent : WebAlta

Bot Name : WebCopy [Bot]
Bot Agent : WebCopy

Bot Name : WebCorp [Bot]
Bot Agent : WebCorp

Bot Name : WebCrawl [Bot]
Bot Agent : webcrawl

Bot Name : WebSquash [Bot]
Bot Agent : Websquash

Bot Name : Webglimpse [Bot]
Bot Agent : Webglimpse

Bot Name : Wget [Spam]
Bot Agent : Wget

Bot Name : WhatUSeek [Bot]
Bot Agent : whatUseek

Bot Name : Whitevector [Bot]
Bot Agent : Whitevector Crawler

Bot Name : Wikia Search [Bot]
Bot Agent : GrubNG

Bot Name : WiseGuys [Bot]
Bot Agent : Vagabondo

Bot Name : WiseNut [Bot]
Bot Agent : ZyBorg

Bot Name : Wotbox [Bot]
Bot Agent : WSB

Bot Name : YaCy [Bot]
Bot Agent : yacybot

Bot Name : Yahoo Feed Seeker [RSS]
Bot Agent : YahooFeedSeeker

Bot Name : Yahoo MMCrawler [Bot]
Bot Agent : MMCrawler

Bot Name : Yahoo Search Marketing [Bot]
Bot Agent : YahooYSMcm

Bot Name : Yahoo Slurp [Bot]
Bot Agent : Yahoo! DE Slurp

Bot Name : Yahoo [Bot]
Bot Agent : Slurp

Bot Name : YahooSeeker [Bot]
Bot Agent : YahooSeeker

Bot Name : Yandex [Bot]
Bot Agent : Yandex

Bot Name : Yanga [Bot]
Bot Agent : Yanga

Bot Name : Yebol [Bot]
Bot Agent : YebolBot

Bot Name : Yellowpet [Bot]
Bot Agent : yellopet

Bot Name : Yodao [Bot]
Bot Agent : YodaoBot

Bot Name : Youdao [Bot]
Bot Agent : YoudaoBot

Bot Name : Zao [Bot]
Bot Agent : Zao

Bot Name : Zerx [Bot]
Bot Agent : zerxbot

Bot Name : ZoomInfo [Bot]
Bot Agent : NextGenSearchBot

Bot Name : blogWatcher [Bot]
Bot Agent : blogWatcher

Bot Name : dir.com [Bot]
Bot Agent : Pompos

Bot Name : dmoz [Bot]
Bot Agent : Robozilla

Bot Name : iOpus [Bot]
Bot Agent : iopus

Bot Name : ichiro [Bot]
Bot Agent : ichiro

Bot Name : libwww script [Spam]
Bot Agent : libwww-perl

Bot Name : mirago.co.uk [Bot]
Bot Agent : HenrytheMirago

Bot Name : mirago.de [Bot]
Bot Agent : HeinrichderMirago

Bot Name : mnoGoSearch [Bot]
Bot Agent : Mnogosearch

Bot Name : mobileOK Checker [W3C]
Bot Agent : W3C-mobileOK

Bot Name : search.ch [Bot]
Bot Agent : search.ch

Bot Name : vBSEO [Bot]
Bot Agent : vBSEO

Bot Name : webcollage [Bot]
Bot Agent : webcollage
 

Список не особо велик ибо я не занимался серьезно отловом Ботов, посещающих мой форум. Этим вы можете сами заняться, достаточно частенько проглядывать списки тех, кто находится на форуме и смотреть их User-Agent. Если у вас есть какие либо новые Боты - просьба поделиться :co_ol:


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!

Теги темы
боты phpbb3, поисковые боты phpbb3, добавить новых ботов phpbb3, новые боты phpbb3, список ботов phpbb3
          Вернуться наверх  
 


Аватар пользователя

Я почему еще спрашиваю. Я просто не понимаю одной вещи. Все права доступа ко всем разделам роботы получили. Например когда в гугле для веб мастеров я загоняю любую страницу в индекс, то он её нормально видит, при чем любую тему. Но если этого не делать, то такое ощущение, что дальше первой страницы Гугл тупо не идет. Пару дней назад поставил бот от Яндекса. Тоже самое. Постоянно торчит на форуме, но проиндексирована только главная страница. Я не устанавливал ни какие карты сайта. Он и без них должен, индексировать. Или Sitemap и robots.txt нужно обязательно устанавливать ?


          Вернуться наверх  
 


Аватар пользователя

И без сайтмапа все прекрасно индексируется, есть еще такая вещь как поисковой кеш, кторый непонятно как обновляется поисковиками


_________________
Подпись:
-_- -_-
На вопросы, связанные с phpBB, по ЛС не отвечаю !!!
          Вернуться наверх  
 


Аватар пользователя

Странно что в шапке темы нет таких ботов:
Yandex [Bot] UserAgent: Yandex
Rambler [Bot] UserAgent: Rambler
GoGo.Ru [Bot] UserAgent: Mail.Ru
Это ж самые что ни на есть ботные боты рунета. Или как?
Дайте ссылку плиз на актуальный СЕГОДНЯ список ботов, отсутствующих в стандартном пакете форума
:k_i_n_g:


_________________
Подпись:
Апгрейд форума закончить нельзя! Его можно только временно приостановить! :hudo_zhnik:
          Вернуться наверх  
 


Аватар пользователя

В архиве 387 поисковых бота для форума и инструкция по их добавлению.


Вложения:
Добавление 387 поисковых ботов BotsMod Install.rar [36.73 KiB]
Скачиваний: 14
          Вернуться наверх  
 


Аватар пользователя

Олег В писал(а):

В архиве 387 поисковых бота для форума и инструкция по их добавлению

Большое спасибо!
Уточнения:
1. Вы их САМИ СЕБЕ ставили?
2. Можете ли привести хотя бы визуальную статистику сколько из них оказалось "живых" заходящих ботов? 5%? 20%? 50%?
3. (и еще дурацкий вопрос) Такая прорва ботов никак не будет друг другу мешать?
:zvez_ochki:


_________________
Подпись:
Апгрейд форума закончить нельзя! Его можно только временно приостановить! :hudo_zhnik:
          Вернуться наверх  
 


Аватар пользователя

1. Ага. Сам
2. Ниже на фотке видно самых активных.
Пожалуйста Зарегистрируйтесь чтобы увидеть ссылку

3. А чем они могут помешать то?? Лучше пусть будут, чем переживать что какой то бот не может просматривать полноценно форум.
Единственное что нужно сделать ещё, так это добавить вручную мобильного бота, которого нет в архиве.
Название бота - Google [Mobi]
Сответствие агенту - Googlebot-Mobile


          Вернуться наверх  
 


Аватар пользователя

Олег В писал(а):

Название бота - Google [Mobi]
Сответствие агенту - Googlebot-Mobile

Так-с!
Это интересно
Пум-пум-пум!
Скажите а какие еще мобильные боты надо добавить вручную?
Ну там какой-нибудь Yandex-Mobile существует в природе?
:ig_ro_ki:


_________________
Подпись:
Апгрейд форума закончить нельзя! Его можно только временно приостановить! :hudo_zhnik:
          Вернуться наверх  
 


Аватар пользователя

m213480 писал(а):

Скажите а какие еще мобильные боты надо добавить вручную?

Только то что я дал. Вот как он должен быть оформлен и добавлен.
Пожалуйста Зарегистрируйтесь чтобы увидеть ссылку

Стиль для бота только свой укажите! :mi_ga_et:


          Вернуться наверх  
 


Аватар пользователя

Спасибо!
Все добавил
Но есть вопросики небольшие:
1. Согласно моду третий файл нужно поместить из папки "ru" мода в папку "en" на сервере. Я все так и сделал, боты добавились, но все-таки гложут меня сомнения нет ли тут ошибки, ведь обычно у модов пути файлов совпадают с серверными путями, см.скрин1:
Вложение :


2. Список появившихся ботов тоже соскучиться не дает. Там есть и без закрывающейся квадратной скобки слова Bot (отметил красным кружком), и со словом [Spam] (отметил желтым кружком), и вообще без обозначения в квадратных скобках (отметил синим кружком). Это всё так и надо? Не нужно ли эти боты "после сборки доработать напильником"?, см.скрин2:
Вложение :


3. Я установил мод, удалил установочные файлы с сервера как и написано в моде и теперь стало быть могу успокоиться? Надо сидеть и тихо-мирно ждать когда они ко мне сами зайдут и прошерстят мой форум? Или мне нужно ходить по сайтам этих поисковиков и отдельно ставить их в известность о том что-де возрадуйтесь появился такой-то форум и теперь милости просим Ваших ботов сюда поскорее (по аналогии с Яндекс.метрикой, там если хочешь поскорее зазвать к себе Яндекс-бота на новый сайт - надо зарегистрировать новый сайт в Яндекс.метрике, но можно конечно и не регистрировать и ждать когда Яндекс-бот придет на форум сам "своим ходом", но это будет дольше)
4. А Вы точно уверены что этот мод не содержит какого-то подвоха (вредоносных закладок или еще чего-то?). Просто сделан кривовато, не похоже на мод белого-пушистого разработчика
Спасибо Вам за мод!
Буду благодарен и за Ваши ответы
:ig_ro_ki:


_________________
Подпись:
Апгрейд форума закончить нельзя! Его можно только временно приостановить! :hudo_zhnik:
          Вернуться наверх  
 


Аватар пользователя

m213480,
1. Мод не имеет английской версии, поэтому файл с русской раскладкой ложиться в папку "en" и тут ничего особенного нет.
2. Не достающие квадратные кавычки необходимо добавить в ручную, выбрав "Изменить" в строке нужного бота
3. Ага. Сидеть и ждать. 50% ботов могут вообще ни когда не зайти, но если зайдут, то без проблем смогут исследовать Ваш форум. Если понравится- будут появляться часто. Ни кому, ни чего сообщать не нужно.
4. Ну у меня мод уже почти 2 года стоит и проблем нету. Брал на Гуру. Это их совместная разработка

Сообщение добавлено... спустя 2 минуты 20 секунд:
описание и цель каждого бота, можно найти в инете. Вставив в поиск его имя


          Вернуться наверх  
 


Аватар пользователя

Олег В писал(а):

Не достающие квадратные кавычки необходимо добавить в ручную, выбрав "Изменить" в строке нужного бота

Блин, криворукие эти пхпббгуру, давно заметил, я ж говорю - "после сборки доработать напильником"
:a_g_a:
Получается что они предлагают не "продукт", а "полуфабрикат"
Ну квадратные скобки я так и быть добавлю, фик с ними
Тогда автоматически встают еще вопросы:
1. Как быть с теми ботами у кого вообще нет ни скобок ни слова между ними? (ни Bot, ни Crawler), например бот Gais, см.скрин из моего предыдущего поста, я отметил его там синим кружком
2. Шибко меня до сих пор смущают все же боты у которых написано слово "[Spam]". Их так и оставить? Оправдывать своё имя они не начнут? я отметил его желтым кружком на том же скрине
:du_ma_et:


_________________
Подпись:
Апгрейд форума закончить нельзя! Его можно только временно приостановить! :hudo_zhnik:
          Вернуться наверх  
 


Аватар пользователя

1.
m213480 писал(а):

например бот Gais,

Это всего лишь имя выводимое на форуме, в строке Кто сейчас или Кто был на форуме. Вы вообще можете сменить имя бота на своё. Бот заходя на форум распознаётя через имя в строке- Соответствие агенту.
2. Ну отключите какие считаете подозрительными и они не смогут просматривать форум. :men:


          Вернуться наверх  
 


Аватар пользователя

Олег В писал(а):

Ну отключите какие считаете подозрительными и они не смогут просматривать форум

Да я-то их оставлю, пусть просматривают себе на здоровье!
Просто почему ПОИСКОВЫЙ бот содержит в своем имени слово [Spam]?
Кому пришло в голову его так назвать?
Это точно поисковый бот, а не спам-бот?
:du_ma_et:


_________________
Подпись:
Апгрейд форума закончить нельзя! Его можно только временно приостановить! :hudo_zhnik:
          Вернуться наверх  
 


Аватар пользователя

m213480 писал(а):

Просто почему ПОИСКОВЫЙ бот содержит в своем имени слово [Spam]?

Думаю что если бы он был реально вреден, то разработчики бота, его максимально защитили бы от подозрений.
Spam- Это информация в виде сообщений или рекламы чего либо. Ботам в их правах запрещена какая либо видимая деятельность на форуме. В связи с этим они не могут спамить.
Максим! Найдите сами информацию по как Вам кажется не благонадёжным ботам и сами определите как с ними поступить.
Если найдёте что то важное и опасное, поделитесь с нами информацией! :-00):


          Вернуться наверх  
 


Аватар пользователя

Олег В писал(а):

Если найдёте что то важное и опасное, поделитесь с нами информацией!

Угу!
Спасибо за информацию!
Теперь мне ясно что опасных поисковых ботов быть не может
Бывают только полезные и бесполезные, но опасных не бывает
Спасибо Олегу, жму везде "Спасибо"
:-00):


_________________
Подпись:
Апгрейд форума закончить нельзя! Его можно только временно приостановить! :hudo_zhnik:
          Вернуться наверх  
 


Аватар пользователя

Олег В писал(а):

Название бота - Google [Mobi]
Сответствие агенту - Googlebot-Mobile

Олег!
Я нашел вот такую статью:
Пожалуйста Зарегистрируйтесь чтобы увидеть ссылку

В ней пишут что вроде Google задумал поменять своих поисковых мобильных ботов
Или сделать из двух одного
Или еще что-то, я не до конца понял
Но точно там присутствует фраза цитирую:
"Googlebot-Mobile – старый агент пользователя для смартфонов, который вскоре будет заменен"
Вопрос:
В свете данной статьи какой/какие Гугловские мобильные боты посоветуешь установить?
:-00):
P.S. Обрати внимание на датировку статьи - прошло почти 1,5 года, а там пишут "скоро будет заменен"
Наверно это "скоро" у них наступило уже?
:dr_ink:
Можно еще вот с этим свериться
Пожалуйста Зарегистрируйтесь чтобы увидеть ссылку

только там такая мешанина, я пока оставлю у себя все как есть, подожду мнения более искушенных товарищей
:pioner:


_________________
Подпись:
Апгрейд форума закончить нельзя! Его можно только временно приостановить! :hudo_zhnik:
          Вернуться наверх  
 


Аватар пользователя

m213480 писал(а):

Обрати внимание на датировку статьи - прошло почти 1,5 года, а там пишут "скоро будет заменен"

Google [mobi] актуален, и заходит довольно часто.


_________________
Подпись:
нуевонафигэтотавтомод
          Вернуться наверх  
 


Аватар пользователя

Пожалуйста Зарегистрируйтесь чтобы увидеть ссылку
прочел про Яндекс Бот. Вроде как User-Agent теперь другой...


          Вернуться наверх  
 


Аватар пользователя

не знаю про новый. у меня прописан Yandex [Bot] и он пасётся на сайте почти каждый день.
вот сегодняшний скан

Пожалуйста Зарегистрируйтесь чтобы увидеть ссылку


/// а что остальные скажут?


_________________
Подпись:
три головы - это хорошо. но как же трудно придти к согласию...
* белк может помочь, но ставить за кого-то моды не будет... ни платно, ни бесплатно. *
          Вернуться наверх  
 


Аватар пользователя

Может попробовать использовать оба варианта? Я добавил оба варианта, и нового бота назвал Yandex [Bot] а старого Яндекс [Bot]. Надеюсь кириллица в названии бота допустима. Кстати, как правильно заполнять поле User-Agent - YandexBot/ или YandexBot (без слэша)?


          Вернуться наверх  
 
 
Начать новую тему Ответить на тему


Дополнительные возможности

  Похожие темы  Автор  Ответов  Просмотров  Последнее сообщение 
Аватар пользователя [Общая тема]HTML - CSS - Графика форума: где что править ???
Тема полностью посвящена ошибкам и проблемам отображения стилей, а так же любым вольным ковыряниям в HTML - CSS файлах форума phpbb3
Тема закрыта
Аватар пользователя [Общая тема]HTML-CSS-Графика форума: где что править ???-Ч.2
Вторая часть темы, посвященной ошибкам и проблемам отображения стилей, а так же любым вольным ковыряниям в HTML - CSS файлах форума phpbb3

DeaDRoMeO

8

244

Аватар пользователя

03 окт 2017, 05:38

DeaDRoMeO

Аватар пользователя [Общая тема] Всети.BY
Тема посвящена всем новостям и обсуждениям белорусской социальной сети Всети.BY

DeaDRoMeO

0

1684

Аватар пользователя

22 окт 2012, 07:52

DeaDRoMeO

Аватар пользователя [Общая тема]Index.by
В скором времени в Беларуси появится новая поисковая система Index.by, интересно будет поглядеть на ее работу и качество индексирования. Данная тема посвящена всем новостям Index.by

DeaDRoMeO

5

1862

Аватар пользователя

04 сен 2012, 10:30

DeaDRoMeO

Аватар пользователя [Общая тема] Вконтакте
Тема посвящена обсуждению любых новостей и материалов, связанных с социальной сетью Вконтакте

DeaDRoMeO

50

2937

Аватар пользователя

15 июн 2013, 21:06

DeaDRoMeO

Оставить свой комментарий

Поделиться темой с помощью

Ссылки на тему

Прямая ссылка:
BB-код для форумов, сайтов, блогов:
HTML ссылка:
 


cron

Самая неформальная поддержка phpBB :P