User-Agent: *
User-agent: Googlebot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Googlebot-Mobile
Allow: /*.html$
Allow: /*.jpg$
User-agent: Googlebot-Image
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Googlebot-News
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Googlebot-Video
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: AdsBot-Google
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: AdsBot-Google-Mobile
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Feedfetcher-Google
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Mediapartners-Google
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Mediapartners
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: APIs-Google
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: bingbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Slurp
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: [wW]get
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: LinkedInBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Python-urllib
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: python-requests
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: libwww-perl
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: httpunit
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: nutch
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Go-http-client
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: phpcrawl
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: msnbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: jyxobot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: FAST-WebCrawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: FAST Enterprise Crawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: BIGLOTRON
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Teoma
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: convera
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: seekbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Gigabot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Gigablast
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: exabot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ia_archiver
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: GingerCrawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: webmon 
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: HTTrack
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: grub.org
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: UsineNouvelleCrawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: antibot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: netresearchserver
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: speedy
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: fluffy
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: findlink
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: msrbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: panscient
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: yacybot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: AISearchBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ips-agent
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: tagoobot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: MJ12bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: woriobot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: yanga
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: buzzbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: mlbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: YandexBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: YandexImages
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: YandexAccessibilityBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: YandexMobileBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: purebot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Linguee Bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: CyberPatrol
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: voilabot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Baiduspider
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: citeseerxbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: spbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: twengabot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: postrank
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: TurnitinBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: scribdbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: page2rss
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: sitebot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: linkdex
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Adidxbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ezooms
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: dotbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Mail.RU_Bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: discobot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: heritrix
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: findthatfile
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: europarchive.org
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: NerdByNature.Bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: sistrix crawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Ahrefs
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: fuelbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: CrunchBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: IndeedBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: mappydata
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: woobot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ZoominfoBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: PrivacyAwareBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Multiviewbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: SWIMGBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Grobbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: eright
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Apercite
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: semanticbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Aboundex
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: domaincrawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: wbsearchbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: summify
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: CCBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: edisterbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: seznambot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ec2linkfinder
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: gslfbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: aiHitBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: intelium_bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: facebookexternalhit
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Yeti
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: RetrevoPageAnalyzer
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: lb-spider
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Sogou
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: lssbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: careerbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: wotbox
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: wocbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ichiro
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: DuckDuckBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: lssrocketcrawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: drupact
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: webcompanycrawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: acoonbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: openindexspider
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: gnam gnam spider
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: web-archive-net.com.bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: backlinkcrawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: coccoc
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: integromedb
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: content crawler spider
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: toplistbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: it2media-domain-crawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ip-web-crawler.com
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: siteexplorer.info
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: elisabot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: proximic
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: changedetection
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: arabot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: WeSEE:Search
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: niki-bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: CrystalSemanticsBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: rogerbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: 360Spider
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: psbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: InterfaxScanBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: CC Metadata Scaper
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: g00g1e.net
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: GrapeshotCrawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: urlappendbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: brainobot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: fr-crawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: binlar
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: SimpleCrawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Twitterbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: cXensebot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: smtbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: bnf.fr_bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: A6-Indexer
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ADmantX
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Facebot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: OrangeBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: memorybot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: AdvBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: MegaIndex
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: SemanticScholarBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ltx71
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: nerdybot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: xovibot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: BUbiNG
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Qwantify
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: archive.org_bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Applebot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: TweetmemeBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: crawler4j
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: findxbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: SEMrushBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: yoozBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: lipperhey
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Y!J
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Domain Re-Animator Bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: AddThis
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Screaming Frog SEO Spider
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: MetaURI
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Scrapy
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Livelap[bB]ot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: OpenHoseBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: CapsuleChecker
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: collection@infegy.com
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: IstellaBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: DeuSu
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: betaBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Cliqzbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: MojeekBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: netEstate NE Crawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: SafeSearch microdata crawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Gluten Free Crawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Sonic
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Sysomos
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Trove
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: deadlinkchecker
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Slack-ImgProxy
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Embedly
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: RankActiveLinkBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: iskanie
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: SafeDNSBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: SkypeUriPreview
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Veoozbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Slackbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: redditbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: datagnionbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Google-Adwords-Instant
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: adbeat_bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: WhatsApp
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: contxbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: pinterest.com.bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: electricmonk
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: GarlikCrawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: BingPreview
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: vebidoobot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: FemtosearchBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Yahoo Link Preview
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: MetaJobBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: DomainStatsBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: mindUpBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Daum
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Jugendschutzprogramm-Crawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Xenu Link Sleuth
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Pcore-HTTP
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: moatbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: KosmioBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: pingdom
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: AppInsights
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: PhantomJS
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Gowikibot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: PiplBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Discordbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: TelegramBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Jetslide
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: newsharecounts
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: James BOT
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Bark[rR]owler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: TinEye
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: SocialRankIOBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: trendictionbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Ocarinabot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: epicbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Primalbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: DuckDuckGo-Favicons-Bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: GnowitNewsbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Leikibot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: LinkArchiver
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: YaK
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: PaperLiBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Digg Deeper
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: dcrawl
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Snacktory
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: AndersPinkBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Fyrebot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: EveryoneSocialBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Mediatoolkitbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Luminator-robots
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ExtLinksBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: SurveyBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: NING
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: okhttp
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Nuzzel
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: omgili
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: PocketParser
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: YisouSpider
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: um-LN
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ToutiaoSpider
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: MuckRack
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Jamie's Spider
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: AHC
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: NetcraftSurveyAgent
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Laserlikebot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ^Apache-HttpClient
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: AppEngine-Google
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Jetty
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Upflow
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Thinklab
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Traackr.com
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Twurly
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Mastodon
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: http_get
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: DnyzBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: botify
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: 007ac9 Crawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: BehloolBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: BrandVerity
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: check_http
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: BDCbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ZumBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: EZID
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ICC-Crawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ArchiveBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ^LCC 
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: filterdb.iss.netcrawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: BLP_bbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: BomboraBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Buck
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Companybook-Crawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Genieo
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: magpie-crawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: MeltwaterNews
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Moreover
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: newspaper
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ScoutJet
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: (^| )sentry
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: StorygizeBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: UptimeRobot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: OutclicksBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: seoscanners
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Hatena
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Google Web Preview
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: MauiBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: AlphaBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: SBL-BOT
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: IAS crawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: adscanner
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Netvibes
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: acapbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Baidu-YunGuanCe
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: bitlybot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: blogmuraBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Bot.AraTurka.com
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: bot-pge.chlooe.com
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: BoxcarBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: BTWebClient
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ContextAd Bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Digincore bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Disqus
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Feedly
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Fetch
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: FeverAllow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Flamingo_SearchEngine
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: FlipboardProxy
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: g2reader-bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: G2 Web Services
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: imrbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: K7MLWCBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Kemvibot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Landau-Media-Spider
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: linkapediabot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: vkShare
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Siteimprove.com
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: BLEXBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: DareBoost
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ZuperlistBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Miniflux
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Feedspot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Diffbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: SEOkicks
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: tracemyfile
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Nimbostratus-Bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: zgrab
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: PR-CY.RU
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: AdsTxtCrawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Datafeedwatch
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Zabbix
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: TangibleeBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: google-xrawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: axios
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Amazon CloudFront
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Pulsepoint
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: CloudFlare-AlwaysOnline
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Google-Structured-Data-Testing-Tool
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: WordupInfoSearch
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: WebDataStats
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: HttpUrlConnection
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Seekport Crawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ZoomBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: VelenPublicWebCrawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: MoodleBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: jpg-newsbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: outbrain
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: W3C_Validator
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Validator.nu
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: W3C-checklink
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: W3C-mobileOK
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: W3C_I18n-Checker
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: FeedValidator
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: W3C_CSS_Validator
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: W3C_Unicorn
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Google-PhysicalWeb
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Blackboard
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ICBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: BazQux
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Twingly
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Rivva
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Experibot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: awesomecrawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Dataprovider.com
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: GroupHigh
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: theoldreader.com
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: AnyEvent
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Uptimebot.org
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Nmap Scripting Engine
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: 2ip.ru
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ClickagyAllow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Caliperbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: MBCrawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: online-webceo-bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: B2B Bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: AddSearchBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Google Favicon
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: HubSpot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Chrome-Lighthouse
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: HeadlessChrome
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: CheckMarkNetwork
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: www.uptime.com
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Streamline3Bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: serpstatbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: MixnodeCache
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: ^curl
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: SimpleScraper
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: RSSingBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Jooblebot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: fedoraplanet
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Friendica
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: NextCloud
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Tiny Tiny RSS
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: RegionStuttgartBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Bytespider
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Datanyze
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Google-Site-Verification
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: TrendsmapResolver
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: tweetedtimes
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: NTENTbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Gwene
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: SimplePie
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: SearchAtlas
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Superfeedr
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: feedbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: UT-Dorkbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Amazonbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: SerendeputyBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Eyeotabot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: officestorebot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Neticle Crawler
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: SurdotlyBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: LinkisBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: AwarioSmartBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: AwarioRssBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: RyteBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: FreeWebMonitoring SiteChecker
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: AspiegelBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: NAVER Blog Rssbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: zenback bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: SentiBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Domains Project
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Pandalytics
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: VKRobot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: bidswitchbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: tigerbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: NIXStatsbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Atom Feed Robot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Curebot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: PagePeeker
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Vigil
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: rssbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: startmebot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: JobboerseBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: seewithkids
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: NINJA bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Cutbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: BublupBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: BrandONbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: RidderBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: YandexMetrika
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: YandexTurbo
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: YandexImageResizer
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: YandexVideoParser
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Taboolabot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Dubbotbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: FindITAnswersbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: infoobot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Refindbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: BlogTrafficd.d+ Feed-Fetcher
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: SeobilityBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Cincraw
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: Dragonbot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: VoluumDSP-content-bot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: FreshRSS
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml
User-agent: BitBot
Allow: /*.html$
Allow: /*.jpg$
Allow: /sitemap.xml

sitemap: https://petite-discovery.firebaseapp.com/sitemap.xml
rssfeed: https://petite-discovery.firebaseapp.com/feed.txt