# robots.txt pro Fantasy AI
# Aktualizováno: 23.12.2025

User-agent: *
Allow: /

# Povolit indexování důležitých stránek
Allow: /index.php
Allow: /gallery.php
Allow: /plans.php
Allow: /about.php
Allow: /contact.php
Allow: /images/
Allow: /sitemap.xml

# Blokovat privátní/admin sekce
Disallow: /admin.php
Disallow: /admin/
Disallow: /login.php
Disallow: /register.php
Disallow: /logout.php
Disallow: /profile.php
Disallow: /chat.php
Disallow: /generator.php
Disallow: /payment-qr.php

# Blokovat PHP config a funkční soubory
Disallow: /config.php
Disallow: /functions.php
Disallow: /api-functions.php
Disallow: /*.sql
Disallow: /backup/
Disallow: /temp/
Disallow: /cache/

# Blokovat debug/test skripty
Disallow: /test-
Disallow: /debug-
Disallow: /check-
Disallow: /validate-

# Crawl rate (1 požadavek každých 10 sekund)
Crawl-delay: 10

# Sitemap
Sitemap: https://aigirl.cz/sitemap.xml

# Specifická pravidla pro různé boty
User-agent: Googlebot
Allow: /
Crawl-delay: 5

User-agent: Googlebot-Image
Allow: /images/

User-agent: bingbot
Allow: /
Crawl-delay: 10

User-agent: Yandex
Allow: /
Crawl-delay: 10

# Blokovat scrapers a bad boty
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /