# Lunastro官网 - Robots.txt
# 更新时间: 2024-01-24

# 允许所有搜索引擎爬虫
User-agent: *
Allow: /

# 禁止访问的目录和文件
Disallow: /api/
Disallow: /_next/
Disallow: /admin/
Disallow: /.well-known/
Disallow: /temp/
Disallow: /private/
Disallow: /*.json$
Disallow: /*?*utm_*
Disallow: /*?*fbclid*
Disallow: /*?*gclid*

# 允许访问重要资源
Allow: /favicon.ico
Allow: /robots.txt
Allow: /sitemap.xml
Allow: /*.css$
Allow: /*.js$
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jpeg$
Allow: /*.gif$
Allow: /*.svg$
Allow: /*.webp$

# Google搜索引擎特殊配置
User-agent: Googlebot
Allow: /
Crawl-delay: 1

# 百度搜索引擎配置
User-agent: Baiduspider
Allow: /
Crawl-delay: 2

# 必应搜索引擎配置
User-agent: bingbot
Allow: /
Crawl-delay: 1

# 搜狗搜索引擎配置
User-agent: Sogou web spider
Allow: /
Crawl-delay: 2

# 360搜索引擎配置
User-agent: 360Spider
Allow: /
Crawl-delay: 2

# 禁止恶意爬虫
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

# 网站地图
Sitemap: https://lunastro.top/sitemap.xml
Sitemap: https://lunastro.top/zh-CN/sitemap.xml
Sitemap: https://lunastro.top/zh-TW/sitemap.xml
Sitemap: https://lunastro.top/en/sitemap.xml

# 主机信息
Host: https://lunastro.top