22 lines
434 B
Plaintext
22 lines
434 B
Plaintext
# robots.txt для Phantom Protocol
|
|
|
|
User-agent: *
|
|
Allow: /
|
|
|
|
# Sitemap
|
|
Sitemap: https://phantom.protocol/sitemap.xml
|
|
|
|
# Crawl-delay для вежливости
|
|
Crawl-delay: 1
|
|
|
|
# Блокировка не существующих путей
|
|
Disallow: /cgi-bin/
|
|
Disallow: /tmp/
|
|
Disallow: /*.json$
|
|
Disallow: /*.xml$
|
|
|
|
# Разрешены все основные ресурсы
|
|
Allow: /css/
|
|
Allow: /js/
|
|
Allow: /images/
|
|
Allow: /index.html |