news image
2025-08-21 14:03:40
Ще один прийом використання Devaka Tools — робота з robots.txt. Так, його можна відкривати, коли знаходишься в robots.txt =) З sitemap.xml, на жаль, так не можна.

Раніше нічого корисного з ним зробити не можна було, бо в цьому файлі немає тегів, немає розмітки, а тільки текст. А ось з AI Helper вже відкриваються нові можливості.

Простий приклад: вводите в AI Helper в букмарклеті промпт "чи є проблеми в цьому robots.txt?". І він вам детально розповість, де проблеми і як вирішити (дивіться на скріншоті). gpt-5-mini одразу дає виправлену версію robots.txt, яку можна собі скопіювати.

Також можна просто щось питати про поточний роботс.
- пояснення значень присутніх директив
- тлумачення шаблонів з масками
- рекомендації щодо оптимізації
- чи закритий доступ якомусь певному боту
- приклади потрібних правил, які не будуть конфліктувати з існуючими
- і багато чого іншого, спробуйте самі.
Читати в Telegram