Apakah robot.txt itu?
Robot.txt adalah sebuah file yang digunakan oleh sebuah aplikasi web, untuk memberikan instruksi pada Search Engine Bot, tentang apa saja yang boleh diindex dan apa saja yang tidak boleh diindex. Search Engine Bot, adalah browser milik search engine yang berguna untuk menelusuri semua link URL di seluruh dunia, untuk kemudian hasilnya dicatatkan pada database search engine. Contoh Search Engine Bot adalah : GoogleBot, YandexBot, YahooBot, Bing Bot, dan lain sebagainya.
Kadang untuk meningkatkan keamanan kita, maka pada file robot.txt akan dituliskan beberapa hal antara lain :
- Nama UserAgent (browser, bot)
- Allow/Disallow (ijin akses)
- Direktori yang dikenai Allow/Disallow
- Sitemap
Contoh file robot.txt adalah:
Continue reading “Mengamankan robot.txt dan sitemap.xml Melalui Config Apache”