Mengatasi Error “cURL: Hostname was NOT found in DNS cache” pada Hit Access HTTPS

curl https error

Tulisan ini, saya buat karena sedikit geram. Karena saya menemukan error di sebuah server, dan saat error tersebut saya paste ke Search Bar Google, yang muncul adalah error yang sama. Pemecahannya dianggap bahwa memang tidak menemukan DNS.

CASE : Begini. Kasusnya adalah saat terjadi aksi hit akses HTTPS di server itu sendiri, alias localhost, ternyata proses tersebut berjalan amat lama, dan akhirnya timeout. Saya coba pakai curl, wget dan semua ubarampe persantetan, gagal. Tapi kasusnya ini hanya terjadi di HTTPS, bukan di HTTP. Saat hit HTTP, ini semua tidak ada masalah.

Sayangnya, semua tutorial mengatakan bahwa saya salah setting DNS resolve. Ya kalau saya tembak IP langsung, mana saya butuh DNS 😄 . Lantas hipotesa trial and error saya mengatakan bahwa ini ada pada di proses curl terhadap HTTPS. Hal yang kemungkinan berpengaruh adalah :

  • openssl
  • curl – openssl -gnutls (libcurl4-gnutls-dev)
  • cacert di /etc/ssl tidak update (nss-updatedb)

Iseng-iseng saya coba apt install nss-updatedb, dan hasilnya adalah error semua, karena ternyata repo saya memanggil https semua 😜😜😜 … Gembel…

Akhirnya saya cari repo yang http biasa saja. Saya apt update, dan jurusnya adalah tetep seperti tadi

apt install nss-updatedb

Dan semua masalah curl ke HTTPS tersebut : selesai

Mengamankan robot.txt dan sitemap.xml Melalui Config Apache

Apakah robot.txt itu?

Robot.txt adalah sebuah file yang digunakan oleh sebuah aplikasi web, untuk memberikan instruksi pada Search Engine Bot, tentang apa saja yang boleh diindex dan apa saja yang tidak boleh diindex. Search Engine Bot, adalah browser milik search engine yang berguna untuk menelusuri semua link URL di seluruh dunia, untuk kemudian hasilnya dicatatkan pada database search engine. Contoh Search Engine Bot adalah : GoogleBot, YandexBot, YahooBot, Bing Bot, dan lain sebagainya.

Kadang untuk meningkatkan keamanan kita, maka pada file robot.txt akan dituliskan beberapa hal antara lain :

  1. Nama UserAgent (browser, bot)
  2. Allow/Disallow (ijin akses)
  3. Direktori yang dikenai Allow/Disallow
  4. Sitemap

Contoh file robot.txt adalah:
Continue reading “Mengamankan robot.txt dan sitemap.xml Melalui Config Apache”

Bermain-main dengan CURL

CURL adalah sebuah produk project berbasis ‘command line’ yang digunakan sebagai software client HTTP. Dalam prakteknya, CURL digunakan untuk melakukan hit terhadap sebuah URL, dan akan menangkap kembalian dalam wujud text mode. Sederhananya : browsing dengan command line. Mengapa CURL harus ada? CURL ada untuk menjadi cikal-bakal browser lainnya, dapat juga menjadi tool yang digunakan oleh bahasa-bahasa pemrograman, untuk mendapatkan hasil browsing berupa text, sehingga dapat dikenai aksi parsing.

Bagaimana instalasi CURL?

Untuk Linux user, CURL adalah perangkat yang sudah disediakan di repository instalasi distro masing-masing Linux.

Berbasis RedHat dan keturunannnya : yum install curl

Berbasis SuSE dan keturunannya : zypper install curl

Berbasis Debian dan keturunannya : apt-get install curl

Instalasi dapat juga dilakukan dengan melakukan dowload langsung dari https://curl.haxx.se, kemudian dilakukan kompilasi program sendiri, sesuai petunjuk yang ada pada dokumentasi instalasi situs tersebut.
Continue reading “Bermain-main dengan CURL”