Apa Itu Robot TXT? Bagaimana Cara Settingnya Di WordPress

Apa Itu Robot.txt? Bagaimana Cara Settingnya Di WordPress agar mendapatkan peringkat di mesin pencarian Google. Namun, penting diketahui bahwa file robots.txt bukan merupakan mekanisme keamanan. Halaman yang dilarang oleh robots.txt masih dapat diakses oleh pengguna yang tahu alamat URL halaman tersebut. Jadi, jika ada halaman yang sensitif atau penting, pengembang situs web harus menggunakan mekanisme keamanan tambahan, seperti autentikasi pengguna atau enkripsi data. Apa itu robots.txt dan bagaimana cara settingnya di WordPress? Saya akan membahasnya melalui artikel postingan ini.

Apa Itu Robot.txt?

Robots.txt adalah file teks khusus yang ditempatkan di root directory sebuah situs web untuk memberikan instruksi kepada robot mesin pencari, seperti Googlebot, tentang halaman apa yang dapat diindeks dan tidak dapat diindeks pada situs tersebut. File ini memberi tahu robot apa yang harus diabaikan dan apa yang harus diikuti pada situs web. Robots.txt dapat digunakan untuk mengurangi lalu lintas mesin pencari yang tidak diinginkan pada halaman yang mungkin tidak relevan atau sensitif pada situs web. File robots.txt diakses oleh robot mesin pencari ketika mereka mengunjungi situs web untuk mengindeks halaman web.

Dimana Letak File Robot TXT?

File robots.txt harus ditempatkan di direktori root situs web kalian yang biasa disebut yaitu public_html. Direktori root adalah direktori tertinggi pada struktur direktori situs web Anda dan merupakan tempat semua file utama situs web Anda disimpan.

Untuk menempatkan file robots.txt di direktori root situs web Anda, Anda harus mengikuti langkah-langkah berikut:

Buka manajemen file hosting Anda.
Cari folder utama situs web Anda atau folder public_html.
Didalam forder public_html akan terdapat file "robots.txt".

Setelah file robots.txt diupload ke direktori root situs web Anda, robot mesin pencari seperti Googlebot akan mencari file tersebut secara otomatis ketika mengindeks situs web Anda. Jadi, pastikan bahwa file robots.txt Anda diisi dengan instruksi yang tepat agar mesin pencari dapat mengindeks halaman situs web Anda dengan benar.

Jika kalian kurang pahan untuk mengetahui file Robot.txt yang ada di hosting kalian nantinya kalian bisa menggunakan cara lain yang lebih gampang. cara itu adalah melalui WordPress Langsung. simak artikel ini sampai habis.

Cara Setting Robot TXT di WordPress

Untuk mengatur file robots.txt di WordPress, Anda dapat menggunakan plugin atau mengedit file langsung melalui dashboard WordPress. Berikut adalah langkah-langkah untuk mengatur file robots.txt di WordPress:

Install dan aktifkan plugin WordPress SEO by Yoast
Setelah diaktifkan, masuk ke menu SEO -> Tools -> File Editor.

Setelah Itu Isikan From Ini. untuk txt nya ada dibawah silahkan di copy saya

Jika sudah selesai klik Save changes to Robot.txt biar kesimpan ke robotnya

Berikut adalah contoh isi file robots.txt yang saya buat dan saya gunankan di WordPress saya, kalian bisa mengikuti tulisan seterti dibawah ini dan jangan lupa kalian ubah URL Sitemap web kalian.

User-agent: *
Allow: /wp-admin/admin-ajax.php
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Bingbot
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: https://fiturlengkap.com/sitemap_index.xml
Sitemap: https://fiturlengkap.com//wp-sitemap.xml