Menggunakan Robot.Txt Di WordPress

Antara teknik untuk optimize blog di WordPress yang sering dilupakan blogger adalah menggunakan robot.txt dengan berkesan untuk membantu bot enjin carian menyusuri laman penting dalam blog dan membuat indek terhadapnya. Ini kerana apabila bot-bot ini tiba di laman web/blog anda, mereka patuhi fail robot.txt ini dahulu.

Robot.txt juga digunakan bagi memastikan fail-fail sensitif tidak diindex, manakala folder tertentu yang menyimpan salinan dan sebagainya juga tidak di index agar tidak wujud 'duplicate copy' yang perlu dielakkan dalam SEO zaman ini.

Membuat Perubahan Pada Fail Robot.Txt

Pengguna WordPress akan menemui fail robot.txt anda di direktori utama (root directory) laman web/blog anda. Guna FTP utk aksess file ini atau pasangkan plugin WP Robots Txt untuk akses file dari dashboard WP anda. Pastikan anda fahami command penting sebelum membuat perubahan pada fail ini.

Command Penting Dalam Robot.Txt

User-agent: *

User-agent merujuk pada bot enjin carian. Gunakan * jika anda mahukan semua bot enjin carian menyusuri laman anda. 

Atau anda boleh hadkan misalnya pada Google sahaja:

User-agent: googlebot

 Jika blog anda masih baru, mungkin anda boleh tetapkan sahaja pada User-agent: *, namun bila sudah lama anda akan dapati bukan semua bot-bot ini friendly dan mungkin perlu buat perubahan pada command ini.

Disallow:

Command ini digunakan bagi menghalang bot-bot dari membuat index ke laman tertentu yang sensitif atau folder lama untuk elakkan 'duplicate content'. Untuk blog saya, saya antara lain memasukkan folder-folder berikut:-

Disallow: /cgi-bin/

Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /wp-includes/

Disallow: /xmlrpc.php

Disallow: /wp-content/plugins/

Disallow: /add-on/

Allow:

Gunakan command ini untuk bot-bot tertentu mengindek fail-fail spesifik dalam laman anda. Saya tetapkan yang berikut untuk blog saya:

User-agent: Mediapartners-Google*

Allow: /

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

User-agent: Adsbot-Google

Allow: /

 User-agent: Googlebot-Mobile

Allow: /

Sitemap

Akhir sekali adalah 'sitemap'. Bantu bot-bot untuk melihat peta di blog anda. Jika anda pengguna Yoast plugin, anda akan dapati sitemap anda berpecah kepada beberapa bahagian. Mungkin anda boleh masukkan command yang berikut:

Sitemap: http://dululainsekaranglain.com/sitemap_index.xml

Sitemap: http://dululainsekaranglain.com/post-sitemap.xml

Sitemap: http://dululainsekaranglain.com/page-sitemap.xml

Sitemap: http://dululainsekaranglain.com/category-sitemap.xml

Sitemap: http://dululainsekaranglain.com/author-sitemap.xml

Ok, anda semua faham bagaimana untuk gunakan robot.txt ini bagi tujuan SEO? Harap ianya membantu anda semua.

Tweet