Tips danTrik SEO memiliki potensi untuk menjadi subjek yang sangat kompleks, dan salah satu fitur yang paling rumit adalah cara mesin pencari merangkak internet dan informasi indeks. Cara yang paling dasar untuk menggambarkan proses ini adalah bahwa mesin pencari menggunakan 'Laba-laba' atau 'Bot' untuk menjelajah web dengan melintasi link dan mengindeks semua informasi yang mereka datang di. Sayangnya, tidak sesederhana itu.
Ada saat-saat ketika webmaster mungkin tidak ingin mesin pencari untuk mengindeks konten pada halaman tertentu, atau mereka mungkin tidak ingin 'Spider' merangkak link tertentu. Ini bisa terjadi karena berbagai alasan - cannibalisation kata kunci, tidak lulus PageRank untuk pesaing, tidak duplikasi konten, untuk nama tapi beberapa. Ini adalah di mana file Robots.txt dan Meta Arahan datang ke dalam bermain:
Apa perbedaan antara Robots.txt dan Meta Petunjuk
Perbedaan definitif antara file Robots.txt dan Petunjuk Meta Robot adalah bahwa file Robots.txt beroperasi pada level domain, sedangkan arahan Meta instruksi yang dikeluarkan pada tingkat halaman HANYA. Robots.txt adalah file yang unik bahwa webmaster menggunakan untuk mengeluarkan satu set aturan untuk bot mesin pencari tentang bagaimana mereka merangkak situs dan aturan ini dikeluarkan di tingkat domain. Dengan menggunakan Petunjuk Robot Meta, webmaster dapat mengeluarkan perintah tingkat ke halaman mesin pencari tentang bagaimana mereka merangkak halaman individual.
Bagaimanakah cara menerapkan arahan Robot Meta?
Robot Meta Tag ditemukan dalam HTML bagian <head> pada sebuah situs web, dan menurut definisi yang diberikan oleh World Web Consortium (W3C), 'memungkinkan Elemen META penulis HTML untuk memberitahu robot mengunjungi apakah dokumen mungkin diindeks, atau digunakan untuk panen lebih banyak link. Tidak ada tindakan administrator server diperlukan. " Jadi, pada halaman web itu sendiri arahan individu ditempatkan dalam tag HTML <head>, dan ada beberapa petunjuk universal yang didukung oleh semua mesin pencari utama:
Dalam diagram di bawah ini saya akan menggambarkan bagaimana laba-laba mesin pencari akan memperlakukan halaman web dengan "Nofollow" Robot Meta Petunjuk terpasang. Sangat penting untuk diingat bahwa meskipun outbound link tidak diikuti, halaman sendiri masih akan muncul dalam indeks mesin pencari:
Direktif ini Meta juga dapat dikombinasikan dalam Meta Tag HTML tunggal dengan hanya menambahkan koma antara instruksi khusus. Jika Anda menggabungkan "noindex" dan "nofollow" arahan dalam tag Meta tunggal, kode HTML akan terlihat seperti ini:
<meta name="robots" content="noindex, nofollow" />
Sebuah contoh ketika Anda mungkin perlu untuk menggabungkan Direktif Meta adalah jika Anda memiliki halaman web yang tidak disukai versi kanonis, tetapi masih terhubung dengan sebuah website yang sangat dipercaya atau otoritatif. Dalam hal ini Anda mungkin ingin menerapkan tag berikut:
<Meta name = "robots" content = "noindex, ikuti" />
Direktif ini memungkinkan robot mesin pencari untuk mengikuti link keluar tanpa mengindeks halaman karena Anda mungkin merasa bahwa beberapa link yang ke halaman rumah Anda atau halaman othercanonically signifikan. Webmaster juga memiliki pilihan untuk mengeluarkan perintah ke mesin pencari individu dalam perintah yang akan terlihat seperti ini:
<meta name="googlebot" content="nofollow" />
<meta name="msnbot" content="noindex" />
HTTP header direktif
Hal ini juga memungkinkan untuk menetapkan aturan untuk robot dalam header HTTP pada halaman Web, dan ini disebut "X-robot-tag". Search engine dapat mengindeks seluruh berbagai dokumen seperti dokumen Microsoft Office dan file PDF, dan tidak semua dari mereka menggunakan HTML, inilah mengapa setiap direktif halaman memiliki setara sendiri HTTP header.
Sebagai contoh, website Anda mungkin berisi file PDF yang Anda tidak ingin diindeks. Ada banyak cara untuk melakukan ini, tetapi jika Anda ingin mengeluarkan instruksi tingkat halaman untuk mesin pencari Anda bisa menggunakan "x-robot-tag" yang terletak di header HTTP - itu akan terlihat seperti ini:
<FilesMatch "\.pdf$">
mengatur header x-robot-tag: noindex
</ FilesMatch>
mengatur header x-robot-tag: noindex
</ FilesMatch>
Kode ini akan ditempatkan dalam file htcaccess. Anda, dan jika Anda menggunakan webserver Apache misalnya, kode akan ditambahkan ke header HTTP yang webserver Apache menciptakan. Namun, beberapa webmaster mungkin lebih memilih untuk memasukkan kode ini secara manual dan ada pilihan bagi mereka untuk menggunakan built-in fungsi PHP.
0 komentar:
Posting Komentar