Kalau Anda pernah melakukan pencarian website di Google, Yahoo!, Bing, atau mesin pencari lainnya, anda akan melihat daftar website yang relevan dengan pencarian anda. Anda mulai dengan pencarian sederhana dengan mengetik beberapa kata ke mesin pencari, sering kali Anda tidak mengetahui apa yang terjadi di balik layar. Ketika menggunakan mesin pencari seperti Google, misalnya, Anda sebenarnya tidak mencari di Internet; sebenarnya Anda sedang mencari daftar website di seluruh dunia yang telah terindeks di database milik Google. Mesin pencari mengurutkan hasil pencarian tersebut bukan secara acak, tetapi berdasarkan tingkat relevansi dan kualitas website.
Mesin pencari memiliki dua fungsi utama: Pertama adalah crawling, yaitu menyebar robot ke miliaran halaman web di dunia maya untuk menemukan informasi. Kedua, mesin pencari akan membangun indeks dari seluruh temuan informasi yang mereka dapatkan ke dalam database dan selanjutnya menyediakan jawaban bagi pengguna berupa daftar peringkat situs web yang telah ditentukan paling tepat dan relevan.
Proses pencarian informasi yang dilakukan oleh mesin pencari menggunakan robot otomatis yang biasa disebut "crawler" atau "spider", bertugas menjangkau miliaran dokumen yang saling terhubung melalui tautan di setiap halaman web di seluruh dunia. Setelah menemukan halaman-halaman tersebut, mereka menguraikan kode dan menyimpan potongan-potongan data yang telah dipilih ke dalam database mesin pencari, untuk dipanggil kembali nanti ketika diperlukan ketika proses permintaan pencarian.
Untuk melakukan tugas besar ini, mesin pencari menyimpan miliaran data halaman yang dapat diakses dalam sepersekian detik, perusahaan mesin pencari telah membangun pusat data di seluruh dunia untuk memanjakan penggunanya. Mesin pencari bekerja keras untuk memberikan jawaban secepat mungkin karena pengguna menuntut hasil secara instan dan cepat tentunya; bahkan penundaan satu atau dua detik saja dapat menyebabkan ketidakpuasan pengguna.
Sejatinya, mesin pencari adalah mesin penjawab. Ketika seseorang melakukan pencarian secara online, mesin pencari akan memilah daftar miliaran dokumen yang terdapat dalam database mereka, dan selanjutnya melakukan dua hal: pertama, ia hanya menampilkan hasil yang relevan atau sekiranya berguna dan sesuai dengan pencarian pengguna; kedua, peringkatnya disesuaikan dengan popularitas situs web yang melayani informasi tersebut. Misalnya, untuk pencarian kata "Definisi Digital Marketing", mesin pencari akan memberikan informasi sesuai dengan pertanyaan pengguna yaitu ingin mengetahui definisi dari digital marketing. Jika tidak ditemukan jawaban yang relevan, maka akan ditampilkan website yang telah populer menjadi rujukan mengenai definisi digital marketing seperti website ensiklopedia wikipedia.
Bagaimana mesin pencari menentukan relevansi dan popularitas?
Pada awalnya, mesin pencari hanya menggunakan algoritma sederhana dalam menentukan informasi yang akan ditampilan pada halaman pencarian. Akan tetapi, saat ini mesin pencari semakin canggih dalam menentukan jawaban bagi setiap pertanyaan yang diajukan oleh pengguna. Selama bertahun-tahun, para insinyur baik di google, yahoo, dan bing telah menemukan cara yang lebih baik untuk mencocokkan hasil dengan pertanyaan pengguna.
Saat ini, prosesnya sudah tidak sederhana lagi, bisa jadi ratusan faktor dapat mempengaruhi relevansi dan popularitas suatu web tergantung pada informasi yang dikandungnya.
Mesin pencari biasanya menganggap bahwa semakin populer suatu situs, halaman, atau dokumen, semakin berharga informasi yang dikandungnya. Asumsi ini telah terbukti cukup berhasil dalam hal kepuasan pengguna dengan hasil pencarian. Popularitas dan relevansi tidak ditentukan secara manual. Sebaliknya, mesin pencari menggunakan persamaan matematika (algoritma) untuk mengurutkan relevansi, dan kemudian untuk menentukan peringkat berdasarkan kualitas (popularitas).
