Kısaca arama motoru olarak bilinen web arama motoru, World Wide Web (Dünya Çapında Ağ) üzerinde bilgi aramak için geliştirilmiş olan yazılımsal bir sistemdir. Arama sonuçları genellikle, arama motoru sonuç sayfaları (search engine results pages - SERP) üzerinde listelenir. Sonuçlar içerisinde web sayfaları, görseller ve diğer dosya türleri yer alabilir. Bazı arama motorları, diğer veri tabanlarının yanı sıra açık web dizinlerinde yer alan içerikleri de kendi arama sonuçlarında gösterebilir. İçeriği tümüyle insanlar tarafından oluşturulmuş web dizinlerinin aksine arama motorları, web crawler adı verilen algoritmalar aracılığı ile gerçek zamanlı olarak sonuçları görüntüleyebilirler.
Arama motoru tarihi
Internet arama motorları, Web'in kullanıma sunulduğu 1990 yılının Aralık ayından öncesine dayanır. Whois kullanıcı araması 1982 yılında geliştirilmiştir. Knowbot Information Service adı verilen ve çoklu ağ üzerinde kullanıcı aranabilmesine olanak sağlayan arama sistemi ise 1989 yılında kullanılmaya başlamıştır. İyi bir şekilde belgelenen ve içerik dosyalarını, özellikle de FTP dosyalarını arayan ilk arama motoru Archie'dir ve 10 Eylül 1990 yılından itibaren kullanılmaya başlamıştır.
1993 yılının Eylül ayından önce World Wide Web, tümüyle el ile arşivlenen bir sistemdi. Tim Berners-Lee tarafından hazırlanan web sunucularının bir listesi vardı ve bu liste, CERN sunucuları üzerinde depolanıyordu. Bu listenin 1992 yılında hazırlanan bir sürümü günümüze değin ulaşmış olsa da, web sunucularının her geçen gün artan sayıda kullanılmaya başlaması ile birlikte merkezi bir listenin güncel olarak tutulması da imkansız hale geldi. NCSA sitesinde "Neler Yeni!" başlığı altında yeni sunucuların duyurusu yapılıyordu.
İnternet üzerinde kullanıcılardan ziyade içerik aranmasına olanak sağlayan ilk araç Archie'dir ve İngilizce'de arşiv anlamına gelen "archive" kelimesindeki "v" harfinin kaldırılması ile oluşturulmuştur. Archie, Montreal'da bulunan McGill Üniversitesi'nde bilgisayar bilimi dalında öğrenim gören Alan Emtage, Bill Heelan ve J. Peter Deutsch tarafından oluşturulmuştur. Hazırlanan bu program, halka açık durumda faliyet gösteren tüm FTP sitelerindeki dosyaların bir listesini kullanıcının bilgisayarına indiriyor ve ardından kullanıcının bu liste üzerinde dosya adları üzerinde arama yapmasına olanak sağlıyordu. İçerik son derecede kısıtlı olduğundan Archie, sadece dosya adları üzerinde arama yapabiliyor, isteyen kullanıcı ise ilgili dosyayı bilgisayarına indirerek, dosyanın içeriği üzerinde kendisi arama yapabiliyordu.
Minnesota Üniversitesi'nde Mark McCahill tarafından 1991 yılında oluşturulan Gopher'in yaygınlaşması, Veronica ve Jughead adında iki yeni arama programının oluşturulmasına önayak oldu. Bu iki program da, tıpkı Archie gibi Gopher dizininde yer alan dosya isimleri ve başlıkları üzerinde arama yapabiliyordu. Veronica (Very Easy Rodent-Oriented Net-wide Index to Computerized Archives), Gopher listeleri üzerinde yer alan pek çok Gopher menü başlığı üzerinde anahtar kelime bazında arama yapılabilmesine olanak sağladı. Jughead (Jonzy's Universal Gopher Hierarchy Excavation and Display) ise bazı Gopher siteleri üzerindeki menü bilgilerinin alınması için kullanılabilen bir araçtı. Her ne kadar Archie arama motorunun adının Archie çizgi roman serisi ile herhangi bir bağlantısı olmasa da, "Veronica" ve "Jughead", bu seride yer alan iki karakterin isimleriydi ve bu sayede, kendisinden önce gelen Archie'ye bir gönderme yapmış oldular.
1993 yılının yaz aylarında Web üzerindeki içerikte arama yapılabilmesine olanak sağlayan herhangi bir arama motoru bulunmuyordu ancak el ile hazırlanmış bazı özel kataloglar mevcuttu. Cenevre Üniversitesi'nden Oscar Nierstrasz, bir dizi Perl betiği yazdı ve bu betikler, Web üzerinde yer alan sayfasının birer kopyasını alarak onları standart biçimde yeniden yazdı. Bu işlem, 2 Eylül 1993 yılında yayımlanan ve ilkel bir arama motoru olan W3Catalog çalışmasının da temelini oluşturdu.
1993 yılının Haziran ayında o zamanlar MIT bünyesinde görevli olan Matthew Gray, muhtemelen o zamana kadar yayımlanmış olan ilk web robotunu oluşturdu. Perl tabanlı olan ve World Wide Web Wanderer (Dünya Çapında Ağ Gezgini) adı verilen bu robotu kullanan Gray, robot sayesinde Wandex adında bir dizini oluşturdu. Gezgin'in oluşturulma amacı, Web'in ne kadar büyük olduğunu hesaplamaktı ve 1995 yılına kadar görevini sürdürmeye devam etti. Web'in ikinci arama motoru oan Aliweb ise 1993 yılının Kasım ayında belirdi. Aliweb, herhangi bir web robotu kullanmadı. Aksine, web sitesi yöneticileri kendi sitelerini Aliweb üzerinde, Aliweb ile uyumlu bir biçimde kaydediyorlardı.
1993 yılının Aralık ayında oluşturulan JumpStation ise Jonathan Fletcher tarafından oluşturuldu. Fletcher, web siteleri arşivini oluşturmak için bir web robotu kullandı ve arama yapmak için bir web formunu barındırdı. Dolayısıyla JumpStation, bir web arama motorunun barındırması gereken üç ana özellik olan içerik toplama, arşivleme ve arama özelliklerini de bünyesinde bulunduran ilk web arama motoru oldu. JumpStation'ın üzerinde çalıştığı platformun kaynakları sınırlı olduğundan, arşivleme ve arama özellikleri web sayfalarında bulunan başlıklar ile sınırlıydı.
Web sayfaları üzerindeki tüm metin içeriği üzerinde arama yapılabilmesine olanak sağlayan ilk arama motoru, 1994 yılında yapılan WebCrawler idi. Kendisinden önce gelen arama motorlarının aksine WebCrawler, kullanıcısının İnternet üzerinde yer alan web sitelerindeki sayfaların tüm içeriğinde arama yapılabilmesini mümkün kılıyordu ve bu özellik, o günden sonra geliştirilen tüm arama motorları için bir standart haline geldi. WebCrawler ayrıca İnternet kullanıcıları tarafından yaygın olarak bilinen kullanılan ilk arama motoruydu. 1994 yılında Carnegie Mellon Üniversitesi'nde yapımına başlanılan Lycos yayın hayatına başladı ve kısa süre içerisinde büyük bir ticari başarı yakaladı.
Kısa süre içerisinde çok sayıda arama motoru yayın hayatına başladı. Bu arama motorları arasında Magellan, Excite, Infoseek, Inktomi, Northern Light ve AltaVista yer aldı. Yahoo!, o günlerde insanların ilgi alanlarına hitab eden web sitelerini bulmak için en çok kullanılan yöntemdi ancak sitenin arama özelliği, sayfaların içeriklerinin üzerinde değil, yine Yahoo!'da bulunan web dizini üzerinde yapılıyordu. Aradıkları bilgiye ulaşmak isteyen kullanıcılar, arama yapmak yerine dizinde gezinerek diledikleri içeriğe ulaşabiliyorlardı.
1996 yılında Netscape, kendi web tarayıcısı üzerinde kullanılabilecek arama özelliğinin haklarını satacak bir firma arıyordu. Netscape'in bu teklifine ilgi o kadar büyüktü ki firma, sonunda beş farklı arama motoru firması ile anlaşma yoluna gitti. Her bir arama motoru, Netscape'e yılda 5 milyon dolar ödemeyi kabul etti ve bu arama motorları, Netscape'in arama motoru sayfasında sırasıyla görüntülenecekti. Netscape ile Yahoo!, Magellan, Lycos, Infoseek ve Excite firmaları anlaşma sağladı.
Google, 1998 yılında, arama terimlerini satma fikrini goto.com adındaki küçük bir arama motoru şirketinden satın aldı. Google'ın bu adımının arama motoru sektörüne çok büyük bir etkisi oldu, zira o güne kadar finansal olarak sıkıntıda olan bu sektör, birden bire İnternet'in en çok kâr yapan sektörlerinden birisi haline geldi.
1990ların sonlarında İnternet şirketleri üzerine yapılan akıl almaz yatırım furyasından arama motorları en büyük nasibi aldı. Bazı şirketler halka açıldığında rekor fiyata alıcı buldular. Northern Light gibi bazı arama motorları halka açık olan sürümlerini yayından kaldırarak sadece kurumlara hizmet vermeye başladılar. O dönemdeki arama motorlarının büyük bir çoğunluğu, 1999 yılında başlayan 2001 yılında son bulan ve .com balonu olarak da bilinen balondan zararla çıktı ve kapanmak zorunda kaldı.
2000 yılında Google'ın arama motoru popülerlik kazanmaya başladı. PageRank adı verilen algoritma sayesinde Google, çok daha verimli arama sonuçları görüntüleyebiliyordu. Bu algoritma, her bir web sitesine, diğer web sitelerinden aldıkları bağlantıların sayısı ile doğru orantılı olarak 1 ile 10 arasında bir puan veriyordu. Şirket, kaliteli web sitelerinin diğer sitelerden çok daha fazla bağlantı aldığını, dolayısıyla bu web sitelerinin arama motoru sonuç sayfalarında üst sıralarda yer almasını benimsedi. Google ayrıca arama motorunun tasarımını daima sade tuttu. Rakipleri ise, arama motoru özelliğini web portalının içerisine gömmeyi tercih ettiler. Google arama motoru o kadar popüler oldu ki Google tabanlı pek çok arama motoru da kullanılmaya başlandı.
2000 yılına kadar Yahoo!, Inktomi'nin arama motoru tabanlı arama hizmetlerini sitesinde sunuyordu. Yahoo!, 2002 yılında Inktomi'yi ve 2003 yılında Overture'yi (AlltheWeb ve AltaVista'nın sahibi) satın aldı. Yahoo!, 2004 yılına kadar Google'ın arama motorunu kullandı ancak aynı yıl, daha önce gerçekleştirdiği satın almalar sayesinde elde ettiği teknolojiler ile oluşturulmuş arama motorunu kullanmaya başladı.
Microsoft, kendisine ait olan MSN Search hizmetini 1998 yılının sonbahar aylarında duyurdu. 1999 yılında site, Looksmart'ın yanı sıra Inktomi'den de aldığı sonuçları birlikte gösterdi. Site, aynı yıl kısa bir süreliğine AltaVista'dan aldığı sonuçları gösteridi. 2004 yılında ise Microsoft, kendi web toplayıcısı olan ve msnbot adı verilen bir web robotu sayesinde geliştirdiği arama teknolojisini kullanmaya başladı.
Microsoft'un Bing markasındaki arama motoru ise 1 Haziran 2009 yılında duyuruldu. 29 Temmuz 2009'da Yahoo! ile Microsoft arasında imzalanan bir anlaşma sonucunda Yahoo!, arama hizmetinde Microsoft Bing teknolojisi ile hazırlanan bir sistemi kullanmaya başladı.