由於Archie深受歡迎，受其啟發，Nevada System Computing Services大學於1993年開發了壹個Gopher（Gopher FAQ）搜索工具Veronica（Veronica FAQ）。Jughead是後來另壹個Gopher搜索工具。
由於專門用於檢索信息的Robot程序象蜘蛛(spider)壹樣在網絡間爬來爬去，因此，搜索引擎的Robot程序被稱為spider(Spider FAQ)程序。世界上第壹個Spider程序，是MIT Matthew Gray的World wide Web Wanderer，用於追蹤互聯網發展規模。剛開始它只用來統計互聯網上的服務器數量，後來則發展為也能夠捕獲網址（URL）。
與Wanderer相對應，1993年10月Martijn Koster創建了ALIWEB（Martijn Koster Annouces the Availability of Aliweb），它相當於Archie的HTTP版本。ALIWEB不使用網絡搜尋Robot，如果網站主管們希望自己的網頁被ALIWEB收錄，需要自己提交每壹個網頁的簡介索引信息，類似於後來大家熟知的Yahoo。
1993年底，壹些基於此原理的搜索引擎開始紛紛湧現，其中最負盛名的三個是：Scotland的JumpStation、Colorado 大學Oliver McBryan的The World Wide Web Worm（First Mention of McBryan’s World Wide Web Worm）、NASA的Repository-Based Software Engineering (RBSE) spider。
1993年2月，6個Stanford（斯坦福）大學生的想法是分析字詞關系，以對互聯網上的大量信息作更有效的檢索。這就是Excite。後來曾以概念搜索聞名，2002年5月，被Infospace收購的Excite停止自己的搜索引擎，改用元搜索引擎Dogpile
1994年1月，第壹個既可搜索又可瀏覽的分類目錄EINet Galaxy（Tradewave Galaxy）上線。除了網站搜索，它還支持Gopher和Telnet搜索。
1994年4月，Stanford兩名博士生，美籍華人Jerry Yang（楊致遠）和David Filo***同創辦了Yahoo。隨著訪問量和收錄鏈接數的增長，Yahoo目錄開始支持簡單的數據庫搜索。因為Yahoo!的數據是手工輸入的，所以不能真正被歸為搜索引擎，事實上只是壹個可搜索的目錄。搜索效率明顯提高。（Yahoo以後陸續使用Altavista、Inktomi、Google提供搜索引擎服務）
1994年初，Washington大學CS學生Brian Pinkerton開始了他的小項目WebCrawler（Brian Pinkerton Announces the Availability of Webcrawler）。1994年4月20日，WebCrawler正式亮相時僅包含來自6000個服務器的內容。WebCrawler是互聯網上第壹個支持搜索文件全部文字的全文搜索引擎，在它之前，用戶只能通過URL和摘要搜索，摘要壹般來自人工評論或程序自動取正文的前100個字。（後來webcrawler陸續被AOL和Excite收購，現在和excite壹樣改用元搜索引擎Dogpile）
Lycos（Carnegie Mellon University Center for Machine Translation Announces Lycos ）是搜索引擎史上又壹個重要的進步。Carnegie Mellon University的Michael Mauldin將John Leavitt的spider程序接入到其索引程序中，創建了Lycos。1994年7月20日，數據量為54,000的Lycos正式發布。除了相關性排序外，Lycos還提供了前綴匹配和字符相近限制，Lycos第壹個在搜索結果中使用了網頁自動摘要，而最大的優勢還是它遠勝過其它搜索引擎的數據量：1994年8月－－394,000 documents；1995年1月－－1.5 million documents；1996年11月－－over 60 million documents。（註：1999年4月，Lycos停止自己的Spider，改由Fast提供搜索引擎服務）
Infoseek（Steve Kirsch Announces Free Demos Of the Infoseek Search Engine）是另壹個重要的搜索引擎，雖然公司聲稱1994年1月已創立，但直到年底它的搜索引擎才與公眾見面。起初，Infoseek只是壹個不起眼的搜索引擎，它沿襲Yahoo!和Lycos的概念，並沒有什麽獨特的革新。但是它的發展史和後來受到的眾口稱贊證明，起初第壹個登臺並不總是很重要。Infoseek友善的用戶界面、大量附加服務（such as UPS tracking, News, a directory, and the like) 使它聲望日隆。而1995年12月與Netscape的戰略性協議，使它成為壹個強勢搜索引擎：當用戶點擊Netscape瀏覽器上的搜索按鈕時，彈出Infoseek的搜索服務，而此前由Yahoo!提供該服務。（註：Infoseek後來曾以相關性聞名，2001年2月，Infoseek停止了自己的搜索引擎，開始改用Overture的搜索結果）
1995年，壹種新的搜索引擎形式出現了——元搜索引擎（A Meta Search Engine Roundup）。用戶只需提交壹次搜索請求，由元搜索引擎負責轉換處理後提交給多個預先選定的獨立搜索引擎，並將從各獨立搜索引擎返回的所有查詢結果，集中起來處理後再返回給用戶。第壹個元搜索引擎，是Washington大學碩士生 Eric Selberg 和 Oren Etzioni 的 Metacrawler。元搜索引擎概念上好聽，但搜索效果始終不理想，所以沒有哪個元搜索引擎有過強勢地位。
DEC的AltaVista(2001年夏季起部分網友需通過p-roxy訪問，無p-roxy可用qbseach單選altavista搜索，只能顯示第壹頁搜索結果)是壹個遲到者，1995年12月才登場亮相（AltaVista Public Beta Press Release ）。但是，大量的創新功能使它迅速到達當時搜索引擎的頂峰。Altavista最突出的優勢是它的速度（搜索引擎9238：比較搞笑，設計altavista的目的，據說只是為了展示DEC Alpha芯片的強大運算能力）。 而Altavista的另壹些新功能，則永遠改變了搜索引擎的定義。AltaVista是第壹個支持自然語言搜索的搜索引擎，AltaVista是第壹個實現高級搜索語法的搜索引擎（如AND, OR, NOT等)。用戶可以用AltaVista搜索Newsgroups（新聞組）的內容並從互聯網上獲得文章，還可以搜索圖片名稱中的文字、搜索Titles、搜索Java applets、搜索ActiveX objects。AltaVista也聲稱是第壹個支持用戶自己向網頁索引庫提交或刪除URL的搜索引擎，並能在24小時內上線。AltaVista最有趣的新功能之壹，是搜索有鏈接指向某個URL的所有網站。在面向用戶的界面上，AltaVista也作了大量革新。它在搜索框區域下放了“tips”以幫助用戶更好的表達搜索式，這些小tip經常更新，這樣，在搜索過幾次以後，用戶會看到很多他們可能從來不知道的的有趣功能。這系列功能，逐漸被其它搜索引擎廣泛采用。1997年，AltaVista發布了壹個圖形演示系統LiveTopics，幫助用戶從成千上萬的搜索結果中找到想要的。
然後到來的是HotBot。1995年9月26日，加州伯克利分校CS助教Eric Brewer、博士生Paul Gauthier創立了Inktomi（UC Berkeley Announces Inktomi），1996年5月20日，Inktomi公司成立，強大的HotBot出現在世人面前。聲稱每天能抓取索引1千萬頁以上，所以有遠超過其它搜索引擎的新內容。HotBot也大量運用cookie儲存用戶的個人搜索喜好設置。（Hotbot曾是隨後幾年最受歡迎的搜索引擎之壹，後被Lycos收購）
Northernlight 公司於1995年9月成立於馬薩諸塞州劍橋，1997年8月，Northernlight搜索引擎正式現身。它曾是擁有最大數據庫的搜索引擎之壹，它沒有Stop Words，它有出色的Current News、7,100多出版物組成的Special Collection、良好的高級搜索語法，第壹個支持對搜索結果進行簡單的自動分類。（2002年1月16日，Northernlight公***搜索引擎關閉，隨後被divine收購，但在Nlresearch，選中"World Wide Web only"，仍可使用Northernlight搜索引擎）