SEO網路優化與技術發展的關係

與技術發展的關係

對搜索引擎技術發展史做了歸納整理，對照本節提到的搜索引擎3個核心問題，可以看到不同歷史發展階段技術的不同側重點，以及搜索引擎技術螺旋式上升的發展趨勢，如圖1-1所示。

圖1-1不同發展時期的核心問題

對於分類目錄式搜索引擎，其重點關注的是信息的可信賴性，因為分類目錄內收錄的網站經過人工精心篩選，所以具有很強的可信賴性，但是對於用戶需求和相關性是不做考慮的，完全靠用戶自由瀏覽來確定。

對於第一代文本檢索式搜索引擎，其重點關注的是查詢關鍵詞和網頁內容的相關性。這種搜索方式假定用戶輸入的查詢關鍵詞就是用戶的真實需求，很明顯這種假設很難成立。另外，這種搜索方式對於信息的可信度也未做任何識別。

第二代搜索引擎引入鏈接分析技術，鏈接關係代表了一種推薦含義，而獲得越多推薦的網頁其鏈接分析得分越高，這其實是一種對網頁可信度的度量標準。同時，第二代搜索引擎也利用了文本檢索模型，來計算查詢和網頁內容的相關性。所以第二代搜索引擎是綜合考慮了信息的相關性和可信性的，但是同樣沒有對用戶需求做關注。

第三代搜索引擎的重點則是用戶的真實需求，其他方面則兼顧了第二代搜索引擎的優點，即第三代搜索引擎同時考慮了3個核心問題。

搜索引擎的技術架構

作為互聯網應用中最具技術含量的應用之一，優秀的搜索引擎需要複雜的架構和演算法，以此來支撐對海量數據的獲取、存儲，以及對用戶查詢的快速而準確地響應。本節主要從宏觀上介紹搜索引擎的整體架構和各個組成模塊的功能。

從架構層面，搜索引擎需要能夠對以百億計的海量網頁進行獲取、存儲、處理的能力，同時要保證搜索結果的質量。如何獲取、存儲並計算如此海量的數據？如何快速響應用戶的查詢？如何使得搜索結果能夠滿足用戶的信息需求？這些都是搜
索引擎面對的技術挑戰。

圖1-2是一個通用的搜索引擎架構示意圖。搜索引擎由很多技術模塊構成，各自負責整體功能的一部分，相互配合形成了完善的整體架構。

圖1-2搜索引擎架構

搜索引擎的信息源來自於互聯網網頁，通過網路爬蟲將整個互聯網的信息獲取到本地，因為互聯網頁面中有相當大比例的內容是完全相同或者近似重複的，「網頁去重」模塊會對此做出檢測，並去除重複內容。

在此之後，搜索引擎會對網頁進行解析，抽取出網頁主體內容，以及頁面中包含的指向其他頁面的鏈接。為了加快響應用戶查詢的速度，網頁內容通過「倒排索引」這種高效查詢數據結構來保存，而網頁之間的鏈接關係也會予以保存。之所以要保存鏈接關係，是因為這種關係在網頁相關性排序階段是可利用的，通過「鏈接分析」可以判斷頁面的相對重要性，對於為用戶提供準確的搜索結果幫助很大。

由於網頁數量太多，搜索引擎不僅需要保存網頁原始信息，還要存儲一些中間的處理結果，使用單台或者少量的機器明顯是不現實的。Google等商業搜索引擎為此開發了一整套雲存儲與雲計算平台，使用數以萬計的普通PC搭建了海量信息
的可靠存儲與計算架構，以此作為搜索引擎及其相關應用的基礎支撐。優秀的雲存儲與雲計算平台已經成為大型商業搜索引擎的核心競爭力。

上面所述是搜索引擎如何獲取並存儲海量的網頁相關信息，這些功能因為不需要實時計算，所以可以被看做是搜索引擎的後台計算系統。搜索引擎的最重要目的是為用戶提供準確全面的搜索結果，如何響應用戶查詢並實時地提供準確結果構成了搜索引擎前台計算系統。

當搜索引擎接收到用戶的查詢詞后，首先需要對查詢詞進行分析，希望能夠結合查詢詞和用戶信息來正確推導用戶的真正搜索意圖。在此之後，首先在緩存中查找，搜索引擎的緩存系統存儲了不同的查詢意圖對應的搜索結果，如果能夠在緩存系統找到滿足用戶需求的信息，則可以直接將搜索結果返回給用戶，這樣既省掉了重複計算對資源的消耗，又加快了響應速度；如果保存在緩存的信息無法滿足用戶需求，搜索引擎需要調用「網頁排序」模塊功能，根據用戶的查詢實時計算哪些網
頁是滿足用戶信息需求的，並排序輸出作為搜索結果。而網頁排序最重要的兩個參考因素中，一個是內容相似性因素，即哪些網頁是和用戶查詢密切相關的；另外一個是網頁重要性因素，即哪些網頁是質量較好或者相對重要的，這點往往可以從鏈接分析的結果獲得。結合以上兩個考慮因素，就可以對網頁進行排序，作為用戶查詢的搜索結果。

除了上述的子功能模塊，搜索引擎的「反作弊」模塊成為日益重要的功能。搜索引擎作為互聯網用戶的上網入口，對於網路流量的引導與分流至關重要，甚至可以說起了決定性的作用。於是，各種「作弊」方式逐漸流行，通過各種手段將網頁的搜索排名提高到與其網頁質量不相稱的位置，這會嚴重影響用戶的搜索體驗。所以，如何自動發現作弊網頁並對其處罰，成為搜索引擎非常重要的組成部分。