搜索引擎每天處理著數(shù)以億計(jì)的查詢請(qǐng)求，每個(gè)查詢請(qǐng)求都代表了一個(gè)用戶對(duì)于某種資源的特定需求。多數(shù)時(shí)候，通過查詢返回的網(wǎng)頁結(jié)果，這些需求被滿足 了，我們可以認(rèn)為結(jié)果中的某些頁面對(duì)特定用戶的特定需求產(chǎn)生了價(jià)值。那么對(duì)于搜索引擎而言，頁面的價(jià)值是指什么，我們?yōu)槭裁匆芯宽撁鎯r(jià)值，技術(shù)上怎樣判 斷頁面的價(jià)值呢？本文將逐一回答這些問題。
 

 

　　一、什么是頁面價(jià)值

 

　　前面我們說了，某個(gè)頁面滿足了某一用戶的特定需求，就體現(xiàn)了這個(gè)頁面對(duì)用戶的價(jià)值。那么對(duì)搜索引擎而言，價(jià)值體現(xiàn)在哪些方面呢？一個(gè)簡(jiǎn)單的推論，所有可能會(huì)對(duì)用戶產(chǎn)生價(jià)值的頁面都是對(duì)搜索引擎有價(jià)值的，將這些頁面建入搜索引擎的索引中能夠滿足終檢索到它們用戶的需求，我們稱這種價(jià)值為檢索價(jià)值。只要是能解決某個(gè)用戶信息需求的，并且是可以通過某些正常檢索需求到達(dá)的，那么就是有檢索價(jià)值的。

 

　　小學(xué)生張三喜歡在qzone上寫日記，寫他前天吃了什么，今天玩了什么。這些內(nèi)容，是有價(jià)值的。它們對(duì)張三的家長、同學(xué)、老師，以及其他小學(xué)生，和對(duì)小學(xué)生日記感興趣的人來說，都是有價(jià)值的。對(duì)于這個(gè)信息體來說，“張三”這個(gè)名字是檢索的“key”。

 

　　有一些信息單元，只有“瀏覽”價(jià)值，而沒有到達(dá)該信息的檢索途徑，那么該資源可能是有價(jià)值的，但檢索價(jià)值就很低。比如一張百度大廈附近的地圖，從瀏 覽角度，是有價(jià)值的；但是如果沒有任何周邊文字說明（或者link的anchor text），只有一張光禿禿的地圖，就沒有檢索價(jià)值。

 

　　當(dāng)然，如果圖片的內(nèi)容識(shí)別技術(shù)，有朝一日能自動(dòng)識(shí)別出這個(gè)是“百度大廈附近地圖”，或者能夠自動(dòng)分析 出地圖內(nèi)的各種大廈、街道、餐館等的名稱，那么這張圖一樣變得有檢索價(jià)值了。所以一個(gè)頁面是否有檢索價(jià)值，應(yīng)該取決于兩點(diǎn)：

 

　　1）是否能解決某個(gè)特定的需求（價(jià)值）

 

　　2）是否可以通過某個(gè)常規(guī)的搜索方式獲得該信息（檢索）

 

　　那么，沒有檢索價(jià)值的頁面，是否對(duì)搜索引擎就沒有價(jià)值了呢？仔細(xì)想想，答案是否定的。索引只是搜索引擎的一個(gè)環(huán)節(jié)，對(duì)于其他環(huán)節(jié)而言，沒有檢索價(jià)值的頁面有可能對(duì)我們更好的收錄那些檢索價(jià)值高的頁面有幫助。比如對(duì)負(fù)責(zé)抓取互聯(lián)網(wǎng)資源的spider而言，有一些頁面，本身沒有檢索價(jià)值，但通過這些頁面 的抓取和分析，能夠更快的幫助我們掌握這一類頁面沒有檢索價(jià)值這一重要信息，從而節(jié)省更多的流量進(jìn)行更加有效的抓取。

 

　　考慮到這種價(jià)值可以算作一種“間接的”檢索價(jià)值，終還是立足于索引價(jià)值的，在本文中就不再展開論述，我們只關(guān)注“檢索價(jià)值”這一根本問題。下文中提到的“頁面價(jià)值”特指頁面的“檢索價(jià)值”。

 

　　二、為什么要研究頁面價(jià)值

 

　　首先，互聯(lián)網(wǎng)上的頁面是無窮盡的，而搜索引擎的硬件資源是有限的，想用有限的資源去覆蓋無窮盡的互聯(lián)網(wǎng)，我們就需要對(duì)頁面價(jià)值做出判斷，不收錄那些無檢索價(jià)值的頁面，少收錄那些檢索價(jià)值低的頁面。這是頁面價(jià)值在收錄控制方面的應(yīng)用。

 

　　第二，搜索引擎spider的抓取能力是有限的，出于訪問友好性的考慮，對(duì)于一個(gè)網(wǎng)站或一個(gè)IP抓取速率需要有一個(gè)抓取速率的上限。在這一限制下， 抓取或頁面更新就需要有一個(gè)先后順序，而這一排序的主要參考依據(jù)就是頁面價(jià)值，或者說對(duì)頁面價(jià)值的預(yù)測(cè)（未抓取時(shí)）。這是頁面價(jià)值在spider調(diào)度方面 的應(yīng)用。

 

　　第三，對(duì)于某些頁面，頁面內(nèi)容發(fā)生變化，導(dǎo)致它的檢索價(jià)值從有到無，典型的就是變?yōu)?ldquo;死鏈”，或者“被黑”。對(duì)于這些頁面，好的搜索引擎會(huì)在第一時(shí) 間將其排除出索引，或在檢索時(shí)對(duì)其進(jìn)行屏蔽，以保證返回給用戶的結(jié)果是更多檢索價(jià)值高的“好頁面”。對(duì)于另一些頁面，它不僅具有很高的檢索價(jià)值，而且有很 強(qiáng)的“時(shí)效性”，能夠第一時(shí)間讓用戶檢索到這些頁面對(duì)搜索體驗(yàn)有很大的提升。對(duì)搜索引擎而言，越快的收錄和索引頁面意味著越多的額外資源開銷，以多快的速 度收錄和以多短的周期更新索引，需要通過頁面價(jià)值的分析來指導(dǎo)。這兩方面是頁面價(jià)值在死鏈率和時(shí)效性兩大搜索引擎指標(biāo)提升上的應(yīng)用。

 

　　后，普遍意義上的頁面價(jià)值高低對(duì)搜索引擎返回給用戶的結(jié)果排序上也存在著指導(dǎo)意義。理想情況下搜索引擎的結(jié)果是按照與查詢請(qǐng)求的相關(guān)性進(jìn)行排序的，在相關(guān)性大體相當(dāng)?shù)那闆r下，用戶更傾向與瀏覽普遍意義上頁面價(jià)值高的網(wǎng)頁。這是頁面價(jià)值在ranking方面的應(yīng)用。

 

　　可以說，頁面檢索價(jià)值的研究是搜索引擎中的一項(xiàng)較為基礎(chǔ)的工作，對(duì)頁面價(jià)值的認(rèn)識(shí)和判斷的準(zhǔn)確程度直接影響著搜索引擎的覆蓋率、死鏈率、時(shí)效性等幾大主要指標(biāo)。

 

　　三、如何判斷頁面價(jià)值

 

　　前文中提到過一個(gè)小學(xué)生張三qzone日記的例子。我們認(rèn)為這個(gè)頁面是有價(jià)值的，對(duì)張三的同學(xué)，朋友，家人都有價(jià)值。與此類似的，百度CEO李彥宏 在i貼吧上發(fā)表一條十幾個(gè)字的i貼，也是有價(jià)值的，對(duì)李彥宏的上千萬粉絲都有價(jià)值。雖然李彥宏的i貼長度可能遠(yuǎn)小于張三的日記，但就這兩個(gè)頁面的價(jià)值來 說，我們都會(huì)有一個(gè)共同的認(rèn)識(shí)，即從普遍意義上講，李彥宏的i貼價(jià)值遠(yuǎn)大于張三的日記。（當(dāng)然，對(duì)于張三的媽媽來說很可能這個(gè)價(jià)值的關(guān)系是相反的）

 

　　再舉個(gè)例子，搜索某個(gè)人的手機(jī)號(hào)碼，搜索引擎返回了一個(gè)結(jié)果，是這個(gè)人在某個(gè)論壇上的一個(gè)回復(fù)。雖然這個(gè)手機(jī)號(hào)碼關(guān)心的人不多，但因?yàn)橘Y源是絕對(duì)稀缺的，對(duì)于關(guān)心這個(gè)手機(jī)號(hào)碼的查詢需求，這個(gè)頁面是完全不可替代的，因此具有極高的價(jià)值。

 

　　另外，頁面檢索價(jià)值，還受到頁面質(zhì)量的影響。相似的頁面，對(duì)于滿足用戶需求來說，往往會(huì)有很大差異，比如資源下載速度，頁面的布局，廣告的多寡。這類差異，姑且稱之為頁面質(zhì)量。

 

　　后，有些頁面具有明顯的公眾話題性質(zhì)，且這些資源往往在剛剛產(chǎn)生時(shí)有非常高的關(guān)注度，隨著時(shí)間的推移熱度顯著下降，有著“新聞”的特征。典型的像各種“門”事件，地震、火災(zāi)等大型的自然災(zāi)害。我們認(rèn)為這類資源具有“時(shí)效性”特征。

 

　　所以，一個(gè)頁面的檢索價(jià)值，大致受以下四個(gè)要素的影響：

 

　　1、感興趣的受眾群大小

 

　　2、該頁面的稀缺程度（可替代性）

 

　　3、該頁面的質(zhì)量高低

 

　　4、該頁面的時(shí)效性特征強(qiáng)弱

 

　　這四種要素，簡(jiǎn)稱受眾，稀缺，質(zhì)量和時(shí)效性。

 

　　1. 受眾

 

　　受眾群體的大小，即代表了用戶檢索需求的大小。評(píng)價(jià)受眾的大小主要依據(jù)信息發(fā)布源的受眾和信息內(nèi)容本身受眾兩大方面。具體因素包括且不限于：

 

　　網(wǎng)站忠實(shí)用戶群大小

 

　　一般來說，擁有自己忠實(shí)用戶群的知名網(wǎng)站，他們的成功，在于他們的內(nèi)容和服務(wù)，比別人更能吸引和滿足用戶。從這個(gè)角度來說，我們可以推論，擁有更多 忠實(shí)用戶群的網(wǎng)站上的內(nèi)容，會(huì)比忠實(shí)用戶群較少的網(wǎng)站上的內(nèi)容，有更多的既有和潛在受眾群。這樣的話，忠實(shí)用戶群大小，就可以變成對(duì)站點(diǎn)內(nèi)資源檢索價(jià)值的 一種衡量指標(biāo)。忠實(shí)用戶群的好處在于，它是變動(dòng)的。如果一個(gè)網(wǎng)站變差了，那么用戶就會(huì)用腳投票。超鏈有過期問題，作弊問題，而虛假用戶群作弊很難。一般所 謂的網(wǎng)站知名度，會(huì)和忠實(shí)用戶群數(shù)量密切相關(guān)。

 

　　資源分布規(guī)律

 

　　我們?cè)倏紤]一個(gè)網(wǎng)站內(nèi)部的資源分布所體現(xiàn)的受眾群大小問題。比如新浪新聞首頁的那些推介內(nèi)容。新浪編輯為什么要推這些內(nèi)容？因?yàn)樗麄冋J(rèn)為這些是用戶 感興趣的。那么從索引價(jià)值角度而言，相當(dāng)于有一個(gè)龐大的編輯團(tuán)隊(duì)，已經(jīng)對(duì)這些內(nèi)容打上了“符合大眾口味”的標(biāo)簽。搜索引擎只需要樂享其成就行了。這樣的 話，資源相對(duì)于某些結(jié)構(gòu)性關(guān)鍵頁面（首頁、頻道頁等）的鏈接深度，也可以成為衡量一個(gè)資源受眾群大小的指標(biāo)了。

 

　　訪問熱門度

 

　　我們?cè)購脑L問熱門度角度來考慮受眾群大小問題。這個(gè)是直接的，當(dāng)然，它需要第三方的工具來獲取關(guān)鍵數(shù)據(jù)。通過這個(gè)途徑，獲取的不應(yīng)僅僅是需要入庫的頁面，還有用戶訪問一個(gè)網(wǎng)站的訪問模式。

 

　　超鏈

 

　　超鏈某種程度上也是受眾群大小的反映。某個(gè)資源的質(zhì)量越高，接觸的受眾群越大，那么獲得正常鏈接的數(shù)量往往也越大。

 

　　內(nèi)容特征

 

　　A：我寫博客：“傳言郭德綱要上春晚了。”

 

　　B：我寫博客：“我今天吃早飯了。”

 

　　同樣的來源，前者的受眾必然高于后者。即：當(dāng)在發(fā)布源相同的情況下，具有公眾屬性的內(nèi)容分值會(huì)更高。

 

　　2. 稀缺

 

　　稀缺主要是描述頁面在互聯(lián)網(wǎng)中的獨(dú)特性。說到稀缺往往會(huì)想到重復(fù)，稀缺是否等同于無重復(fù)，我們應(yīng)該怎樣解讀這一概念呢？可以看一個(gè)例子：

 

　　某人發(fā)表了一篇針對(duì)某新聞事件的原創(chuàng)博客，隨后被新浪轉(zhuǎn)載到了新聞?lì)l道。從描述的內(nèi)容上講，這是一種重復(fù)。但這種重復(fù)僅僅是主體內(nèi)容上的重復(fù)，一方面它的轉(zhuǎn)載帶來了訪問速度、穩(wěn)定性等方面的增益，并且之后的檢索用戶還有可能用“新聞事件+新浪”來檢索此新聞。這可以被稱之為站點(diǎn)增益。另一方面，它在轉(zhuǎn)載過程中可能會(huì)改變頁面的標(biāo)題，而且依托其受眾，在轉(zhuǎn)載頁面上，還有可能出現(xiàn)更多的有價(jià)值評(píng)論和回復(fù)等，還有可能存在指向其它相關(guān)事件的新聞鏈接。這些可以被稱之為內(nèi)容增益。因此即使主題內(nèi)容沒有任何變化，新浪的這次轉(zhuǎn)載也是有價(jià)值的，其稀缺度也是較高的。

 

　　同樣，反過來說，如果轉(zhuǎn)載的網(wǎng)站相當(dāng)不知名，則其無法帶來站點(diǎn)名/穩(wěn)定性/速度的增益。更有甚者，轉(zhuǎn)載之后在頁面上加入大量廣告妨礙閱讀，或者只轉(zhuǎn)載了內(nèi)容中不完整的一部分，這樣的轉(zhuǎn)載，或者說采集，就是純重復(fù)的，與采集源相比，就是沒有檢索價(jià)值的了。

 

　　綜上所述，對(duì)于主體內(nèi)容重復(fù)的頁面，我們應(yīng)該評(píng)價(jià)其是否存在站點(diǎn)增益和內(nèi)容增益，只有對(duì)于大量完全無增益的重復(fù)頁面，我們才應(yīng)該認(rèn)為其稀缺度較低。

 

　　3. 質(zhì)量

 

　　頁面的質(zhì)量是它對(duì)需求的滿足程度的一種體現(xiàn)。判斷頁面質(zhì)量的高低，應(yīng)該是從基礎(chǔ)的需求依次遞進(jìn)的。

 

　　首先，不能是死鏈、網(wǎng)站要有一定的穩(wěn)定性、訪問速度要令人滿意。

 

　　其次，主體內(nèi)容是否完整、版式和字體是否易讀、各類廣告會(huì)不會(huì)太多。

 

　　后，信息是否豐富、延伸出的次級(jí)需求是否滿足。

 

　　典型的低質(zhì)量頁面存在以下一些特征：

 

　　1、主需求無效/未滿足（過期分類廣告/軟件下載頁面，下載鏈接無效等）

 

　　2、死鏈

 

　　3、虛假信息/詐騙等

 

　　4、點(diǎn)不穩(wěn)定

 

　　5、影響主需求的權(quán)限問題（下載/瀏覽需要注冊(cè)會(huì)員/積分等）

 

　　6、信息不完整（轉(zhuǎn)載不全等）

 

　　7、瀏覽體驗(yàn)差（廣告/字體/頁面布局等）

 

　　典型的高質(zhì)量頁面存在以下一些特征：

 

　　1、訪問速度快（頁面加載快/資源下載速度快）

 

　　2、頁面整潔干凈，主體內(nèi)容在顯著位置。

 

　　3、頁面信息完整。

 

　　4、頁面元素豐富（文字、圖片、評(píng)論、相關(guān)推薦等）

 

　　4. 時(shí)效性

 

　　“時(shí)效性”是頁面價(jià)值的一個(gè)屬性，它一般體現(xiàn)在兩個(gè)方面：一是頁面所描述的事物本身有著較強(qiáng)的公眾話題性，容易被傳播。這其實(shí)是受眾的一個(gè)體現(xiàn)。二 是頁面所描述的事物僅在第一時(shí)間有較高熱度，隨著時(shí)間推移熱度顯著下降。這是一種“新聞”性。對(duì)于具有上述兩種屬性的頁面，如果搜索引擎spider發(fā)現(xiàn) 頁面的時(shí)間正處于該事物的“爆發(fā)期”或“爆發(fā)期”之前，我們認(rèn)為該頁面具有時(shí)效性。

 

　　需要說明的是，搜索引擎的廣義“時(shí)效性”是指對(duì)所有有價(jià)值新資源的及時(shí)收錄提供檢索，而所有的有價(jià)值新資源中，有一大部分其收錄速度的提升對(duì)用戶的 搜索體驗(yàn)改善意義是不大的，比如介紹如何瘦身的知識(shí)性文章，張三的日記。頁面價(jià)值中的“時(shí)效性”指得是一種突發(fā)時(shí)效性，也就是所有有價(jià)值頁面中需要及時(shí) 收錄的那些。對(duì)頁面時(shí)效性的判斷是為了指導(dǎo)我們將搜索引擎有限的資源投入到關(guān)鍵的地方，產(chǎn)生好的性價(jià)比。

 

　　判斷頁面的時(shí)效性價(jià)值，主要通過下面一些途徑：

 

　　頁面本身受眾是否有短時(shí)間的突增，比如超鏈爆發(fā)。賈君鵬的帖子就是一個(gè)典型的例子。

 

　　描述相同事物的互聯(lián)網(wǎng)頁面是否有段時(shí)間的突增。賈君鵬事件短時(shí)間內(nèi)爆發(fā)出大量相關(guān)討論、報(bào)道，和這一事件相關(guān)的所有內(nèi)容都具有了時(shí)效性屬性。

 

　　根據(jù)一個(gè)集合內(nèi)的頁面是否具有上述兩種特征，推測(cè)該集合的時(shí)效性價(jià)值。比如魔獸世界吧經(jīng)常爆出一些熱門帖子，公眾話題，我們推測(cè)出自魔獸世界吧的帖子其時(shí)效性“潛在價(jià)值”比較高。

 

　　四、頁面價(jià)值的研究重點(diǎn)

 

　　前文已經(jīng)介紹了頁面價(jià)值的含義，研究的意義與價(jià)值判斷的方法。后我們?cè)倏匆幌?，從技術(shù)角度上，這一方向的研究中的重點(diǎn)方向。對(duì)頁面價(jià)值的研究工作主要致力于三方面：

 

　　1、對(duì)頁面價(jià)值體系的認(rèn)識(shí)。我們目前對(duì)頁面價(jià)值的認(rèn)識(shí)是來源于前文所述的四個(gè)維度，這個(gè)認(rèn)識(shí)是否全面，對(duì)于不斷變化的互聯(lián)網(wǎng)環(huán)境與用戶需求，這些維度應(yīng)該如何擴(kuò)展與變化才能更好的服務(wù)于整體的搜索體驗(yàn)提升，是一個(gè)很重要問題。

 

　　2、對(duì)于反映頁面價(jià)值的頁面特征提取。巧婦難為無米之炊，挖掘更多的頁面特征，更準(zhǔn)確合理的特征提取是頁面價(jià)值判定準(zhǔn)確率提升的基礎(chǔ)。

 

　　3、對(duì)各種頁面特征的組合策略（機(jī)器學(xué)習(xí)）。針對(duì)不用的應(yīng)用方向，需要利用相應(yīng)的特征通過合理且高效的策略擬合出頁面價(jià)值的終評(píng)價(jià)結(jié)果。