前段時間，豆瓣因為電視劇“超前點評”的現(xiàn)象再次受到公眾關(guān)注。豆瓣也非常快速地進行了回應(yīng)，在官方微博公布了某電視劇疑似控評的處置結(jié)果：共清理五星評分12366條，一星評分6610條。

豆瓣評分的科學(xué)性和公允性一直以來備受關(guān)注。2015年，阿北曾發(fā)長文《豆瓣電影評分八問》解釋了豆瓣評分原則，文中也特意提及，“豆瓣水軍是有的，但是很難刷動，因為正常打分的觀眾實在太多了。”

事實上，評價與評分系統(tǒng)是一套邏輯嚴(yán)密的運轉(zhuǎn)體系，首先做的是將“無法量化”的體驗感受通過量化方式來呈現(xiàn)，將用戶評價數(shù)據(jù)化和可視化，直觀給到其他用戶做決策參考。在這過程中，還涉及多種影響，比如開頭提到“水軍控評”等雜音，依賴反作弊機制的對抗與治理，由此構(gòu)成了一個初步的評價評分運轉(zhuǎn)框架。

借此，運營社盤點了國內(nèi)外幾個著名的評價評分系統(tǒng)，看看這些系統(tǒng)都是如何運轉(zhuǎn)，對用戶的價值又如何，又是如何保障公允性和科學(xué)性。

一、互聯(lián)網(wǎng)評分系統(tǒng)是如何運轉(zhuǎn)的？

為了深扒一下各平臺的評分系統(tǒng)，運營社選擇了來自國內(nèi)外、不同領(lǐng)域的產(chǎn)品所攜帶的評分機制進行分析。它們分別是：影視評價領(lǐng)域的豆瓣和爛番茄、游戲領(lǐng)域的STEAM、電子商務(wù)平臺亞馬遜和所屬生活服務(wù)領(lǐng)域的大眾點評。

1、豆瓣

豆瓣電影做評分系統(tǒng)的主旨和原則是，“盡力還原大眾對一部電影的「平均看法」”。為了實現(xiàn)這個目標(biāo)，豆瓣的評分系統(tǒng)主要有以下三個特點：首先，豆瓣的評分機制是五星制。五星制是目前市場上大部分評分系統(tǒng)都使用的機制，它保證了用戶在評分時，不會因為選項太多而無從下手，也不會因為選項太少而無法準(zhǔn)確表達。

其次，豆瓣的評分計算方式是「算平均值」。豆瓣的創(chuàng)始人兼CEO@阿北曾對此做過詳細(xì)的解釋：如果一部電影42萬用戶打分，豆瓣的打分程序會自動將這 42萬個“一到五星”兌換成“零到十分”，將其加起來除以42萬，就得到了豆瓣評分。

值得注意的是，在這個評分過程中沒有人工審核，也沒有編輯干預(yù)。每過若干分鐘，程序會自動重跑一遍，把最新打分的人的意見包括進來。這樣一來，在豆瓣，每一個人都會影響整體評分。所以，豆瓣也被稱為「大眾評審團」。但是，由于用戶可以修改自己給過的評分，因此評分回升或者評分驟降等“異常行為”也時有發(fā)生。

最后，豆瓣還有一套抵擋水軍的「防御機制」。這套「防御機制」的具體動作主要體現(xiàn)在兩個方面：一方面，豆瓣會自動識別并剔除「非正常打分」，所謂「非正常打分」包括營銷刷分、明星粉絲刷分以及「豆瓣鐵桿用戶為“捍衛(wèi)評分公正”進行的刷分」。以上這些刷分行為，一旦被豆瓣識別，其評分將會被剔除統(tǒng)計，其賬號也會被系統(tǒng)凍結(jié)。另一方面，豆瓣采用「算法+人工」的方式剔除與影片無關(guān)，甚至涉及人身攻擊的內(nèi)容：”反刷分早已經(jīng)是豆瓣電影日常工作的一部分，不少同事借助更多的程序一直默默在做。“

通過以上三點，豆瓣電影在算法優(yōu)化中堅持評分中立原則，保障了整套系統(tǒng)獨立、健康運轉(zhuǎn)，也使得豆瓣目前仍然是中國互聯(lián)網(wǎng)書影音領(lǐng)域中具有公信力和參考價值的平臺，以客觀性影響著用戶的觀影選擇。

2、爛番茄

爛番茄（ROTTEN TOMATOES）是美國一個影視評分網(wǎng)站，其在美國的影響力，相當(dāng)于國內(nèi)的豆瓣。但是，其「評價機制」卻和國內(nèi)的豆瓣大不相同。 首先，爛番茄衡量作品優(yōu)劣，不是像豆瓣那樣打分，而是通過“番茄的新鮮指數(shù)”表現(xiàn)。用戶的評價選項只有兩個，要么是鮮紅的番茄（fresh），要么是腐爛的綠番茄（rotten）。平臺會根據(jù)用戶的好評率，決定“番茄的新鮮指數(shù)”，也就是作品是否優(yōu)秀。

“爛(Rotten)”，意味著這部影片好評率低于60%；
“新鮮(Fresh)”，意味著這部影片有60-100%的好評；
“絕對新鮮（Certified fresh）”，意味著這部影片有80條以上的評分，且其中的70%及以上是好評，且5個或以上評論來自頂級影評人。

其次，爛番茄對影評人有嚴(yán)格的身份限制。

為了保證影片評價的專業(yè)性，爛番茄的打分權(quán)只控制在3000個左右專業(yè)影評人（被官方認(rèn)證的影評人或機構(gòu)）手中。普通用戶，則只能通過打分影響一部影片的“爆米花值”Audience Score（下圖爆米花旁邊的分?jǐn)?shù)）。

雖然這套體系在盡量照顧評論人數(shù)和專業(yè)影評質(zhì)量的協(xié)調(diào)性，但是過于極端的評價機制也引起了不小的爭論。很多專業(yè)影評人表示，單調(diào)的“新鮮”和“不新鮮”只能代表第一觀感，但是很難體現(xiàn)他們對影片更為細(xì)膩的評審。于是，爛番茄推出了0-10分制的打分機制（平均分）。這樣一來，用戶在查閱“番茄新鮮指數(shù)”的同時，也能參考平均分得到更為細(xì)膩的質(zhì)量分析。不少用戶表示，“新鮮指數(shù)”決定了自己是否會觀看該部電影，但是“最終得分”決定了自己先看哪一部電影。比如《極盜車神》和《敦刻爾克》的爛番茄新鮮指數(shù)差不多，但是《極盜車神》打分只有8分，落后于《敦刻爾克》的8.7分。對用戶而言，孰優(yōu)孰劣一目了然。

3、STEAM

STEAM是一家游戲平臺公司，其評分系統(tǒng)采取的是「兩級制度」，即用戶評分，只有「推薦」和「不推薦」兩個選項。 

這種評分體系雖然簡單，但得出的結(jié)論并非絕對中肯，缺乏中立的評價。一款游戲，不可能十全十美。所以在這種評價機制下，運營社發(fā)現(xiàn)，“推薦評論”中，會有不少“認(rèn)為游戲很多缺點，但值得一試”的評論。

而在“不推薦評論”中，也會有很多“游戲是好游戲，但是別玩”的主觀評論。

同時，STEAM會根據(jù)該游戲下用戶的推薦比例，得出一個「綜合評價」，共分為六種：好評如潮、特別好評、多半好評、褒貶不一、多半差評、差評如潮。

比方說，推薦比率在90%以上，且評論數(shù)達到一定數(shù)量就可以被算為「好評如潮」，以此類推。但實際上，在好評如潮的標(biāo)簽下，很多游戲的質(zhì)量并不統(tǒng)一，有一定程度上的質(zhì)量參差。這些質(zhì)量參差在其他平臺上，打分差異可能會很明顯，但在STEAM上，便被“一視同仁”了起來。所以，STEAM評分一般有失公允，很難作為游戲好壞的客觀評價，只能代表玩家對一款游戲的喜好。而STEAM不修改此機制，主要原因在于它是賣游戲的平臺，而不是評測媒體。STEAM只需要把游戲的最終評價告訴玩家，玩家能從推薦與不推薦的評價中了解到該游戲的優(yōu)劣，從而決策自己的消費即可。用戶不需要感知游戲質(zhì)量的精細(xì)區(qū)別，都是“好評如潮”或“特別好評”，反而能降低用戶的決策門檻，從而促進用戶消費。

4、亞馬遜

亞馬遜這類電商平臺，設(shè)計評分系統(tǒng)的目的和 STEAM 這類游戲公司有些類似，都是在購物平臺上顯示評分，幫助用戶做購物決策，從而促進消費。所以，一套評分系統(tǒng)是否能準(zhǔn)確反映顧客對于商品的真實體驗尤為重要。

亞馬遜的評價管理體系中，有 Feedback 和 Review 兩類評分，兩者相互獨立但又互相影響。

Feedback，是客戶針對購買的訂單做出的評價，也就是評價主體必須客戶購買的產(chǎn)品，主要針對產(chǎn)品品質(zhì)、服務(wù)水平、發(fā)貨時效和貨品描述等維度，影響的是賣家賬號層面以及店鋪ODR指標(biāo)的變化，可以類比淘寶店鋪評分體系。

Review，主要是針對商品的評價和打分，可以翻譯成“留評”，亞馬遜平臺用戶都可以對商品做出評價。

本文討論的主要是 Review，即亞馬遜商品頁的評價評分體系，主要集中在這三個方面：

第一，按照「加權(quán)平均數(shù)」統(tǒng)計方式，計算星級評分。在用戶打分環(huán)節(jié)，亞馬遜也采用了 5 分制打分法，所以不少用戶以為商品最后的星級評分只是簡單地算了一下平均數(shù)。其實不然，根據(jù)亞馬遜官方給出的資料，亞馬遜會給不同用戶的星級評分賦予權(quán)重。

哪些用戶的評分權(quán)重更高，哪些用戶的評分權(quán)重更低呢？亞馬遜設(shè)計了三個維度來評判：首先，購買過該商品的用戶，會比沒有購買過該商品的用戶權(quán)重高；其次，評論時間更久的用戶，會比近期評論的權(quán)重高；最后，評論內(nèi)容豐富詳實的，會比評論簡略的權(quán)重高。通過上述三個維度，亞馬遜給不同用戶的評分賦予了不一樣的權(quán)重，最終得出了加權(quán)平均數(shù)。

第二，打造多種評論（Review）形式。亞馬遜想通過打造多重評論的形式，建立高質(zhì)量的評論區(qū)，幫助用戶做消費決策。在亞馬遜的商品詳情頁，用戶會看到三種不同的商品評論形式：第一種，沒有文字的星級打分，也就是常見的評分分布柱狀圖，方便用戶了解商品評分情況。第二種，是帶有星級打分和文字（及圖片）的買家商品評論，也就是“買家秀”。第三種，則是最為特殊的 Vine 評論，類似“新品 0 元試用評論”，只有參加了亞馬遜的“Vine計劃”的用戶，其評論后面才會出現(xiàn)「Vine」的標(biāo)志。而每個商品最多只能有 30 個 Vine 評論。

第三，為了防止賣家刷分、造假，亞馬遜在設(shè)計完上述評分機制后，還有一套嚴(yán)格的“防作弊系統(tǒng)”。例如，評論有門檻，如果用戶想進行評論，必須在過去 12 個月內(nèi)用有效的信用卡在亞馬遜上消費至少 50 美元。

亞馬遜官方也曾多次表態(tài)對評論違規(guī)行為實行“零容忍”政策，如果發(fā)現(xiàn)發(fā)現(xiàn)賣家有任何試圖操控買家評論的行為，亞馬遜會立即采取措施：立即永久撤銷賣家在亞馬遜上的銷售權(quán)限，包括扣留資金；移除商品的所有評論，并且阻止商品日后收到評論或評級；從亞馬遜永久下架商品；對賣家采取法律行動，包括訴訟和移交民事和刑事執(zhí)法機構(gòu)；公開披露賣家的名稱和其他相關(guān)信息。

可以看出，亞馬遜在評論質(zhì)量內(nèi)容考核方面下了功夫，這個也貼切亞馬遜網(wǎng)站的初衷，為消費者打造高質(zhì)量站內(nèi)評論區(qū)，引領(lǐng)消費者做出正確的消費抉擇。

5、大眾點評

大眾點評是全球最早的獨立第三方消費評價網(wǎng)站，現(xiàn)如今，也是中國消費者在本地生活領(lǐng)域重要的評價參考體系。

作為一個本地生活信息及交易平臺，大眾點評星級評分系統(tǒng)在特定類目已開始試點「10 條精選評價」計算星級。
10 條精選評價：特定類目上架，精選評價達到 10 條后，平臺才開始計算星級。

通過查詢，運營社發(fā)現(xiàn)大眾點評對精選評價也做了嚴(yán)格的審核準(zhǔn)入：
a.通過審核，平臺會對每條評價進行審核，評價發(fā)布時間的次日 24 點前可審核完成，廣告、灌水、重復(fù)、違規(guī)、虛假等內(nèi)容無法通過審核；并且不定期對精選評級進行回掃審核，不符合要求的會取消展示。
b.評價字?jǐn)?shù)不少于 15 字，能夠有效傳遞消費體驗。

與其他平臺的五星制不同，大眾點評上，用戶除了需要對商家做一個總體星級評分，還可以從細(xì)分維度進行打分。以餐飲領(lǐng)域為例，大眾點評設(shè)計的是“口味”、“環(huán)境”和“服務(wù)”三個維度，以更好地還原線下餐飲服務(wù)的全貌。

在評分規(guī)則上，大眾點評商戶星級評分不是簡單的算術(shù)平均，而是綜合近期眾多用戶的“總體評價”，在沒有人工干預(yù)的情況下，完全根據(jù)數(shù)據(jù)模型自動評定而出。特別的是，星級反饋的不是絕對的評分，而是商戶在同類目下的相對水平。在反作弊機制上，大眾點評也建立了相應(yīng)的應(yīng)對機制，采用了「算法+人工」的雙重審核機制。大眾點評會根據(jù)不同的評價場景，定期迭代和優(yōu)化算法，并結(jié)合人工審核監(jiān)督，確保平臺上展示的評價能夠反映用戶真實體驗后的感受。例如，借助風(fēng)控系統(tǒng)，識別和過濾評價內(nèi)容。只有通過「過濾機制」的評價，才會在精選評價頁面展示。這一切，都是為了可以幫助用戶篩選、對比商戶，從多維度匹配到符合消費者要求的商戶。

二、五大系統(tǒng)機制對比分析

通過拆解五個平臺的評分系統(tǒng)，運營社發(fā)現(xiàn)，每個平臺的機制、算法、門檻等都有很大的差異：

接下來，運營社將從「真實性」和「有用性」兩個維度，對各平臺的評分機制進行進一步分析，判斷它們的優(yōu)劣勢。

1、真實性

真實性指的是，評分能否“客觀反映”某個產(chǎn)品或服務(wù)的真實評價。與之對應(yīng)的是，刷量作弊、樣本少、情緒化打分等情況導(dǎo)致的「偽真實評價」。基于這個前提，「評分系統(tǒng)」的真實性主要受以下三個維度影響：

第一，算法：算法越簡單，評分越容易被外部因素（刷評分、情緒化打分）所影響，真實性則越差。比如，如果沒有反作弊機制的輔助，豆瓣的平均值算法很難處理外部因素帶來的影響。假如有大量刷評分的操作出現(xiàn)，評分就會受到較大影響，甚至出現(xiàn)C型評分（如下圖，分?jǐn)?shù)分布兩極化），評分區(qū)受到“粉”和“黑”的強烈沖擊：

（圖源網(wǎng)絡(luò)；在如今反作弊機制下很少出現(xiàn)此類評分）

對比之下，盡管也是依托大眾的評價，算法維度多元的亞馬遜和大眾點評，則有多重機制可以預(yù)防和及時修正打分。

以大眾點評為例，其星級計算邏輯不是簡單計算打分，還會考慮到評價的誠信度（體驗后的真實評價才會納入計算）、時間（近期新提交的評價更重要）、質(zhì)量（評價包含更多真實有用的信息更具有參考性）、數(shù)量（其他因素相同，評價數(shù)相對更多的商戶更有機會獲得高星）。

2021 年 2 月，大眾點評宣布對商戶星級計算規(guī)則進行優(yōu)化。
為使商戶星級更如實、客觀地反映用戶的滿意度，精選評價達到 10 條后才計算星級，同時星級計算將更加注重用戶發(fā)布評價的真實性和對其它用戶的幫助。

比如說，大眾點評的星級也并不是簡單的用戶評價得分，而是反饋的商戶在同類目下的相對水平。再比如說，目前，大眾點評的星級每天會根據(jù)商戶 4 天前新增的評價更新計算，這個時間段預(yù)留的是平臺對評價的審核。

同樣的，亞馬遜在評論質(zhì)量內(nèi)容考核、評論權(quán)重上也下了功夫。所以總的來說，相比于算法單薄的豆瓣和爛番茄，大眾點評和亞馬遜的算法，可以保障評價體系呈現(xiàn)更加真實的情況。

第二，評分門檻：在評分門檻上，門檻越低，則評分越具備真實性。

一般來說，門檻的提高，反而過濾了普通用戶的發(fā)聲機會。這一點可以類比一些選秀綜藝，當(dāng)只有所謂的“專家評委”時，最終評選的結(jié)果對于普通用戶來說，是很難有信服力的。就像爛番茄，普通用戶只能通過“爆米花”來發(fā)表自己的看法，但影響排名的重要因素“爛番茄新鮮指數(shù)”，被掌握在專業(yè)人士手中，而專業(yè)人士的口味在某種意義上講是“有偏差”的。所以，爛番茄相對比其他平臺，評分機制更具備專業(yè)性，但真實性反而有所降低。第三，反作弊機制與力度： 首先需明確的是，任何一個機制的發(fā)展都無法徹底消除作弊因素，這是一個共生共存長期對抗的過程。評分系統(tǒng)的反作弊機制越強、力度越大，供需兩側(cè)違規(guī)行為的處置越強，那評分系統(tǒng)的真實性越高。

目前平臺主要通過兩個維度來實現(xiàn)“反作弊”：一方面是從機制和算法上實現(xiàn)反作弊；另一方面是通過加大對違規(guī)用戶和商戶的處置，來凈化平臺氛圍。在機制和算法層面，爛番茄、STEAM、亞馬遜都是通過“設(shè)置門檻”來實現(xiàn)反作弊，豆瓣則是通過“剔除不正常打分”實現(xiàn)反作弊，而大眾點評通過風(fēng)控系統(tǒng)+人工審核，提前識別和過濾評價內(nèi)容，只有通過過濾機制的評價，才會在精選評價頁面展示。在違規(guī)行為處理層面，豆瓣和爛番茄比較難對“影片”進行處罰，而亞馬遜和大眾點評，則可以直接對好評的受益方——商戶進行處罰，不僅有平臺內(nèi)部的處罰，還有聯(lián)動監(jiān)管部門的打擊。根據(jù)運營社了解，亞馬遜對違規(guī)商家的打擊力度非常大。今年 9 月，亞馬遜方面表示，在過去的 5 個月，亞馬遜關(guān)閉了約 600 個中國品牌的銷售權(quán)限，其中涉及這些品牌的約 3000 個賣家賬號。據(jù)了解，賣家被封主要原因是刷單，違反了亞馬遜政策。

目前國內(nèi)各個部門到互聯(lián)網(wǎng)企業(yè)，對于刷單炒信的態(tài)度也是非常堅決。上周，中央網(wǎng)信辦發(fā)文表示，將在全國范圍內(nèi)開展為期2個月的“清朗·打擊流量造假、黑公關(guān)、網(wǎng)絡(luò)水軍”專項行動。

此前，大眾點評就在加大了對于刷單炒信的治理：對違規(guī)刷評價的商戶進行“星級隱藏”、“排序降權(quán)”、“商戶頁公示”等，違規(guī)用戶也會涉及“等級降級”、“撤銷 VIP”、“禁發(fā)評價、筆記、圖片、視頻等內(nèi)容”等多項處理措施。

據(jù)公開數(shù)據(jù)顯示，2021 年 1-5 月，大眾點評處罰“刷好評”用戶賬號 5 萬個，處罰“刷單”“刷評”商戶 1 萬余家，協(xié)同執(zhí)法機關(guān)打擊 29 個非法刷單網(wǎng)絡(luò)灰黑產(chǎn)團伙。對此，在真實性的維度下，5 大平臺的評分系統(tǒng)評價如下：

2、有用性

在本文開頭提到：評分系統(tǒng)存在的價值是將“隱性”的東西“顯性化”，也就是將用戶評價數(shù)據(jù)化，并可視化，給到其他用戶做參考。所以，評分系統(tǒng)對于用戶是否有用、能否幫助用戶解決問題，是評判系統(tǒng)是否優(yōu)秀的重要因素。運營社將有用性的評判標(biāo)準(zhǔn)也分為三點： 第一點，時效性：在產(chǎn)品或服務(wù)本身會變化的情況下，評分的時效性越強，對用戶越有實質(zhì)性的幫助。 比如，當(dāng)用戶想尋找飯店，但搜索出來的是商家 2 - 3 年前的評分和評論，很可能并不能反映商家現(xiàn)在的水平，這就會給用戶帶來困擾。 相比之下，影片、游戲、商品相對來說是比較穩(wěn)定的，這些產(chǎn)品僅需在上線初期，能夠比較快地更新評分，給用戶足夠的信息即可。 而像本地生活這樣場景，商家服務(wù)和產(chǎn)品的穩(wěn)定性相對難保證，大眾點評及時更新評價就顯得尤為重要。 大眾點評的評分，每天會根據(jù)商戶 4 天前新增的評價更新計算，就更好地保證了評價的時效性。

第二點，榜單：榜單也是評分系統(tǒng)很重要的產(chǎn)品之一，可以快速幫助用戶找到所需要的產(chǎn)品或服務(wù)。例如，豆瓣的 TOP 250 榜單，可以幫助“電影荒”的用戶解決找不到電影看的難題。在榜單層面，可以說是維度越細(xì)，越能滿足用戶“發(fā)現(xiàn)”的需求。大眾點評的「榜單」在這一點上就做得很有用戶思維，不僅吃住玩多個榜單，光“吃”就有菜系劃分、區(qū)域劃分及不同類型榜單的劃分。比如日常想外出吃點特色的，可以看「必吃榜」；對品質(zhì)有要求，可以看「黑珍珠」榜單；單純對口味有追求，可以看「口味榜」等等，全方位滿足用戶需求。

第三點，特殊機制：為了更進一步提升評價的有用性，部分平臺還會推出一些特殊機制。比如，亞馬遜的“是否有幫助機制”，讓用戶對評論進行投票表決“是否有幫助”。如下圖，顧客在閱讀完該評論后，就可以投票表決此評論是否有幫助。最終評論會顯示“覺得有幫助”的人數(shù)，從而增加該評論的可信度。

與之相似的是，STEAM也有相關(guān)功能，通過其他用戶判斷評論是否有價值：

大眾點評的「特殊機制」則有多個方面。比如說，大眾點評除了總體評分，還有“口味”、“環(huán)境”和“服務(wù)”三個維度的評分，用戶可以結(jié)合自己的偏好，做出最優(yōu)選。

再比如說，在精選評價下，平臺會根據(jù)用戶評價提煉不同的標(biāo)簽詞。如此一來，用戶可以選擇自己最關(guān)心的標(biāo)簽進一步查看評論，快速了解關(guān)鍵信息。

綜上，在有用性層面，各大平臺的評分系統(tǒng)情況如下： 

三、結(jié)語

了解完這些評分系統(tǒng)后，不難發(fā)現(xiàn)，做一個既真實又有用的評分系統(tǒng)，是相當(dāng)困難的事情。

評分系統(tǒng)是一個復(fù)雜的工程，背后需要有大量的技術(shù)、風(fēng)控、人力投入，但最核心也是最難得的是保持中立與獨立，這樣才能保障真實、有用的評分結(jié)果，最終用戶才能從中獲益，只種草適合的東西、只看好的電影。

這些冰山下的努力不會被看見，但卻扮演著非常重要的角色。當(dāng)一個評分系統(tǒng)存在后，每一個評分人都成為了評價評分體系的建設(shè)者，因為每一次評分，其實都在默默改善著評分環(huán)境，讓世界看事物的尺度更加明晰。

真理越辯越明，評價評分體系亦是如此。

作者｜魏宇卓
編輯｜楊佩汶
設(shè)計｜王浩南