作者 | 網(wǎng)易杭州研究院設(shè)計(jì)部、網(wǎng)易數(shù)帆編程語(yǔ)言實(shí)驗(yàn)室

策劃 | 蔡芳芳

自 2020 年來(lái)，網(wǎng)易數(shù)帆探索可視化低代碼編程已兩年有余，打造了 CodeWave 智能開(kāi)發(fā)平臺(tái)（原輕舟低代碼平臺(tái)）用于企業(yè)應(yīng)用開(kāi)發(fā)。然而，不少編程技術(shù)人員對(duì)這一領(lǐng)域還比較陌生。我們開(kāi)設(shè)《低代碼技術(shù)內(nèi)幕》專欄，旨在討論低代碼編程領(lǐng)域中的困難、問(wèn)題，以及高效的解決方案。本文為第四篇，將介紹基于凈推薦值（Net Promoter Score，NPS）和結(jié)構(gòu)方程模型（Structural Equation Model，SEM）方法的低代碼用戶體驗(yàn)管理體系。SEM 側(cè)重從定量的方法，通過(guò)用戶側(cè)視角、數(shù)據(jù)驅(qū)動(dòng)，量化各級(jí)指標(biāo)對(duì)于 NPS 的貢獻(xiàn)度（權(quán)重）。在本文中，我們將展示 SEM 在搭建指標(biāo)體系中的關(guān)鍵步驟，并給出使用 SEM 結(jié)果改良用戶體驗(yàn)的方法。

專欄內(nèi)容回顧：

低代碼編程及其市場(chǎng)機(jī)遇剖析 | 低代碼技術(shù)內(nèi)幕

基于 Vue 和 Canvas，輕舟低代碼 Web 端可視化編輯器設(shè)計(jì)解析 | 低代碼技術(shù)內(nèi)幕

面向數(shù)字化提質(zhì)提效的低代碼架構(gòu)設(shè)計(jì) | 低代碼技術(shù)內(nèi)幕

凈推薦值、結(jié)構(gòu)方程模型和它們的價(jià)值

我們首先簡(jiǎn)要地說(shuō)明凈推薦值和結(jié)構(gòu)方程模型的價(jià)值，讓讀者對(duì)它們“是什么、有什么用”有一個(gè)比較具象的理解。

凈推薦值和其價(jià)值

凈推薦值（Net Promoter Score，縮寫為 NPS）主要通過(guò)一個(gè)單一的問(wèn)題，來(lái)測(cè)量用戶 / 客戶（后文簡(jiǎn)稱用戶）向他人推薦某個(gè)企業(yè) / 產(chǎn)品 / 服務(wù)可能性。

具體的測(cè)量問(wèn)題如下，向用戶詢問(wèn)：

“您有多大的可能將 XX 產(chǎn)品和服務(wù)推薦給身邊的同事或親朋好友，0 分表示非常不推薦，10 分表示非常推薦”

按照用戶不同的打分，將用戶分成三組人群：

• 推薦者：打 9 和 10 分的用戶；
• 被動(dòng)者：打 7 和 8 分的用戶；
• 貶損者：打分 0-6 分的用戶。

最終產(chǎn)品 NPS = (推薦者人數(shù) – 貶損者人數(shù)) / 受訪者總?cè)藬?shù)。

已有許多研究表明，NPS 與商業(yè)結(jié)果強(qiáng)相關(guān)：提升 NPS 能有效降低客戶流失率、提升復(fù)購(gòu)率、提升市場(chǎng)占有率。例如：

• 美國(guó)云計(jì)算管理公司 Rackspace，其 NPS 監(jiān)測(cè)數(shù)據(jù)顯示，NPS 值提升 20% 后，客戶流失率下降了 30%。
• 百度智能云 NPS 監(jiān)測(cè)數(shù)據(jù)顯示其 NPS 連續(xù)三年逐年提高，而其市場(chǎng)占有率也逐年上升。

Temkin Group 的研究結(jié)果顯示：

• 客戶的打分越高，越可能在這家公司產(chǎn)生購(gòu)買行為，打分?jǐn)?shù)與購(gòu)買行為的 相關(guān)系數(shù)高達(dá) 0.81（相關(guān)系數(shù)絕對(duì)值的區(qū)間為 0-1，越接近 1 說(shuō)明相關(guān)性越強(qiáng)。）
• 與貶損者相比：
• 推薦者的復(fù)購(gòu)率是貶損者的 5 倍。
• 推薦者對(duì)公司行為的容錯(cuò)度是貶損者的 7 倍。
• 推薦者購(gòu)買公司新品或者增值服務(wù)的可能性是貶損者的近 9 倍。

結(jié)構(gòu)方程模型和其價(jià)值

在許多用戶體驗(yàn)管理體系中，為了量化抽象概念，需要建構(gòu)指標(biāo)體系、確定各級(jí)指標(biāo)權(quán)重，以 NPS 為核心的用戶體驗(yàn)管理體系就是這樣的一種分級(jí)指標(biāo)體系。次級(jí)指標(biāo)的拆解、指標(biāo)的信效度、及其權(quán)重的準(zhǔn)確性，就成為該項(xiàng)工作的重中之重。

由于產(chǎn)品不同，用戶群體不同，對(duì)同一抽象概念所構(gòu)建的指標(biāo)體系，無(wú)論是在框架還是在權(quán)重分配上都會(huì)有差異，甚至大相徑庭，不會(huì)有一個(gè)統(tǒng)一的方案。在一些垂直細(xì)分的行業(yè)內(nèi)，部分指標(biāo)系統(tǒng)的構(gòu)建是通過(guò)訪談行業(yè)專家（如相關(guān)公司產(chǎn)品負(fù)責(zé)人）來(lái)進(jìn)行歸納的，這些來(lái)自專家側(cè)視角指標(biāo)權(quán)重劃分當(dāng)然很重要，操作成本也相對(duì)簡(jiǎn)單，不失為一種高效的操作方法，但也可能存在專家意見(jiàn)不一、指標(biāo)系統(tǒng)缺乏用戶側(cè)視角的問(wèn)題。

結(jié)構(gòu)方程模型（Structural Equation Model，簡(jiǎn)稱 SEM）是基于變量的協(xié)方差矩陣來(lái)分析變量之間關(guān)系的一種統(tǒng)計(jì)方法，是多元數(shù)據(jù)分析的重要工具。它旨在使用反映潛變量和顯變量之間關(guān)系的一組方程，來(lái)盡量縮小樣本協(xié)方差矩陣與由模型估計(jì)出的協(xié)方差矩陣之間的差異。SEM 可以從顯變量中推斷潛變量、測(cè)試假設(shè)模型的正確性、提供修改模型的指導(dǎo)建議。與專家評(píng)分相比，SEM 彌補(bǔ)了缺乏用戶視角的缺憾。

構(gòu)建以 NPS 為核心的用戶體驗(yàn)管理體系

低代碼產(chǎn)品的用戶體驗(yàn)管理體系的終極目標(biāo)是達(dá)成商業(yè)結(jié)果、推動(dòng)商業(yè)成單，因此我們使用了同商業(yè)結(jié)果強(qiáng)相關(guān)的 NPS 作為低代碼的北極星指標(biāo)和一級(jí)指標(biāo)。

指標(biāo)說(shuō)明

NPS 會(huì)受多種因素的影響，我們通過(guò)專家訪談、用戶調(diào)研、頭腦風(fēng)暴、桌面研究，最后梳理出 5 個(gè)二級(jí)指標(biāo)——產(chǎn)品易用性、學(xué)習(xí)探索和求助、功能需求滿足程度、性能感知、服務(wù)感知——作為低代碼產(chǎn)品的核心驅(qū)動(dòng)因素，以及 21 個(gè)三級(jí)指標(biāo)作為測(cè)量指標(biāo)。

低代碼易用性指標(biāo)的來(lái)源主要分為兩大部分：第一部分主要結(jié)合了可視化編程領(lǐng)域的經(jīng)典文獻(xiàn)——《Usability Analysis of Visual Programming Environments: A ‘Cognitive Dimensions’ Framework》，它針對(duì)可視化編程系統(tǒng)提出的“認(rèn)知維度”可用性分析框架，對(duì)科學(xué)地衡量與分析可視化編程系統(tǒng)很有幫助 [1]。第二部分則主要借鑒國(guó)內(nèi) B 端云計(jì)算產(chǎn)品的易用性研究成果，包括阿里云的《阿里云易用性量表》等。

“學(xué)習(xí)探索和求助”、“功能需求滿足程度”、“性能感知和服務(wù)感知”這幾個(gè)指標(biāo)則主要通過(guò)專家訪談、用戶調(diào)研、頭腦風(fēng)暴獲取。

各級(jí)指標(biāo)說(shuō)明梳理如表 3-1 所示：

在一個(gè)三級(jí)指標(biāo)體系中，抽象概念是結(jié)構(gòu)方程模型中的潛變量，測(cè)量指標(biāo)是顯變量，維度（仍然是抽象的）也屬于潛變量，同時(shí)，概念是內(nèi)生變量，維度是外生變量，指標(biāo)則是外生變量。因此，綜合起來(lái)看，概念是內(nèi)生潛變量，維度是外生潛變量，指標(biāo)是外生顯變量。

（第三級(jí)）測(cè)量指標(biāo)的數(shù)據(jù)主要通過(guò)向用戶詢問(wèn)對(duì)于該維度的滿意度評(píng)價(jià)或態(tài)度得分來(lái)進(jìn)行獲取，其取值范圍為 1-10，舉個(gè)例子，幫助文檔的的測(cè)量指標(biāo)：您對(duì)低代碼幫助文檔的使用滿意度如何評(píng)價(jià)，1 分表示非常不滿意，10 分表示非常滿意。

下圖即為結(jié)構(gòu)方程模型的路徑分析示意圖：

結(jié)構(gòu)方程模型技術(shù)，針對(duì)主觀建構(gòu)的各種不同指標(biāo)體系，以采集的客觀數(shù)據(jù)為基礎(chǔ)，對(duì)它們進(jìn)行擬合、修正與評(píng)估，找出相對(duì)最準(zhǔn)確、最簡(jiǎn)潔的指標(biāo)體系，并通過(guò)擬合出來(lái)的 路徑系數(shù) 來(lái)分配指標(biāo)體系維度以及指標(biāo)的權(quán)重 [2]。

低代碼的 SEM 計(jì)算分析

注：由于公司數(shù)據(jù)的合規(guī)要求，本章涉及的指標(biāo)系數(shù)、權(quán)重均為脫敏后數(shù)據(jù)，僅供方法參考。

在進(jìn)行結(jié)構(gòu)方程模型分析之前，須先進(jìn)行指標(biāo)的信度（reliability）檢驗(yàn)和效度（validity）檢驗(yàn)。因?yàn)槿绻笜?biāo)的信度、效度條件無(wú)法滿足，即便結(jié)構(gòu)方程模型的結(jié)果成立，其結(jié)論依然是不能被接受的。

樣本說(shuō)明：研究者通過(guò)網(wǎng)易數(shù)帆 CodeWave 低代碼大賽（SaaS 用戶）、網(wǎng)易公司內(nèi)部用戶、外部私有化部署用戶三個(gè)渠道，盡可能覆蓋全不同的用戶類型群體，共回收有效問(wèn)卷 1000 。

指標(biāo)的信度檢驗(yàn)

學(xué)術(shù)界普遍采用內(nèi)部一致性系數(shù)，即 Cronbach’s α 系數(shù)，來(lái)驗(yàn)證指標(biāo)的信度。表 3-1 展示了模型中所涉及的潛變量的一致性系數(shù)（通過(guò) SPSS 22.0 計(jì)算得出)。

Hair、Anderson、Tatham、Black 指出，內(nèi)部一致性系數(shù) 大于 0.7 表明量表的可靠性較高；在探索性研究中，內(nèi)部一致性系數(shù)可以小于 0.7，但應(yīng)大于 0.6；本研究各個(gè)潛變量的 Cronbach’s α 系數(shù)處于 0.732-0.925（見(jiàn)表 4-2），均超過(guò)了 0.7，表明各個(gè)概念的量表都具有較高的可靠性。

指標(biāo)的效度檢驗(yàn)

統(tǒng)計(jì)學(xué)上，因子分析是檢驗(yàn)指標(biāo)結(jié)構(gòu)效度的最常用方法。按照慣例，我們使用了 KMO 樣本測(cè)度 和 巴特勒球形檢驗(yàn) 來(lái)檢驗(yàn)數(shù)據(jù)是否適合做因子分析。數(shù)據(jù)顯示：產(chǎn)品易用性、學(xué)習(xí)探索和求助、功能需求滿足程度、性能感知、服務(wù)感知五個(gè)構(gòu)面數(shù)據(jù)的 KMO 值分別為 0.901、0.847、0.813、0.715、0.703。同時(shí)，各構(gòu)面數(shù)據(jù)的巴特勒球形檢驗(yàn)的卡方統(tǒng)計(jì)值（Sig）的顯著性概率均小于 0.001。

學(xué)者 Kaiser 指出，當(dāng) KMO 值大于 0.6，則表示樣本數(shù)據(jù)適合做因子分析，因此，本研究的樣本數(shù)據(jù)適合做因子分析。

計(jì)算路徑系數(shù)

在因子分析的基礎(chǔ)上，我們利用 AMOS 22.0 軟件進(jìn)行結(jié)構(gòu)方程的建模與運(yùn)算。（沒(méi)有統(tǒng)計(jì)軟件時(shí)也可以用 R、Java 等語(yǔ)言編碼計(jì)算。）

對(duì)方程模型進(jìn)行路徑分析，得到模型的方程分析、有效性和擬合優(yōu)度等指標(biāo)。研究計(jì)算結(jié)果參見(jiàn)下表（表中標(biāo)準(zhǔn)化路徑系數(shù)為脫敏后數(shù)據(jù)）。

表：結(jié)構(gòu)方程模型結(jié)果 注： *p < 0.05, **p <0.01, ***p < 0.001

模型路徑系數(shù)如下圖所示，圖中的數(shù)值均為標(biāo)準(zhǔn)化路徑系數(shù)（圖中路徑系數(shù)為脫敏后數(shù)據(jù)）

模型的調(diào)試和擬合優(yōu)度

建立路徑系數(shù)后，需要對(duì)模型的擬合優(yōu)度進(jìn)行評(píng)價(jià)。評(píng)價(jià)指標(biāo)包括兩類：

1. 絕對(duì)匹配測(cè)試：其評(píng)價(jià)指標(biāo)是只基于假設(shè)模型隱含的協(xié)方差矩陣和樣本方差矩陣的指數(shù)，包括 CMIN/DF（卡方值比自由度）、P 值。CMIN/DF 小于 3 可以接受，但一般以小于 2 為宜（CMIN/DF 是直接檢驗(yàn)樣本協(xié)方差矩陣和估計(jì)協(xié)方差矩陣間相似程度的統(tǒng)計(jì)量，理論期望值為 1）；卡方檢驗(yàn)中的 P 值一般要大于 0.05，表明結(jié)構(gòu)方程模型對(duì)數(shù)據(jù)的擬合良好 [3] 。
2. 相對(duì)匹配測(cè)試：評(píng)價(jià)標(biāo)準(zhǔn)為描述性指標(biāo)，包括 GFI（擬合優(yōu)度指標(biāo)）、TLI（不規(guī)范擬合指數(shù)）、CFI（比較擬合指數(shù)）、RMSEA（近似誤差的均方根）等。GFI、TLI、CFI 這些指標(biāo)越接近 1，模型擬合得越好：如果這些指標(biāo)都大于 0.9，表示觀測(cè)數(shù)據(jù)支持假設(shè)構(gòu)想，大于 0.95 則表示擬合非常好。RMSEA 一般要求不應(yīng)超過(guò) 0.08 [3]。

本模型擬合度指標(biāo)參見(jiàn)下表，可以認(rèn)為設(shè)定模型能夠較好的擬合樣本數(shù)據(jù)。

指標(biāo)權(quán)重計(jì)算

通過(guò)擬合優(yōu)度檢驗(yàn)后，我們需要確定二級(jí)指標(biāo)、三級(jí)指標(biāo)的權(quán)重，計(jì)算方式如下。

二級(jí)指標(biāo)權(quán)重

利用上述模型所得路徑系數(shù)大小，對(duì)各級(jí)指標(biāo)進(jìn)行權(quán)重分配。將五個(gè)二級(jí)指標(biāo)（影響因素）的路徑系數(shù)相加，每個(gè)維度的路徑系數(shù)除以該值即為該維度的權(quán)重。產(chǎn)品易用性、學(xué)習(xí)探索和求助、功能需求滿足程度、性能感知、服務(wù)感知的路徑系數(shù)分別為 0.27、0.22、0.35、0.23、0.17，它們的和為 1.24，則關(guān)鍵業(yè)務(wù)操作體驗(yàn)的權(quán)重為 0.27/1.24 = 22%。以此類推，可計(jì)算出其他二級(jí)指標(biāo)權(quán)重，二級(jí)指標(biāo)權(quán)重之和為 100%，參見(jiàn)下表。

三級(jí)指標(biāo)權(quán)重

以“上手難度”指標(biāo)為例：

1. 先算出“上手難度”對(duì)于用戶體驗(yàn)指數(shù)（一級(jí)指標(biāo)）的系數(shù)，該系數(shù)等于兩個(gè)路徑系數(shù)的乘積，即:0.81 * 0.27=0.219，記為 A1。
2. 同理，可計(jì)算抽象坡度的系數(shù) A2、文案信息的易理解性系數(shù) A3……服務(wù)人員解決問(wèn)題的能力系數(shù) A21；
3. 則“上手難度”此三級(jí)指標(biāo)的權(quán)重 = A1 / (A1 A2 A3……A21)。

同理可計(jì)算出其它三級(jí)指標(biāo)的權(quán)重，所有三級(jí)指標(biāo)權(quán)重之和等于 100%。

另外，我們可以用已確立的權(quán)重，計(jì)算出相應(yīng)的二級(jí)指標(biāo)得分。例如，在我們的發(fā)放的問(wèn)卷調(diào)研中，并沒(méi)有直接測(cè)量產(chǎn)品易用性的得分（因?yàn)檫@是一個(gè)復(fù)合的抽象化概念，并不容易直接測(cè)量其得分），但現(xiàn)在我們可以通過(guò) 10 項(xiàng)指標(biāo)和其相應(yīng)的權(quán)重（由結(jié)構(gòu)方程模型得出），然后計(jì)算出產(chǎn)品易用性的得分。

用戶體驗(yàn)管理體系的運(yùn)轉(zhuǎn)

經(jīng)過(guò) SEM 建模計(jì)算后，我們便可以根據(jù)指標(biāo)得分、指標(biāo)對(duì) NPS 的影響權(quán)重繪制二維散點(diǎn)圖，并根據(jù)以下步驟優(yōu)化產(chǎn)品。

1. 確定優(yōu)化抓手：對(duì) NPS 影響權(quán)重高 & 指標(biāo)得分低

下圖中的亟待改善區(qū)即為優(yōu)化抓手：對(duì) NPS 影響權(quán)重高，同時(shí)指標(biāo)得分低

2. 識(shí)別優(yōu)化抓手的核心驅(qū)動(dòng)要素 & 用戶觸點(diǎn)

優(yōu)化抓手通常是方向性問(wèn)題，如性能問(wèn)題，產(chǎn)品的上手門檻問(wèn)題，后續(xù)則需要進(jìn)一步通過(guò)用戶調(diào)研或梳理用戶已有反饋問(wèn)題，定義好問(wèn)題場(chǎng)景及范圍，進(jìn)而確認(rèn)具體問(wèn)題的優(yōu)先級(jí)。

3. 推動(dòng)優(yōu)化舉措落地

定義好高優(yōu)先級(jí)體驗(yàn)問(wèn)題后，相關(guān)業(yè)務(wù)方會(huì)根據(jù)實(shí)際情況進(jìn)行優(yōu)化、排期。

4. 效果驗(yàn)證、體驗(yàn)閉環(huán)

通過(guò)迭代的 NPS 和指標(biāo)得分，驗(yàn)證改版或產(chǎn)品改進(jìn)的效果。

SEM 的使用方式小結(jié)

1. 根據(jù)業(yè)務(wù)領(lǐng)域和目標(biāo)，選取一個(gè)一級(jí)指標(biāo)（如凈推薦值）。一級(jí)指標(biāo)是抽象概念。
2. 根據(jù)業(yè)務(wù)，以合適的方式（如專家訪談、用戶調(diào)研、頭腦風(fēng)暴、桌面研究等）獲取二級(jí)指標(biāo)和三級(jí)指標(biāo)。二級(jí)指標(biāo)是維度，三級(jí)指標(biāo)是測(cè)量指標(biāo)。
3. 對(duì)指標(biāo)進(jìn)行信度檢驗(yàn)和效度檢驗(yàn)。
4. 通過(guò)結(jié)構(gòu)方程模型，計(jì)算出各個(gè)二級(jí)指標(biāo)、三級(jí)指標(biāo)的標(biāo)準(zhǔn)化路徑系數(shù)。
5. 評(píng)估模型的擬合優(yōu)度，調(diào)試模型，直到模型的各種參數(shù)符合相應(yīng)標(biāo)準(zhǔn)。
6. 計(jì)算各個(gè)二級(jí)指標(biāo)、三級(jí)指標(biāo)的權(quán)重。

總 結(jié)

本文介紹了基于 NPS 和 SEM 的低代碼用戶體驗(yàn)管理體系，它們引入了用戶視角，一定程度解決了專家打分評(píng)估的主觀性、隨意性問(wèn)題。文章通過(guò)低代碼產(chǎn)品的例子，展示了 SEM 在搭建指標(biāo)體系中的關(guān)鍵步驟：澄清與界定概念、建立指標(biāo)體系、形成調(diào)查問(wèn)卷、指標(biāo)信效度檢驗(yàn)、模型擬合與評(píng)估、權(quán)重分配等。

本文雖以低代碼產(chǎn)品為例，但介紹的方法具有普適性，并不僅僅局限于低代碼產(chǎn)品。

作者簡(jiǎn)介：

網(wǎng)易杭州研究院設(shè)計(jì)部，致力于為公司產(chǎn)品提供優(yōu)質(zhì)的用戶體驗(yàn)設(shè)計(jì)，核心專業(yè)能力包括用戶體驗(yàn)管理與業(yè)務(wù)增長(zhǎng)，提供數(shù)字化轉(zhuǎn)型、增長(zhǎng)策略規(guī)劃、品牌升級(jí)、體驗(yàn)創(chuàng)新等解決方案。

網(wǎng)易數(shù)帆編程語(yǔ)言實(shí)驗(yàn)室，負(fù)責(zé) CodeWave 智能開(kāi)發(fā)平臺(tái)核心編程能力的設(shè)計(jì)，包括類型系統(tǒng)、語(yǔ)義語(yǔ)法、聲明式編程、可視化交互等 NASL 的語(yǔ)言設(shè)計(jì)，Language Server、可視化引擎等，以及后續(xù)演進(jìn)方案的規(guī)劃和預(yù)研，旨在創(chuàng)造低門檻高上限的低代碼開(kāi)發(fā)體驗(yàn)。

參考文獻(xiàn)

[1] Green T R G, Petre M. Usability analysis of visual programming environments: a ‘cognitive dimensions’ framework[J]. Journal of Visual Languages & Computing, 1996, 7(2): 131-174

[2] 武海東，用結(jié)構(gòu)方程模型構(gòu)建圖書館讀者滿意度評(píng)價(jià)指標(biāo)體系 [J]，情報(bào)科學(xué)，2011,29(02):227-230

[3] 史雅翼，線性結(jié)構(gòu)方程模型評(píng)價(jià)指標(biāo)的應(yīng)用 [J]，中國(guó)醫(yī)院統(tǒng)計(jì)，2001,8(4):237-238