作者 | 網易杭州研究院設計部、網易數帆編程語言實驗室

策劃 | 蔡芳芳

自 2020 年來，網易數帆探索可視化低代碼編程已兩年有余，打造了 CodeWave 智能開發平臺（原輕舟低代碼平臺）用于企業應用開發。然而，不少編程技術人員對這一領域還比較陌生。我們開設《低代碼技術內幕》專欄，旨在討論低代碼編程領域中的困難、問題，以及高效的解決方案。本文為第四篇，將介紹基于凈推薦值（Net Promoter Score，NPS）和結構方程模型（Structural Equation Model，SEM）方法的低代碼用戶體驗管理體系。SEM 側重從定量的方法，通過用戶側視角、數據驅動，量化各級指標對于 NPS 的貢獻度（權重）。在本文中，我們將展示 SEM 在搭建指標體系中的關鍵步驟，并給出使用 SEM 結果改良用戶體驗的方法。

專欄內容回顧：

低代碼編程及其市場機遇剖析 | 低代碼技術內幕

基于 Vue 和 Canvas，輕舟低代碼 Web 端可視化編輯器設計解析 | 低代碼技術內幕

面向數字化提質提效的低代碼架構設計 | 低代碼技術內幕

凈推薦值、結構方程模型和它們的價值

我們首先簡要地說明凈推薦值和結構方程模型的價值，讓讀者對它們“是什么、有什么用”有一個比較具象的理解。

凈推薦值和其價值

凈推薦值（Net Promoter Score，縮寫為 NPS）主要通過一個單一的問題，來測量用戶 / 客戶（后文簡稱用戶）向他人推薦某個企業 / 產品 / 服務可能性。

具體的測量問題如下，向用戶詢問：

“您有多大的可能將 XX 產品和服務推薦給身邊的同事或親朋好友，0 分表示非常不推薦，10 分表示非常推薦”

按照用戶不同的打分，將用戶分成三組人群：

• 推薦者：打 9 和 10 分的用戶；
• 被動者：打 7 和 8 分的用戶；
• 貶損者：打分 0-6 分的用戶。

最終產品 NPS = (推薦者人數 – 貶損者人數) / 受訪者總人數。

已有許多研究表明，NPS 與商業結果強相關：提升 NPS 能有效降低客戶流失率、提升復購率、提升市場占有率。例如：

• 美國云計算管理公司 Rackspace，其 NPS 監測數據顯示，NPS 值提升 20% 后，客戶流失率下降了 30%。
• 百度智能云 NPS 監測數據顯示其 NPS 連續三年逐年提高，而其市場占有率也逐年上升。

Temkin Group 的研究結果顯示：

• 客戶的打分越高，越可能在這家公司產生購買行為，打分數與購買行為的 相關系數高達 0.81（相關系數絕對值的區間為 0-1，越接近 1 說明相關性越強。）
• 與貶損者相比：
• 推薦者的復購率是貶損者的 5 倍。
• 推薦者對公司行為的容錯度是貶損者的 7 倍。
• 推薦者購買公司新品或者增值服務的可能性是貶損者的近 9 倍。

結構方程模型和其價值

在許多用戶體驗管理體系中，為了量化抽象概念，需要建構指標體系、確定各級指標權重，以 NPS 為核心的用戶體驗管理體系就是這樣的一種分級指標體系。次級指標的拆解、指標的信效度、及其權重的準確性，就成為該項工作的重中之重。

由于產品不同，用戶群體不同，對同一抽象概念所構建的指標體系，無論是在框架還是在權重分配上都會有差異，甚至大相徑庭，不會有一個統一的方案。在一些垂直細分的行業內，部分指標系統的構建是通過訪談行業專家（如相關公司產品負責人）來進行歸納的，這些來自專家側視角指標權重劃分當然很重要，操作成本也相對簡單，不失為一種高效的操作方法，但也可能存在專家意見不一、指標系統缺乏用戶側視角的問題。

結構方程模型（Structural Equation Model，簡稱 SEM）是基于變量的協方差矩陣來分析變量之間關系的一種統計方法，是多元數據分析的重要工具。它旨在使用反映潛變量和顯變量之間關系的一組方程，來盡量縮小樣本協方差矩陣與由模型估計出的協方差矩陣之間的差異。SEM 可以從顯變量中推斷潛變量、測試假設模型的正確性、提供修改模型的指導建議。與專家評分相比，SEM 彌補了缺乏用戶視角的缺憾。

構建以 NPS 為核心的用戶體驗管理體系

低代碼產品的用戶體驗管理體系的終極目標是達成商業結果、推動商業成單，因此我們使用了同商業結果強相關的 NPS 作為低代碼的北極星指標和一級指標。

指標說明

NPS 會受多種因素的影響，我們通過專家訪談、用戶調研、頭腦風暴、桌面研究，最后梳理出 5 個二級指標——產品易用性、學習探索和求助、功能需求滿足程度、性能感知、服務感知——作為低代碼產品的核心驅動因素，以及 21 個三級指標作為測量指標。

低代碼易用性指標的來源主要分為兩大部分：第一部分主要結合了可視化編程領域的經典文獻——《Usability Analysis of Visual Programming Environments: A ‘Cognitive Dimensions’ Framework》，它針對可視化編程系統提出的“認知維度”可用性分析框架，對科學地衡量與分析可視化編程系統很有幫助 [1]。第二部分則主要借鑒國內 B 端云計算產品的易用性研究成果，包括阿里云的《阿里云易用性量表》等。

“學習探索和求助”、“功能需求滿足程度”、“性能感知和服務感知”這幾個指標則主要通過專家訪談、用戶調研、頭腦風暴獲取。

各級指標說明梳理如表 3-1 所示：

在一個三級指標體系中，抽象概念是結構方程模型中的潛變量，測量指標是顯變量，維度（仍然是抽象的）也屬于潛變量，同時，概念是內生變量，維度是外生變量，指標則是外生變量。因此，綜合起來看，概念是內生潛變量，維度是外生潛變量，指標是外生顯變量。

（第三級）測量指標的數據主要通過向用戶詢問對于該維度的滿意度評價或態度得分來進行獲取，其取值范圍為 1-10，舉個例子，幫助文檔的的測量指標：您對低代碼幫助文檔的使用滿意度如何評價，1 分表示非常不滿意，10 分表示非常滿意。

下圖即為結構方程模型的路徑分析示意圖：

結構方程模型技術，針對主觀建構的各種不同指標體系，以采集的客觀數據為基礎，對它們進行擬合、修正與評估，找出相對最準確、最簡潔的指標體系，并通過擬合出來的 路徑系數 來分配指標體系維度以及指標的權重 [2]。

低代碼的 SEM 計算分析

注：由于公司數據的合規要求，本章涉及的指標系數、權重均為脫敏后數據，僅供方法參考。

在進行結構方程模型分析之前，須先進行指標的信度（reliability）檢驗和效度（validity）檢驗。因為如果指標的信度、效度條件無法滿足，即便結構方程模型的結果成立，其結論依然是不能被接受的。

樣本說明：研究者通過網易數帆 CodeWave 低代碼大賽（SaaS 用戶）、網易公司內部用戶、外部私有化部署用戶三個渠道，盡可能覆蓋全不同的用戶類型群體，共回收有效問卷 1000 。

指標的信度檢驗

學術界普遍采用內部一致性系數，即 Cronbach’s α 系數，來驗證指標的信度。表 3-1 展示了模型中所涉及的潛變量的一致性系數（通過 SPSS 22.0 計算得出)。

Hair、Anderson、Tatham、Black 指出，內部一致性系數 大于 0.7 表明量表的可靠性較高；在探索性研究中，內部一致性系數可以小于 0.7，但應大于 0.6；本研究各個潛變量的 Cronbach’s α 系數處于 0.732-0.925（見表 4-2），均超過了 0.7，表明各個概念的量表都具有較高的可靠性。

指標的效度檢驗

統計學上，因子分析是檢驗指標結構效度的最常用方法。按照慣例，我們使用了 KMO 樣本測度 和 巴特勒球形檢驗 來檢驗數據是否適合做因子分析。數據顯示：產品易用性、學習探索和求助、功能需求滿足程度、性能感知、服務感知五個構面數據的 KMO 值分別為 0.901、0.847、0.813、0.715、0.703。同時，各構面數據的巴特勒球形檢驗的卡方統計值（Sig）的顯著性概率均小于 0.001。

學者 Kaiser 指出，當 KMO 值大于 0.6，則表示樣本數據適合做因子分析，因此，本研究的樣本數據適合做因子分析。

計算路徑系數

在因子分析的基礎上，我們利用 AMOS 22.0 軟件進行結構方程的建模與運算。（沒有統計軟件時也可以用 R、Java 等語言編碼計算。）

對方程模型進行路徑分析，得到模型的方程分析、有效性和擬合優度等指標。研究計算結果參見下表（表中標準化路徑系數為脫敏后數據）。

表：結構方程模型結果 注： *p < 0.05, **p <0.01, ***p < 0.001

模型路徑系數如下圖所示，圖中的數值均為標準化路徑系數（圖中路徑系數為脫敏后數據）

模型的調試和擬合優度

建立路徑系數后，需要對模型的擬合優度進行評價。評價指標包括兩類：

1. 絕對匹配測試：其評價指標是只基于假設模型隱含的協方差矩陣和樣本方差矩陣的指數，包括 CMIN/DF（卡方值比自由度）、P 值。CMIN/DF 小于 3 可以接受，但一般以小于 2 為宜（CMIN/DF 是直接檢驗樣本協方差矩陣和估計協方差矩陣間相似程度的統計量，理論期望值為 1）；卡方檢驗中的 P 值一般要大于 0.05，表明結構方程模型對數據的擬合良好 [3] 。
2. 相對匹配測試：評價標準為描述性指標，包括 GFI（擬合優度指標）、TLI（不規范擬合指數）、CFI（比較擬合指數）、RMSEA（近似誤差的均方根）等。GFI、TLI、CFI 這些指標越接近 1，模型擬合得越好：如果這些指標都大于 0.9，表示觀測數據支持假設構想，大于 0.95 則表示擬合非常好。RMSEA 一般要求不應超過 0.08 [3]。

本模型擬合度指標參見下表，可以認為設定模型能夠較好的擬合樣本數據。

指標權重計算

通過擬合優度檢驗后，我們需要確定二級指標、三級指標的權重，計算方式如下。

二級指標權重

利用上述模型所得路徑系數大小，對各級指標進行權重分配。將五個二級指標（影響因素）的路徑系數相加，每個維度的路徑系數除以該值即為該維度的權重。產品易用性、學習探索和求助、功能需求滿足程度、性能感知、服務感知的路徑系數分別為 0.27、0.22、0.35、0.23、0.17，它們的和為 1.24，則關鍵業務操作體驗的權重為 0.27/1.24 = 22%。以此類推，可計算出其他二級指標權重，二級指標權重之和為 100%，參見下表。

三級指標權重

以“上手難度”指標為例：

1. 先算出“上手難度”對于用戶體驗指數（一級指標）的系數，該系數等于兩個路徑系數的乘積，即:0.81 * 0.27=0.219，記為 A1。
2. 同理，可計算抽象坡度的系數 A2、文案信息的易理解性系數 A3……服務人員解決問題的能力系數 A21；
3. 則“上手難度”此三級指標的權重 = A1 / (A1 A2 A3……A21)。

同理可計算出其它三級指標的權重，所有三級指標權重之和等于 100%。

另外，我們可以用已確立的權重，計算出相應的二級指標得分。例如，在我們的發放的問卷調研中，并沒有直接測量產品易用性的得分（因為這是一個復合的抽象化概念，并不容易直接測量其得分），但現在我們可以通過 10 項指標和其相應的權重（由結構方程模型得出），然后計算出產品易用性的得分。

用戶體驗管理體系的運轉

經過 SEM 建模計算后，我們便可以根據指標得分、指標對 NPS 的影響權重繪制二維散點圖，并根據以下步驟優化產品。

1. 確定優化抓手：對 NPS 影響權重高 & 指標得分低

下圖中的亟待改善區即為優化抓手：對 NPS 影響權重高，同時指標得分低

2. 識別優化抓手的核心驅動要素 & 用戶觸點

優化抓手通常是方向性問題，如性能問題，產品的上手門檻問題，后續則需要進一步通過用戶調研或梳理用戶已有反饋問題，定義好問題場景及范圍，進而確認具體問題的優先級。

3. 推動優化舉措落地

定義好高優先級體驗問題后，相關業務方會根據實際情況進行優化、排期。

4. 效果驗證、體驗閉環

通過迭代的 NPS 和指標得分，驗證改版或產品改進的效果。

SEM 的使用方式小結

1. 根據業務領域和目標，選取一個一級指標（如凈推薦值）。一級指標是抽象概念。
2. 根據業務，以合適的方式（如專家訪談、用戶調研、頭腦風暴、桌面研究等）獲取二級指標和三級指標。二級指標是維度，三級指標是測量指標。
3. 對指標進行信度檢驗和效度檢驗。
4. 通過結構方程模型，計算出各個二級指標、三級指標的標準化路徑系數。
5. 評估模型的擬合優度，調試模型，直到模型的各種參數符合相應標準。
6. 計算各個二級指標、三級指標的權重。

總 結

本文介紹了基于 NPS 和 SEM 的低代碼用戶體驗管理體系，它們引入了用戶視角，一定程度解決了專家打分評估的主觀性、隨意性問題。文章通過低代碼產品的例子，展示了 SEM 在搭建指標體系中的關鍵步驟：澄清與界定概念、建立指標體系、形成調查問卷、指標信效度檢驗、模型擬合與評估、權重分配等。

本文雖以低代碼產品為例，但介紹的方法具有普適性，并不僅僅局限于低代碼產品。

作者簡介：

網易杭州研究院設計部，致力于為公司產品提供優質的用戶體驗設計，核心專業能力包括用戶體驗管理與業務增長，提供數字化轉型、增長策略規劃、品牌升級、體驗創新等解決方案。

網易數帆編程語言實驗室，負責 CodeWave 智能開發平臺核心編程能力的設計，包括類型系統、語義語法、聲明式編程、可視化交互等 NASL 的語言設計，Language Server、可視化引擎等，以及后續演進方案的規劃和預研，旨在創造低門檻高上限的低代碼開發體驗。

參考文獻

[1] Green T R G, Petre M. Usability analysis of visual programming environments: a ‘cognitive dimensions’ framework[J]. Journal of Visual Languages & Computing, 1996, 7(2): 131-174

[2] 武海東，用結構方程模型構建圖書館讀者滿意度評價指標體系 [J]，情報科學，2011,29(02):227-230

[3] 史雅翼，線性結構方程模型評價指標的應用 [J]，中國醫院統計，2001,8(4):237-238