透過人類衡量開發人員生產力

什麼是質化指標？

我們將定性指標定義為由人類提供的數據組成的測量。這是一個實用的定義——我們尚未在社會科學中找到單一的定義，而我們所見過的備用定義存在我們稍後在本節中討論的缺陷。

圖 1：定性指標是從人類衍生的測量

「指標」一詞的定義是明確的。然而，「定性」一詞沒有權威的定義，正如 2019 年期刊論文 定性研究中的定性是什麼 中所述

定性研究有很多定義，但如果我們尋找一個定義來解決其「定性」的獨特特徵，那麼社會科學廣泛領域的文獻資料就很少了。這篇文章背後的主要原因在於悖論，直截了當地說，研究人員表現得好像他們知道它是什麼，但他們無法制定一個連貫的定義。

我們聽過的另一個備用定義是，定性指標測量品質，而定量指標測量數量。我們發現這個定義有兩個問題：首先，「定性指標」一詞包含了指標一詞，這意味著輸出是一個數量（即測量）。其次，品質通常通過轉換為數值和分數的序數尺度來測量——這再次與定義相矛盾。

我們聽到的另一個論點是，情緒分析的輸出是定量的，因為分析結果是數字。雖然我們同意情緒分析產生的數據是定量的，但根據我們的原始定義，這仍然是一個定性的指標（即定性產生的數量），除非有人認為「定性指標」完全是一個矛盾修辭。

除了定義質化指標的問題外，我們也遇到了有問題的口語。一個例子是「軟性指標」這個詞。我們告誡不要使用這個詞，因為它有害且錯誤地暗示從人類收集的資料比從系統收集的「硬性指標」較弱。我們也不鼓勵使用「主觀指標」這個詞，因為它誤解了從人類收集的資料可以是客觀或主觀的事實，正如我們在下一節中所討論的。

我們將在本文稍後提供有關如何收集和使用這些測量的指南，但首先我們將提供一個實例來說明這種方法的實踐

Peloton 是一家美國科技公司，其開發人員生產力測量策略圍繞質化指標。為了收集質化指標，他們的組織由產品運營組織的一部分技術支援與開發人員體驗團隊領導，執行半年一度的開發人員體驗調查。

技術學習和見解負責人 Thansha Sadacharam 解釋說：「我非常堅信，而且我想我們許多工程師也真正欣賞這一點，工程師不是機器人，他們是人類。僅僅查看基本數字並不能說明整個故事。因此，對我們來說，擁有一項有助於我們了解整個開發人員體驗的全面調查非常重要。」

每項調查都會發送給大約一半的開發人員的隨機樣本。透過這種方法，個別開發人員每年只需要參與一次調查，將填寫調查所花的總時間減到最少，同時仍提供具有統計意義的代表性資料結果集。技術支援與開發人員體驗團隊還負責分析調查結果並與組織中的領導人分享。

有關 Peloton 的開發人員體驗調查的更多資訊，請收聽與 Thansha Sadacharam 的這段訪談。

倡導質化指標

高階主管通常對質化指標的可靠性或有用性持懷疑態度。即使像 Google 這樣高度科學的組織也必須克服這些偏見。工程領導傾向於系統指標，因為他們習慣於使用遙測資料來檢查系統。然而，我們不能依賴這種相同的方法來衡量人。

我們看到一些組織陷入內部的「指標之爭」，這並非明智的運用時間或精力。我們建議倡導者避免將定性指標與定量指標視為非此即彼的對立面。較好的做法是主張它們是互補的工具，正如我們在本文結尾所述。

我們發現反對定性資料的根本原因是誤解，我們將在下方說明。在本文後續，我們將概述自我報告資料的獨特優點，例如它能夠衡量無形資產並呈現關鍵脈絡。

兩種質化指標

有兩種主要的定性指標類型

1. 態度指標擷取針對特定主題的主觀感受、意見或態度。態度衡量標準的一個範例是針對問題「在 1 到 10 的範圍內，你對你的 IDE 有多滿意？」所擷取的數值。
2. 行為指標擷取與個人工作經驗相關的客觀事實或事件。行為衡量標準的一個範例是針對問題「你部署變更至生產環境需要多長時間？」所擷取的數量。

我們發現，大多數技術從業人員在思考質化指標時，會忽略行為衡量。儘管在軟體研究中盛行質化行為衡量，例如前面提到的 Google 的 DORA 計畫。

DORA 公布年度基準，用於衡量變更前置時間、部署頻率和變更失敗率等指標。許多人不知道的是，DORA 的基準是使用質化方法，並透過以下調查項目擷取

我們發現，能夠同時收集態度和行為資料是質化測量的強大優點。

例如，行為資料可能會顯示您的釋出流程快速且有效率。但是，只有態度資料才能告訴您它是否順利且輕鬆，這對開發人員的倦怠和留任具有重要的影響。

使用非技術類比：想像你感到不適並去看醫生。醫生量了你的血壓、體溫、心率，然後說：「嗯，看起來你沒事。你沒有任何問題。」你會嚇一跳！你會說：「等等，我告訴你，我感覺哪裡怪怪的。」

質化指標的優點

質化指標的一個論點是，它們避免讓開發人員承受管理層「被衡量」的感覺。雖然我們發現這是真的，特別是與從開發人員的 Git 或 Jira 數據中得出的指標相比時，但它並未解決質化方法可以提供的最重要的客觀優勢。

在衡量開發人員生產力方面，質化指標有三個主要優點

如何擷取質化指標

許多技術從業人員沒有意識到撰寫良好的調查問題和設計良好的調查工具有多麼困難。事實上，有許多與此相關的研究領域，例如心理測量學和產業心理學。在可能的情況下，在此方面引入或建立專業知識非常重要。

以下是撰寫調查以避免我們看到組織犯下的最常見錯誤的一些好規則

• 調查項目需要仔細措辭，每個問題都應該只詢問一件事。
• 如果你想比較調查之間的結果，請小心更改問題的措辭，以免測量到不同的東西。
• 如果你更改任何措辭，你必須進行嚴格的統計檢定。

在調查術語中，「良好的調查」表示「有效且可靠」或「展現良好的心理測量特性」。效度是指調查項目實際測量到你想要測量的構念的程度。信度是指調查項目從你的族群中和隨著時間推移產生一致結果的程度。

我們發現對技術從業人員有幫助的一種思考調查設計的方式：將調查回應流程視為一種發生在人腦中的演算法。

當一個人看到一個調查問題時，會進行一系列的心理步驟才能得出一個回應。以下模型來自開創性的 2012 年書籍，The Psychology of Survey Response

分解調查回應流程並檢視每個步驟，有助於我們改善輸入，以產生更準確的調查結果。開發良好的調查項目需要嚴謹的設計、測試和分析，就像設計軟體的流程一樣！

但是良好的調查設計只是執行成功調查的一個面向。其他挑戰包括參與率、資料分析，以及了解如何根據資料採取行動。以下是我們學到的一些最佳實務。

同時使用質化和量化指標

定性指標和定量指標是衡量開發人員生產力的互補方法。從調查中得出的定性指標提供生產力的整體觀點，包括主觀和客觀的衡量標準。另一方面，定量指標也提供顯著的優勢

• 精確度。人類可以告訴你他們的 CI/CD 建置通常是快還是慢（例如，持續時間接近一分鐘或一小時），但他們無法報告精確到毫秒的建置時間。當我們的衡量需要高度精確度時，就需要定量指標。
• 連續性。通常，組織調查其開發人員的頻率最多每季一次或兩次。為了收集更頻繁或持續的指標，組織必須系統性地收集資料。

最終，透過結合定性和定量指標，即混合方法，組織可以最大程度地了解開發人員的生產力和經驗。那麼，你如何同時使用定性和定量指標？

我們看到組織在使用定性指標建立基準並確定焦點所在時，會獲得成功。然後，再使用定量指標深入探討特定領域。

工程主管發現這種方法很有效，因為定性指標提供整體觀點和背景，讓大家廣泛了解潛在的機會。另一方面，定量指標通常只適用於軟體交付流程中較狹窄的範圍。

出於這個原因，Google 同樣建議其工程主管先查看調查資料，再查看日誌資料。Google 工程研究員 Ciera Jaspan 解釋說：「我們鼓勵主管先查看調查資料，因為如果你只查看日誌資料，它並不能真正告訴你某件事是好還是壞。例如，我們有一個指標追蹤變更的時間，但這個數字本身沒有用。你不知道，這是一件好事嗎？是一件壞事嗎？我們有問題嗎？」。

混合方法讓我們能夠同時利用定性和定量指標的優點，同時全面了解開發人員的生產力

1. 從定性資料開始，找出你的首要機會
2. 一旦您知道要改善什麼，請使用定量指標進一步深入探討
3. 使用定性和定量指標追蹤您的進度

只有結合盡可能多的資料（定性和定量），組織才能開始全面了解開發人員的生產力。

然而，最後重要的是要記住：組織花費大量資金在高素質的人員身上，他們可以觀察並偵測基於記錄的指標無法偵測到的問題。透過深入了解開發人員的想法和意見，組織可以發掘以前被視為不可能的見解。