使用 ChatGPT 作為技術寫作助理

一位經驗豐富的技術作者探索使用 ChatGPT 來協助多項寫作專案。他發現 ChatGPT 可以透過草稿和提示額外內容來節省時間,但缺乏準確性和深度,而且過於樂觀。總體而言,如果你反覆運算,提出精心設計的提示並要求少量內容,它會很有用。

2023 年 4 月 25 日


Photo of Mike Mason

Mike Mason 是 Thoughtworks 的全球技術主管。他曾擔任過數十年的架構師和開發人員,也是多本軟體開發書籍的作者。他為 Thoughtworks 技術雷達做出貢獻,並定期撰寫軟體產業巨觀趨勢文章。


最近幾週,我一直在探索在專業環境中使用 ChatGPT。作為顧問,我廣泛撰寫有關技術和軟體的文章,為客戶提供建議,並與內部團隊合作。為了避免任何潛在的智慧財產權問題,我諮詢了我的主管和公司律師之一。我特別避免在任何與客戶相關的環境中使用 ChatGPT。相反地,我專注於使用 ChatGPT 撰寫技術文章,供公眾使用,從而將無意中向 AI 揭露專有資訊的可能性降至最低。

我們喜歡為我們的推特卡片加入圖片,對於這張圖片,我們自然而然地使用了 Stable Diffusion。我們使用提示「人類和 AI 面對面進行概念藝術創作,使用先進全息顯示器進行協作,特寫,中距離構圖」(Stable Diffusion v2-1_768-ema-pruned,模型雜湊值 ad2a33c361,種子 564306172)

目標和期望

當我第一次考慮使用 ChatGPT 作為寫作助理時,我心中有幾個具體的目標。我希望它能幫助我完成的主要任務之一,就是為 Thoughtworks 技術雷達撰寫「摘要」。雷達涵蓋超過 100 種個別技術,儘管我們的團隊會針對每種技術進行詳細討論,但將這些筆記轉換成一段連貫的段落可能會很有挑戰性。我滿懷希望,ChatGPT 可以簡化這個流程,並讓它更有效率。

除了摘要之外,我還會撰寫一篇名為「技術產業的巨觀趨勢」的隨附文章,深入探討我們在該領域觀察到的廣泛主題和模式。我很好奇 ChatGPT 是否能在塑造這篇文章中發揮作用,提供見解甚至提供內容。

最後,我們還會針對商業情境調整技術雷達,旨在讓非技術受眾更容易理解其高階主題。這通常涉及簡化複雜概念,並以更易於理解的格式呈現它們。我想探索 ChatGPT 在協助執行這項任務方面的潛力,幫助我們建立能有效向更廣泛的讀者傳達我們想法的內容。

雷達簡報:Webhook 的休閒管理 - 保留

Mike

您好。請協助我撰寫一篇關於「隨意管理網路掛鉤的危險性」的摘要,採用 Thoughtworks 技術雷達的風格。摘要應包含以下筆記和討論內容

隨著遠端工作的興起,我們持續看到聊天協作平台(例如 Slack、Google Chat、Microsoft Teams)的採用率持續成長,而「聊天營運」也隨之增加。大多數聊天協作平台都提供網路掛鉤,作為將訊息和通知自動傳送至頻道的簡單方式,而許多開發人員平台工具(例如 CI/CD 軟體、監控軟體等)都建置了對這些網路掛鉤的一流支援。然而,人們傾向於將這些網路掛鉤視為設定檔,而非機密或憑證。我們看到這種傾向表現在聊天工具呈現網路掛鉤的方式、團隊處理和儲存網路掛鉤的方式(例如以純文字提交至儲存庫),以及整合工具處理網路掛鉤的方式(例如以純文字公開網路掛鉤)。這是一個安全漏洞,可能會讓組織面臨網路釣魚攻擊。

聊天營運網路掛鉤是一種憑證:它們提供對內部空間的特權存取權。在某些情況下,它們直接包含可直接擷取和利用的 API 金鑰。不將它們視為機密會讓它們有可能被用於網路釣魚,而且由於人們對這種攻擊類型缺乏認識,因此網路釣魚更有可能成功。Git 儲存庫中的網路掛鉤很容易被擷取並用來建立和傳送詐騙性有效負載,而使用者可能沒有理由懷疑,也沒有辦法進行驗證。目前尚未有此類重大事件的報告,這只會加劇自滿的情緒。為了減輕這個威脅,我們需要看到一種轉變,無論是在處理這些網路掛鉤的團隊文化,還是在建置與聊天營運平台整合的軟體開發人員文化中。

ChatGPT

以下是 Thoughtworks 技術雷達風格的摘要

隨意管理 Webhook 的危險:一種安全隱憂

隨著遠距工作的持續增加,聊天協作平台和 ChatOps 的採用率也隨之提高。這些平台通常提供 Webhook 作為自動傳送訊息和通知的簡單方式,但我們注意到一個令人擔憂的趨勢,即將 Webhook 視為組態,而不是機密/憑證。這可能導致網路釣魚攻擊和內部空間遭到入侵。

Webhook 是提供對內部空間的權限存取的憑證,可能包含 API 金鑰,而這些金鑰可以輕易地提取並直接使用。如果不將它們視為機密,就會增加網路釣魚攻擊成功的可能性。Git 儲存庫中的 Webhook 可以輕易地提取並用於傳送詐騙性有效負載,而使用者可能沒有任何方法可以驗證。

為了減輕此威脅,處理 Webhook 的團隊需要改變其文化,並將 Webhook 視為敏感的憑證。與 ChatOps 平台整合的軟體開發人員也必須注意此風險,並確保 Webhook 採用適當的安全措施來處理。不要等到發生重大事件才採取行動。

討論

此輸出相當不錯,特別是第一段說明了 ChatOps 的興起,並解釋了 Webhook 的關聯性。最後一段是某種「行動呼籲」,這對雷達摘要來說並不恰當,但很容易移除。Thoughtworks 已發布技術雷達超過十年,因此只要要求以「Thoughtworks 技術雷達風格」輸出,就能產生風格大致符合雷達摘要的文字。如果我想要不同風格的文字,就需要在提示中更具體說明。您可以在雷達網站上查看最終的 隨意管理 Webhook 文字,了解我們在編輯(包括一輪全公司回饋)後最終呈現的內容。

雷達簡報:Giskard - 評估

以 thoughtworks 技術雷達的風格撰寫「Giskard」的「摘要」。納入下列備註,並將最終撰寫的內容限制在兩段內。

Giskard 是 AI 模型的品質保證,例如協助找出偏差

原因

這似乎是一種新型工具,讓資料科學家和商業利益關係人/中小企業之間的協作變得容易。目前對此工具還沒有實際經驗。

人物 A:我交談過的人強調品質保證的部分,您可以為其撰寫各種測試

人物 B:此處的「原因」是從網站複製的,但實際上是什麼讓協作變得更容易?

人物 C:當我們在推理模型時,會涉及許多商業影響,因此避免偏差可以成為模型的品質指標;你可以編寫模型的可接受性標準,以及商業

與其他工具相比,這一個最注重資料品質

Giskard 成為一種新穎的人工智慧模型品質保證解決方案,專門設計用來識別和減輕偏差。透過專注於資料品質,Giskard 在市場上與其他工具區別開來。它促進資料科學家和商業利害關係人之間的合作,讓他們能夠根據避免偏差和其他必要的品質指標,共同建立人工智慧模型的可接受性標準。這確保模型結果更符合商業目標,同時也將有偏差預測相關的風險降到最低。

儘管我們對 Giskard 的實際操作經驗有限,但與使用者的對話強調了它支援廣泛的品質保證測試的能力。此工具的獨特價值主張在於促進技術和非技術利害關係人之間的無縫合作,讓推理模型及其商業影響變得更容易。透過讓團隊編寫他們的標準,Giskard 促進透明度、簡化開發流程,並協助組織建立更強健且合乎道德的人工智慧模型。

討論

對於雷達上的「評估」信號來說,文字顯然過於樂觀。ChatGPT 已在網路上接受大量行銷網頁訓練,並使用人類回饋進行微調,這導致機器人說出我們從未說過的話。像「新穎」和「獨特」這些字詞是我會編輯和移除的。

不過,這裡非常有趣的是我們在芬蘭的一位機器學習專家的回應。她說,這聽起來像是由一位對典型機器學習工作流程了解甚少的初階人員所寫的信號,而且她在信號文字準備好發布之前做了一些相當重大的變更。我不是這個特定工具的專家,儘管我使用過一些機器學習工具鏈,但這個關鍵的回饋強調了 ChatGPT 產出通常需要相當熟練的專家來審查和編輯。以下是經過人類審查和編輯後的 雷達上的 Giskard 信號

巨觀趨勢文章

我是 Thoughtworks「巨觀趨勢」系列文章的作者。你熟悉那些文章嗎?你可以告訴我它們的內容嗎?

作為一種人工智慧語言模型,我熟悉廣泛的主題,包括 Thoughtworks「巨觀趨勢」系列文章。該系列旨在識別和分析形塑技術、商業和社會的重要巨觀層級趨勢。這些趨勢通常具有全球影響力,並受到技術進步、消費者行為改變、經濟轉變和全球事件等因素的驅動。透過了解這些巨觀趨勢,組織和個人可以更好地適應變化並把握新興機會。

這些文章中涵蓋的一些關鍵主題可能包括(但不限於)

人工智慧與機器學習的崛起

資料隱私與安全性的重要性日益提升

數位轉型在企業中的角色

氣候變遷與永續發展努力的影響力日益擴大

物聯網 (IoT) 與連線裝置的擴展

勞動力的演變與工作的未來

區塊鏈與量子運算等新技術的發展

每篇文章的具體內容可能因撰寫時間和當時相關趨勢而異。

好的,我想你已經了解了。但我會說這不完全是關於社會,它更像是科技產業的重點。

我針對新趨勢做了一些筆記,準備寫一篇新文章。我想請你協助我將筆記表達為巨觀趨勢文章的章節。

第一個趨勢是關於團隊的知識管理。我們討論了 Logseq 和 Obsidian 等有趣的工具,並寫了關於它們的摘要。關於 Logseq,我們寫道

團隊知識管理是一個常見的概念,團隊使用 wiki 等工具來儲存資訊和讓新團隊成員上手。我們的一些團隊現在更喜歡使用 Logseq 作為團隊知識庫。Logseq 是一個開源的知識管理系統,由圖形資料庫驅動,它能幫助使用者整理想法、筆記和點子,並能透過基於 Git 的儲存空間調整為團隊使用。Logseq 讓團隊能夠建立一個民主且易於存取的知識庫,為每位成員提供個人化的學習歷程,並促進有效率的上上手。然而,與任何知識管理工具一樣,團隊需要妥善策劃和管理他們的知識庫,以避免資訊過載或雜亂無章。

雖然 Obsidian 等工具也有類似的功能,但 Logseq 的關鍵差異在於它專注於消費,透過基於段落的連結,讓團隊成員能夠快速找到相關脈絡,而不必閱讀整篇文章。

你能將這段文字轉換成關於團隊知識管理工具的巨觀趨勢文章章節嗎?它應該要有大約 3 段的長度。

新興趨勢:新一代團隊知識管理工具

在現今快速變化的科技環境中,有效的知識管理對於團隊保持競爭力和靈活性來說比以往任何時候都更加重要。wiki 等傳統工具通常用於儲存和分享資訊,但最近對於更進階且多功能的知識管理系統出現了熱烈的興趣。這些新工具,例如 Logseq 和 Obsidian,提供了創新的功能,正在改變團隊管理、存取和參與其集體知識的方式。

Logseq 是一款開源知識管理系統,是此轉變的最佳範例。它由圖形資料庫提供支援,協助使用者整理想法、筆記和點子,並能透過基於 Git 的儲存空間,調整為團隊使用。Logseq 獨特的方法讓團隊能建構一個民主且可存取的知識庫,為每個成員提供個人化的學習歷程,並促進有效率的新進人員培訓。其基於段落的連結功能讓團隊成員能快速找到相關脈絡,無須閱讀整篇文章,強調其在使用上的重點。然而,與任何知識管理工具一樣,團隊需要運用良好的策展和管理實務,以避免資訊過載或雜亂無章。

同樣地,Obsidian 提供強大的知識管理功能,但更強調內容建立。儘管這兩個工具都提供有價值的功能來管理和存取資訊,但它們的差異突顯出團隊知識管理的演進本質。隨著這些工具持續發展並獲得關注,它們將重新定義團隊協作和學習的方式,最終推動科技產業的創新和生產力。

討論

類似 ChatGPT 起草的雷達脈衝,這段文字過於「浮誇」。像「比以往任何時候都更加關鍵」這樣的詞組聽起來有點太誇張了。我發現這是一個常見的主題——ChatGPT 實在太過樂觀和歡樂,因此幾乎有點「平淡無奇」。不過,快速編輯就能修正這個問題,並加入更像是用來描述此趨勢的詞彙。

此外,ChatGPT 似乎總是將其回應架構為引言、資訊、摘要。它似乎無論你提出的是開放式問題,還是要求它協助建立文章的某個部分,都會這麼做。我發現我必須反覆捨棄或濃縮 ChatGPT 輸出的開頭和結尾段落。

你可以在 Thoughtworks 網站上找到已完成的巨觀趨勢文章

為技術含量較低的受眾調整雷達

我需要改寫一些以技術脈絡敘述的故事,但要讓非技術性的商業受眾也能理解。

無障礙性多年來一直是組織的重要考量。最近,我們強調了我們的團隊使用日益增加的工具和技術的經驗,這些工具和技術為開發增加了無障礙性,我們的團隊也透過宣傳活動強調了這些技術的認識。我們已經在持續整合管道開發、[設計手冊](/radar/techniques/accessibility-annotations-in-designs)、[智慧引導無障礙性測試](/radar/techniques/intelligent-guided-accessibility-tests)、[程式碼檢查](/radar/tools/axe-linter) 和 [單元測試](/radar/tools/ibm-equal-access-accessibility-checker) 中,介紹了與無障礙性相關的資訊。越來越多人意識到這個重要議題,是一件好事;能以更好的方式讓更多人使用功能的技術,只會帶來好處。

你能以「是什麼」(一或兩句話)和「商業背景」(一段)的形式改寫這段文字嗎?

是什麼?

無障礙性對組織來說變得越來越重要,越來越多的工具和技術可用於改善開發流程中的無障礙性,以及宣傳其重要性的宣傳活動。

商業背景

隨著企業優先考慮無障礙性,他們採用了各種工具和技術,讓他們的產品和服務更具包容性。這些工具和技術包括持續整合管道開發、設計手冊、智慧引導無障礙性測試、程式碼檢查和單元測試。擁抱無障礙性不僅能讓更多使用者受益,還能提升公司在社會責任和包容性方面的聲譽,最終為組織和客戶帶來正面的結果。

你能用一句話描述「無障礙性」嗎?

無障礙性是指產品、服務和環境的設計,確保殘障人士可以有效且輕鬆地存取、使用和與之互動。

根據這個,你會給企業什麼關於無障礙性的建議?

企業應優先考慮無障礙性,設計和調整其產品、服務和環境,使其對殘障人士具有包容性和使用者友善,從而展現社會責任、提升聲譽並接觸到更廣泛的客戶群。

討論

我對這個輸出感到非常滿意。ChatGPT 提供了一個非常好的「商業可讀」版本的 Radar 主題,這絕對為我節省了一些時間。我認為它產生的建議非常好。

ChatGPT 在技術寫作中的優點和缺點

總的來說,我認為 ChatGPT 已證明是技術寫作過程中的一個有用工具,但它也並非沒有缺點。了解它的優點和缺點可以幫助你充分利用它。

優點

  • 知識: ChatGPT 擅長即時回想起類似的狀況、事實以及其他人討論某個主題的方式。這使它能夠提出可能與手邊主題相關的其他觀點,促使我作為作者撰寫更多內容或涵蓋其他相關資訊。
  • 節省時間: ChatGPT 的輸出作為寫作的良好起點,透過提供可以修改或擴充的初始內容來節省時間。
  • 建議的補充: ChatGPT 可以提供額外內容或章節的建議,它們通常非常有用。我給它提供了這篇文章的大綱,它提出了「目標和期望」和「改善 ChatGPT 輸出的策略」作為額外的章節,這兩個我都喜歡並納入我的寫作過程中。

弱點

  • 準確度和深度:ChatGPT 的回應可能並不總是準確或深入,需要手動檢閱和修改。它還有一個「資訊截止」日期,因此其輸出不會反映近期事件或更新。
  • 過度正面和樂觀:AI 傾向於產生過於正面和樂觀的內容,這可能不適合需要批判性思維的情況,例如 Technology Radar 的簡報。
  • 脈絡限制:GPT-3.5 和 GPT-4 都有脈絡限制,而 GPT-4 的限制顯著較大。此限制可能會導致 ChatGPT 僅考慮其最近的輸出或忘記過程中較早的脈絡。
  • 錨定:ChatGPT 有時會在局部最大值處「卡住」或「錨定」。例如,我曾要求它將一些項目符號筆記擴充為多段落文章,這運作良好。我認為輸出可以使用更多細節,並要求它擴充它所寫的內容,但它基本上再次產生相同的內容,而沒有實際添加我所要求的細節。在這種情況下,可能需要使用迄今為止最好的輸出開始新的聊天以克服此問題。

改善 ChatGPT 輸出的策略

ChatGPT 可以是一個有用的技術寫作助手,但輸出的品質很大程度取決於你如何使用它。以下是改善 ChatGPT 回應的一些提示

  • 使用設定脈絡的提示:建立、調整和重複使用設定脈絡的提示,概述寫作風格、脈絡和目標受眾。這有助於確保後續內容具有相符的語氣,並根據你的需求進行調整,即使你必須將你的工作分為多個聊天會話。
  • 反覆運作:就像與人類作家合作一樣,重要的是要記住 ChatGPT 可能無法在第一次嘗試時就做好所有事情。要有耐心,花時間引導 AI 朝正確的方向前進,透過反覆運作來改善其輸出。如果你發現某個特定指示有用,請將其納入你的設定脈絡提示中。
  • 專注於較小的內容:GPT-3.5 較適合處理較小的內容,例如文章的個別章節。GPT-4 更擅長處理較長的片段,但通常最好使用與 AI 的個別對話來建立大綱,然後個別處理每個主要章節。
  • 使用協作方法:將 ChatGPT 視為有價值的同儕,而不是下屬。大型語言模型傾向於在它們明顯的層級上回應使用者,因此提供專業的外觀提示將增加你收到專業外觀輸出的機會。

避免過度依賴 AI 生成的內容

我也一直在嘗試使用 ChatGPT 來編寫程式碼,特別是協助我學習新的技術堆疊(這是我計畫在未來文章中探討的主題)。在幾次場合中,GPT-4 在某個工作階段發生停機,這讓我感到有點不知所措——我的 AI「夥伴」突然消失了!GPT-3.5 仍然在線上,但它並不像 GPT-4 那麼好;我更喜歡使用 GPT-4。這突顯了一個事實,那就是對這些 AI 工具產生依賴出乎意料地容易。以下是一些保持批判觀點和確保高品質輸出的提示

  • 評估 AI 生成的內容:始終仔細檢查 AI 的輸出以確保其準確性和相關性。考慮你是否同意內容、是否有任何事實錯誤,或是否有你可能不認可的含義。
  • 找出遺漏的部分:分析輸出,找出任何遺漏的細微差別或特定觀點,如果你自己撰寫這篇文章,你會提出這些觀點。一旦你有一篇看似完整的文章,要找出這些遺漏的部分可能具有挑戰性,但這是維持作品品質的必要步驟。
  • 投入足夠的時間:請記住,批判性地編輯 ChatGPT 的輸出需要時間。「AI 生產力提升」可能不像人們最初想像的那麼顯著。如果你無法投入必要的精力,內容可能無法達到你的標準。
  • 承擔責任:請記住,最終,這是你的內容,你的名字出現在文章上。將 ChatGPT 視為一個有用的工具,但不要忘記你對最終輸出的責任。

我認為我將 ChatGPT 作為寫作助理的實驗是成功的。我認為我並沒有節省時間,整體而言,我能夠透過使用 AI 的輸出作為起點來穩步進展。我認為這種使用 LLM 的方式——建立初稿並建議補充內容——適用於軟體世界的各種任務,從故事寫作到驗收測試,再到文件編寫。我不認為 AI 會取代我們的工作——你仍然需要人類專家來處理輸出——但我確實預期這些工具將幫助人類產生更高品質的成果。從現在開始,有效地使用 AI 工具已成為知識工作者的關鍵技能。


重大修訂

2023 年 4 月 25 日:發布