2012年1月28日 星期六

軟體專案的素質之二 ─ 整體設計之 系統設計篇

上一次跟大家談的是專案管理,這次輪到談談整體設計的部分,整體設計主要分為系統設計,架構設計和圖形語言的有效使用,這些東東同樣地都是範圍相當大的題目,這次takeshi將先從系統設計講起...

由於takeshi本身是developer出身,自認為自己對這一塊領域和其他領域相比(專案管理和自動化工具)應該要來的更得心應手一點吧,同樣地takeshi再把心智圖放在底下供大家參考囉~
軟體專案的素質,本blog整理

如果朋友們有其它想法或意見,takeshi歡迎大家的意見ㄛ~

首先takeshi要先推薦之前在Kenming's鮮思維blog看到的好文「{程序員邀稿} 以架構為中心的主要設計產出(1)」(希望各位有興趣的朋友也能閱讀此文,會有很多收穫ㄛ),在此文中,Kenming提出了以下概念圖

就takeshi理解,Kenming在文章中提及,軟體系統開發應該由需求觀點開始,向user蒐集功能性和非功能性需求;然後再把蒐集到的需求帶進結構觀點,該觀點主要是處理系統的功能性需求,對問題領域(Problem Domain)作分析以導出領域模型(Domain Model);接著再進入實作觀點,該觀點主要是處理非功能性需求,考慮使用什麼樣的架構、平台或技術來支援領域模型的運作。

takeshi要提醒三點

1. 以上這三個主要步驟是使用覆往式(Iterative & Incremental)開發來進行的,一次覆往(Iteration),針對當下蒐集欲實作之需求(usecase)為主,走到下一個覆往,再慢慢重構(Refactoring)。

2.需求價值高(對user)和技術難度高(對開發團隊)的需求先作,這樣一來,專案走到越後面,會越穩定,可參考RUP的Elaboration和Construction之介紹。

3. 不要忘記專案管理和自動化測試與相關工具的支援ㄛ!

然而,takeshi自己在實務上的經驗,發現到很多開發團隊所採取的步驟如下
takeshi在實務上的觀察,本blog整理

由上圖可看出,這些開發團隊收到需求之後(需求觀點),立刻就開始決定技術平台和設計等,並開始實作(實作觀點),完全忽略了領域模型的存在(結構觀點),這樣的軟體開發步驟,會導致最終產出的系統缺乏彈性,以至於少許的需求變動就讓系統面臨大改的窘境;而系統不斷的面臨大改,導致系統的整體設計概念崩潰,而讓系統最終走入惡性循環的命運。

所以結構性觀點到底是什麼呢?takeshi認為結構性觀點其實是物件導向系統開發的核心,也就是領域模型(Domain Model),那領域模型到底是啥東東呢?takeshi可能要先稍微介紹一下程式語言的歷史演進,再跟大家說明到底啥是領域模型。

程式語言的演進簡史
從程式語言開始發展的1950年早期,到目前為止,軟體系統的開發方向是往越來越高階的抽象化層次
  • 機器語言(Machine Language)
電腦問世後的第一個程式語言,直接使用二進位表示,可由機器CPU直接讀取的語言,執行速度非常快,因為是由機器直接讀取,所以可讀性(human readability)低,故學習曲線相當高,且在不同的機器上,程式就得改寫,(不同的CPU吃的指令集不同),完全無可攜性(portability)可言。

  • 組合語言(Assembly Language)
為提高機器語言可讀性,一種便於記憶和理解的符號表示式,由組譯器(Assembler)轉譯成特定CPU的機器語言,然後再給其CPU執行,可攜性部分,是針對一種家族的CPU,如果是其它廠牌的CPU,轉譯出來的機器語言可能無法執行,目前在底層硬體操作或是驅動程式仍然可見到它的蹤跡。

  • 高階程式語言(High Level Programming Language)
為了提高程式設計師的生產力,故開發了可讀性更高的程式語言種類,由人類容易閱讀的英文單字組成,不同的機器有提供不同版本的編譯器(compiler),將撰寫好的高階語言吃進其編譯器,編譯成相對可執行之機器語言。

  • 結構式語言(Structured Programming)
高階程式語言的一種,具有三種特性,為依序執行(Sequence)、條件判斷(Selection)和反覆執行(Repetition),結構式語言通常是以演算法的資料結構和執行的流程與順序來解決問題領域的問題,故系統開發人員是從電腦運算平台的角度來看待問題領域。

  • 物件導向語言(Object-Oriented Programming)
高階程式語言的一種,除了包含結構式語言的特性之外,還另外具有三種特性,封裝(Encapsulation)、繼承(Inheritance)和多型(Polymorphism),物件導向語言可將問題領域之重要概念的相關資料與處理行為加以封裝,形成類別(Class),將概念相關之類別作一般化/特殊化(Generalization/Specialization)繼承處理,抽取出共用與非共用的程式碼區塊,最後也可藉由多型去改變類別行為的變異點,達到程式演算法共用的效果。故物件導向語言可將問題領域加以抽象化,將程式演算法從問題領域概念中抽離出來,系統開發人員便有機會從問題領域本身的角度來看待問題,接著才去思考運算平台的實作

由上簡史可看出,我們常說物件導向語言的特性就是封裝、繼承和多型,而它跟結構式語言之間的分野,最大的不同,就是可以幫助系統開發團隊可以使用一個更直覺、更有彈性的方式來開發系統,讓相關人員可以更聚焦在領域問題上!

有關於系統設計方面,近年主要採用的兩種設計風格如下
Transaction Script設計風格

Martin Fowler的定義如下
Organize business logic by procedures where each procedure handles a single request from presentation.

Transaction Script設計風格,本blog整理

簡言之就是SD依照SA開出的需求規格,重頭到尾地把相關設計與開發實作出來,然而這樣的設計風格,會不自覺地使得系統的架構與商業邏輯之程式碼綁在一個或多個需求上,如上圖所示,系統的每一個tier都綁在由需求延伸出來的紅線上,然而end user的需求是一天到晚都在變動的(I know it when I see it),所以Transaction Script設計風格的系統架構很容易就會因需求變動發生大範圍的影響,使得接受需求變動的彈性較低。

 Domain Model設計風格

依Martin Fowler的定義如下

An object model of the domain that incorporates both behavior and data.
Domain Model設計風格,本blog整理

此設計風格主要是強調在開發系統時,除了user的需求之外,其實我們還要更關注user所在的商業環境!因為user會提出需求,其背後是因為商業環境的驅動使然,所以系統除了要提供滿足user需求的服務之外,其核心應該建立在user背後的商業環境上,因為其和需求本身相較,是本質上穩定不變的部分。如此,即使user的需求天天在變,系統受到影響的部分將會有效減少,因為user的商業環境並不是天天在變動的。然而此種設計風格是需要SA大力支持的,因為需要有人作商業塑模,所以SA對於軟體工程的認知和系統抽象化思考是此設計風格事觀重要的一環。

此外,Martin Fowler也在『Patterns of enterprise application architecture』 一書中,提出了他對Stransaction風格和Domain Model風格的適用範圍,如下圖(質化,非量化)...

不同設計風格在不同系統複雜度之下所花費的心力比較圖,Patterns of enterprise application architecture
在上圖中的三條線各自代表不同的設計風格,其中Table Model 為.NET 相關技術,不在此討論範圍內,X 軸代表系統的複雜程度,Y 軸代表系統的維護心力,由此可看出Transaction Script 的設計風格是適合較小型、邏輯簡單的系統,而Domain Model 的是適合較大型、邏輯複雜的系統。

一般的作法是,當系統規模較小、商業邏輯相對簡單時,首先可以考慮先使用Stransaction style,來快速產出可運作系統(因為它初期所要花費的心力最小),但當系統欲處理之商業邏輯慢慢演變得越來越複雜、規模也越來越大時,takeshi建議趕快把系統重構成Domain Model style,來取得 面對複雜需求,仍然可以有效降低花費心力和提成系統彈性的能力。

如何使用Domain Model設計風格
Domain Model設計風格是目前takeshi在作系統設計的主力,所以本文章之後都聚焦在Domain Model上來作討論;另一方面,takeshi認為,Transaction style在實務上到處可見,有想要繼續討論的朋友可以跟takeshi說ㄛ~


Domain Driven Design
Domain Model設計風格是一種概念,換言之,可以實踐它的方式著實不少,takeshi目前實踐Domain Model的方式是遵照著Domain Driven Design社群的建議來作為設計的指導原則,有興趣的朋友們也可以參考此社群提供的功能完整的sample project(也有.NET版本的ㄛ);這個社群網站最初是起源於對一本書的讀書會,這本書就是『Domain-Driven Design: Tackling Complexity in the Heart of Software』,takeshi認為,此書是想要跨入Domain Model設計領域的朋友們,一定要讀的一本著作ㄛ,強力推薦~

FOG Design Pattern
這是欲加強自身功力的developer的必讀著作『Design Patterns: Elements of Reusable Object-Oriented Software』,這本書是討論design pattern的第一本書(1994年出版),也是作者的論文,所以有很多不易咀嚼的文章段落和少見的程式範例(Small Talk和C++),現今已有很多很友善的書籍來針對design pattern作討論,像takeshi的第一本design pattern的書是『Head First Design Patterns』,真的有好懂很多,強力推薦給有興趣的朋友們~

另外takeshi要再跟朋友們分享的是,takeshi在一開始學習design pattern時,一直找不到機會使用它們,過程中也和許多developer討論過,有些developer的論點是:「design pattern只是一種理論,實務上很難作發揮」,但經過takeshi多年下來的驗證 ,發現這完全是因為設計風格的問題!我們學了design pattern但使用不上的原因,完全是因為我們採取的是Transaction風格的關係,一旦我們採用了Domain Model風格,design pattern你想不用都難

實務經驗分享

takeshi使用Domain Model設計風格來實作專案大約經歷了兩個寒暑,其中也專案上線後由其他Developer接手維護的例子(當時takeshi已離開此工作環境了),當初takeshi在使用Domain Model設計風格來實作專案,希望能達到以下三點效益
1. 系統能有一個整體設計概念(核心)
在Domain Driven Design中提出,一個基於Domain Model作出的系統設計,會成為Ubiquitous Language,它記錄著此系統的核心概念;takeshi認為只要後手developer能搞懂這個由Domain Model組成的類別圖(當然還是要搭配循序圖和code),後手developer應該很快地就能搞懂此系統的商業邏輯全貌。

2.彈性大、擴充能力佳
由於系統提供的服務,是基於Domain Model之物件互動所產生的,一旦需求有變動,後手developer只要重新搭配物件互動的流程,即可完成變動之需求,系統彈性大 ;如果是新的需求, 後手developer也可以在domain model的整個繼承樹裡,找出變異的方法,透過繼承和多型的手段,來快速提供新的行為,而不須更動原本已撰寫好的物件互動流程,系統擴充能力佳。

3. 系統邏輯與使用者介面(User Interface,UI)完全隔離
由於系統的商業邏輯是基於Domain Model及其產生物件之互動所完成,所以跟系統的UI是完全沒有關係的(有效隔離);一旦End User要求變動UI,後手developer在更改UI時,完全不會影響到系統商業邏輯;如果是需要在UI上增加新的欄位,通常該欄位值也是Domain Model類別的特定屬性(Property)(也就是封裝),所以對後端系統商業邏輯也不會有大的影響(甚至沒有影響)。

而實際上,當後手developer在接手takeshi的專案時,的確要經過一段陣痛期(期間長度因人而異),因為從原本的Transaction設計風格要轉換到Domain Model設計風格,是一種思想轉換(paradigm shift),當通過陣痛期之後,經takeshi跟這位後手developer的確認,的確達到了takeshi一開始希望產生的效益!但對於沒有通過陣痛期的developer來說,他們大概會說:「這是什麼鬼東西,這種程式到底是怎麼寫出來的啊!」,對這些developer,takeshi也只能說:「你們的固執己見,有可能讓你們自己喪失了一個發現軟體開發新視界的機會ㄚ」。

2012年1月3日 星期二

軟體專案的素質之一 ─ 專案管理

有時候takeshi會跟同事們討論,軟體專案天生擁有這麼多複雜的特性,像是客戶需求不停地變動、新技術不停出現、系統效能不彰、外在環境變動(市場波動或政治因素等)、內在環境變動(資源不足或溝通障礙等)等...,在這些複雜的因素之下,我們到底要怎麼判斷一個軟體專案的體質優劣呢?

關於這點,雖然 takeshi也只是新手PM,有很多東東要學習,但是仍有一些個人的想法可以跟各位朋友們分享(沒看過豬走路,也吃過豬肉ㄚ),takeshi認為至少可以從三點來判斷軟體專案的素質,那就是專案管理、整體設計和自動化支援程度!

takeshi雖然嘴巴上講了粉多次,但還沒把它們好好地寫下來過,為了可以讓takeshi自己可以好好整理這些概念,takeshi就這三個概唸作出發,畫出了以下心智圖,心智圖檔案在這裡



由心智圖可看出,這三個概念其實是由很多子概念組成的,這每個子概念至少都可以多讀個好幾本書說>"<, takeshi也不是全都懂,或是全使用過,不過察覺是智慧的開端,takeshi"儘量"就每個概唸作簡單的介紹,並附上相關連結,讓有興趣的朋友們去深入瞭解~

但礙於要提及的東東粉多,所以takeshi打算拆成多個文章來介紹它們,這次就先從專案管理說起,其他的部分就請各位朋友們耐心期待一下嚕~

專案管理
說到專案管理,是每個人都掛在嘴上的東東,它的定義是指「一個暫時性(temporary)的組織與努力付出,在一段事先確認的時間內,運用事先決定的資源,以產出一個獨特的(unique)且可以事先定義的產品、服務或結果。」,就此定義來說,每個人多少都有專案管理的經驗了,只是範圍和目的的不同罷了,買房子是一種專案管理,結婚也是一種專案管理,甚至生小孩也是一個偉大的專案管理工作ㄚ!當然我們這邊主要是針對 軟體開發 作討論啦 :p

方法論
定義為「在軟體工程與專案管理中,方法學通常是指一系列編撰好的建議方法,有時還包括訓練材料、正規教育性程序、工作表和圖像工具。與其被稱為方法學,這些概念比較適合叫作方法」;雖然以工程角度來看,軟體開發是一項非常年輕的學門,但已有許多專家學者提出了非常多的方法論,來解決軟體開發中各項活動所遇到的各種問題。takeshi只就常見的 瀑布式開發 和近年非常容易聽到的 疊代式開發 作介紹~

瀑布式開發
定義為「開發被認為是按照需求分析,設計,實現,測試 (確認), 集成,和維護堅定地順暢地進行」,其實也就是依循著系統開發生命週期(SDLC, System LifeCycle)的順序,一步一步的往下走;其定義背後其實有一種假設,那就是使用者需求變動很少,所以該模型假設因需求變動而回到上一步驟的頻率很低,而且每次回到上一步的風險是很大的,例如在測試階段使用者發現系統效能不符合預期,故要求改善,然而因系統架構已然定型,故最後為了要克服系統效能不彰的缺陷,必須冒著更改架構的高風險來達成。

然而在實務上takeshi接觸到的專案,幾乎都是以此概念在進行的,即使是他們表面上打著疊代式開發的招牌...

疊代式開發
定義為「整個開發工作被組織為一系列的短小的、固定長度(通常兩到四週)的小項目,被稱為一系列的疊代。每一次疊代都包括了需求分析、設計、實現與測試。採用這種方法,開發工作可以在需求被完整地確定之前啟動,並在一次疊代中完成系統的一部分功能或業務邏輯的開發工作。再通過客戶的反饋來細化需求,並開始新一輪的疊代」;在以上這麼冗長的定義來看,takeshi覺得最重要的概念是提早把風險暴露出來,在每一個疊代要被release之前,一定要讓系統的終端使用者確認和使用,讓他們越早把問題和需求變更反饋給開發團隊,調整的功夫就越小;takeshi認為這是疊代式開發最具有價值的環節之一,然而在上一節提到,許多表面上打著疊代式開發招牌的團隊,通常是開發的確切了多個疊代,但往往卻在最後系統上線之前的UAT(User Acceptance Test),才讓終端使用者上測試環境測試,導致在最後一刻爆出許多問題需要處理,在此時花費的成本是最大的...

以下秀出一個defect在系統不同的生命週期所要花費的成本比較圖 (美元計),供大家參考
參考網站在這裡

敏捷式開發方法 (Agile Software Development)
敏捷式開發方法是近年來相當火紅的軟體開發概念,他的中心思想是Lean Software Development(精益軟體開發思想,takeshi不太想用中文講它啦...),源自於日本豐田汽車公司的製造概念Lean Manufacturing(同時他們也是Just In Time的創造者),其重點就是要組織全面消除浪費;而在軟體開發領域來說,軟體的交付對於客戶公司的管理階層來說,其實是一種端對端的概念,也就是說「我付了一筆錢,等一段時間,就有一個軟體自動化系統可以使用」,而Lean就是針對這端到端之間的所有流程,都要把浪費降到最低;而所謂的浪費是指「任何不能為客戶增加價值的行為即是浪費」;敏捷式開發即是把其思想當作核心,演變出了相對應的方法論,來幫助軟體專案流程。

此外,敏捷式開發方法也被稱為是「低儀式性」的,就是它跟傳統的開發方法比較起來,在系統開發週期中的每個階段所要求的產出文件,要少了很多,一般的敏捷式開發方法通常到專案結束的產出只有 需求文件(user stories)、自動化測試程式和滿足客戶需求的可運行系統。通常少於20人的團隊較適合敏捷式開發,不過takeshi認為還是要看當下環境怎麼去做配合啦。

現今的敏捷式開發方法,可謂是百家爭鳴,就takeshi的理解,目前的主流可分為三個部分...
指導管理階層如何使用敏捷式管理。
指導工程人員如何使用敏捷式開發。
指導如何把開發團隊跟維運團隊緊密結合。

以上列出的這三個不論是要稱它們為框架、方法論或概念也好,反正它們就是分別從不同的角度 管理、開發和維運來切入,幫助其中參與之相關角色來採用敏捷式開發。takeshi對這三個東東雖然寫得少,但它們是粉重要的ㄛ,只是這三個東東可以寫得粉長,而網路上已經有很多優秀的資源可供參考了,takeshi有機會再跟大家討論唄~

關於敏捷式開發有一個非常重要的觀念是大家不可不知的,那就是一定要採用 TDD(Test Driven Development) !(自動化、可回歸的測試程式貫穿整個單元、整合、系統測試)因為當測試程式的涵蓋率夠高的時候,它會形成一張品質的安全網,成為整個專案的重要基石,敏捷式開發之中提到的每個疊代都要release可用的系統、不停重構、提早暴露風險,etc,都是建構在自動化測試之上的ㄛ!通常這時候就會有人問說,到底測試程式要寫多少才足夠呢?Martin Fowler的回答是「至少要跟專案程式碼差不多多吧!」

Rational Unified Process (RUP)
目前由IBM公司在維護和推廣此方法論,RUP也是疊代式開發的一種類型,但它跟敏捷式開發比較起來,就好像是在光譜的兩個極端(也就是高儀式性),它要求在其定義的管理活動的每個階段,都需要產出或修改相關文件,所以相關人員需花費許多時間來作維護。所以RUP通常適合多於20人以上的大型專案。撇開專案文件的要求不說,takeshi是相當喜歡此方法論的概念^^

Agile Unified Process (AUP)
剛剛提到Agile Software Development和RUP就像是兩個極端對立的世界,而Scott Amber提出了敏捷化(agilize)的RUP版本 AUP,它介於Agile和RUP之間,既顧及了在RUP規範中要求的必要文件產出,在其他部分則是採用了Agile的活動,如TDD、AMDD (Agile Modeling Driven Development)、Agile Change Management和DataBase Refactoring等,使得開發團隊又多了一個新的選擇;以takeshi的看法,在台灣面向客戶的專案,採用Agile可能執行面有困難(公司內部的專案可行性可能比較高),因為通常客戶還是會要求要有專案相關文件(需求文件、設計文件、測試計畫、佈署計畫,etc),而RUP是太重量級了,所以AUP可能不失為是個好的選擇ㄛ~

裁切(Tailor)
takeshi要提醒一下,這世上所有的軟體開發方法論,都要求使用者在使用時,要配合當下環境作適度的裁切,而不是一味的照單全收,到最後通常會落得消化不良的下場ㄛ

風險
以上takeshi所提到的軟體開發的方法論,其主要用意都是一樣的,就是如何規避風險,來產出user滿意且品質良好的軟體系統,只是採取的工具與方法不同罷了(有些是強調文件的完整性,有些是強調產出隨時可運行的系統);所以我們也要來瞭解一下這些"風險"到底有哪些呢?takeshi曾經上過的OO-226課程,把風險作了以下五種分類

  • 政治風險
人際關係不良、組織中的各種小團體、人性等,所產生的風險

  • 需求風險
溝通不良、誤解、亦或是User自己沒想清楚而造成需求衝突(I know it when i see it)所產生的風險

  • 資源風險
專案範圍、時程、資源(人力和預算等)和品質之間的衝突,所產生的風險

  • 技術風險
採用開發團隊所不熟悉的新技術,所產生的風險

  • 技能風險
開發團隊成員技能與任務的調配,所產生的風險,例如把系統UI的任務指派給專門寫Store Procedure的Developer :p

所以專案團隊在選擇開發方法論的時候,要考量此方法論是不是真的能解決或降低當下環境的風險,確定了方法論後,再依需求對方法論作裁切動作,試著run兩、三個疊代,再慢慢的調整方法論的細節,到整個方法論跟開發團隊非常契合為止~

專案管理 與 整體設計和自動化支援程度 的關係
從專案管理開始,決定採用哪種開發方法論,間接指定了採取哪一種 整體設計概念 和 自動化工具的支援程度;而決定了以上兩者,在專案實際開始執行時,又會回過頭來影響的專案管理的部分,而良性的影響,會漸漸成為良性循環,反之亦然。


takeshi在台灣實務上的經驗是,為數不少的清況下,專案成員不知道自己的專案是在run哪種方法論 或是把覆往式run成瀑布式 亦或是 壓根沒聽過上述提到的東東...,但takeshi認為這是影響專案優劣的重要起點,不可不慎ㄚ...