我的職業(yè)生涯大部分都在用各種身份去做咨詢，我參與了約 40 個項目。我的職業(yè)生涯是從營銷開始的，所以第一個項目是做營銷策略以及品牌建設(shè)；然后，我到了一家傳統(tǒng)的管理咨詢公司工作，負責(zé)戰(zhàn)略、創(chuàng)新以及運營項目；最后又到了一家全球性的設(shè)計公司工作，重點負責(zé)產(chǎn)品戰(zhàn)略、創(chuàng)新與上市。

在從事咨詢項目的這些年里，我發(fā)現(xiàn)了幾個有趣的模式：

• 好的項目不是從好的數(shù)據(jù)開始的，好項目是從好的框架或理論開始的。然后才是數(shù)據(jù)。有些咨詢學(xué)承認這一點（管理咨詢），但有些不那么認可（設(shè)計思維），而是淪為了經(jīng)驗主義的犧牲品，這個后面會詳細介紹。
• 好項目是那些我們最終采用的主要框架，而非我們一開始使用的框架。它是經(jīng)過細化、迭代的框架。在最好的項目里，證據(jù)是通過用不同的、相反的框架來進行觀察，然后再得出結(jié)論的。
• 那么什么才是好的框架呢？好的框架應(yīng)該恰如其分。既要足夠具體，可以讓我對特定情況說出一些有趣的東西，但又不會太過具體，以至于“過度擬合”，失去了更廣泛的適用性。一個很好的經(jīng)典例子是經(jīng)久不衰的波士頓矩陣。此外，我發(fā)現(xiàn)把一個學(xué)科的框架應(yīng)用到不同的環(huán)境下往往會產(chǎn)生有趣的、意想不到的結(jié)果。比方說，雖然價值流圖通常被認為是一種運營框架，但用在服務(wù)設(shè)計里面既可以添加傳統(tǒng)藍圖所缺少的信息層，又可以對信息的可視化加以組織。
• 咨詢項目要靠理性思維。思維這個東西似乎非常的抽象、無形，不過我發(fā)現(xiàn)，我們在解決問題的時候，大部分的思維都是以下這三種思維之一：自上而下/分解/演繹；自下而上/聚類/歸納；以及橫向/隱喻/平行思維。當然，我不敢說這里所列已經(jīng)足夠詳盡。但在實踐當中，當我被某個概念卡住，不知道如何進行下去時，空間隱喻會幫助我繼續(xù)推進：我的思考應(yīng)該往哪個方向走？應(yīng)該是向上、向下還是向水平移動？
• 在現(xiàn)實當中，總存在著這樣的模式，一旦被識別出來，就可以跨學(xué)科和跨部門應(yīng)用，啟發(fā)我們?nèi)绾稳ソ鉀Q問題：離散、隨機事件一旦聚集起來總會呈現(xiàn)出正態(tài)分布；如果事件不是離散的，而是有前后關(guān)系的，或具有反饋循環(huán)的，那么就會出現(xiàn)一條長尾，而且可適用帕累托原則。在資源有限的情況下，無論是要確定行動的優(yōu)先級，還是用戶在評估要不要下載app，做出的任何決定都可以用付出 vs 回報來建模。如果在資源有限的情況下審視有著不同議程的多個參與者，可能就會遇到類似公地悲劇、囚徒困境等模式。

為了系統(tǒng)化地整理這些洞察，我開始研究一系列原則。這些原則很好地捕捉了我對數(shù)據(jù)、框架以及思考之間關(guān)系的了解。我這么做是出于一個非常實用的目的，也就是系統(tǒng)化整理咨詢項目的做法。我探索了從波普爾的認識論到伽達默爾的解釋學(xué)的一系列知識創(chuàng)造的現(xiàn)有理論。在此過程中，我收集了數(shù)百個適用性不同的有用框架，并思考了對它們進行分類的方法。

以下是項目的當前狀態(tài)。

設(shè)計思維與經(jīng)驗主義陷阱

Priscilla 是一位專業(yè)的問題解決者。客戶則是一家國際銀行，該行要求 Priscilla 和她的團隊為私人客戶建立一套理想的開戶旅程，從而最大限度地提高客戶滿意度并最大限度地降低銀行成本。

從理論上講，Priscilla 可以使用許多工具和框架來開始解決問題：比如價值流圖、約束理論、Cynefin 框架以及系統(tǒng)工程等等。

實際上，這份任務(wù)簡介的收件人很可能是設(shè)計思維和服務(wù)設(shè)計的從業(yè)者。因此，Priscilla 和她的團隊將立即開始對客戶進行訪談。因為傳統(tǒng)可視化的設(shè)計思維框架的第一階段就是“移情”。

設(shè)計思維方法論的經(jīng)典表述

其假設(shè)是一個人用放空的、清晰的頭腦來面對一個問題解決項目，并從形成對研究對象的同理心開始。這種做法是有問題的，原因有三：

• 經(jīng)驗主義的方法是錯誤的：從純粹描述性的角度來看，其實我們從來都沒有以數(shù)據(jù)為開端：任何項目都是用預(yù)先存在的偏見和心理模式來處置的。無論我在項目開始前所掌握的知識如何，都會影響我的思考方式，包括從數(shù)據(jù)收集、特征工程，一直到構(gòu)思和建議的一系列流程都會受到影響。
• 經(jīng)驗主義方法是有偏見的：從更規(guī)范的意義而言，如果移情/數(shù)據(jù)收集是我們要做的第一件事，我們將不可避免地成為可用性偏見的犧牲品，而且我們會僅使用手頭可用的數(shù)據(jù)集。數(shù)據(jù)集有可能會出現(xiàn)采樣偏差，而且切片的方式未必就符合我們項目的目標。比方說，Priscilla 可能會假設(shè)收入水平是一個重要變量，并希望調(diào)查分屬不同收入類別的人。但非經(jīng)驗主義方法也許會建議應(yīng)該優(yōu)先考慮其他變量。
• 經(jīng)驗主義的方法是漸進的：套用亨利·福特的那句名言，如果我們從傾聽客戶的意見開始，我們只會聽到想要一匹更快的馬。如果 Priscilla 從客戶訪談開始，她很可能會聽到客戶想要服務(wù)快一點、錯誤少一點或者選項多一點之類的東西。簡而言之，沒人會提出任何有新意的東西。這種方法是很有用，而且也應(yīng)該在許多場合下使用，但如果我們追求的是真正的創(chuàng)新的話，這做法很快就會變成拖累。

這里的意思不是說數(shù)據(jù)和觀察不重要，也不是說我們應(yīng)該將現(xiàn)有對世界的建模強加到經(jīng)驗數(shù)據(jù)之上（又叫做金錘謬誤）。相反，我們應(yīng)該：

就觀察而言，我們用來觀察現(xiàn)實的任何智力工具或物理工具都是我們先前學(xué)習(xí)的結(jié)果；雖然在許多情況下，我們用來觀察現(xiàn)實的'鏡頭’對我們來說是不可見的，但能夠看到那些'鏡頭’，并隨心所欲地進行切換，這是消除我們觀察當中出現(xiàn)的偏見，并用真正新穎的方式去解決問題的關(guān)鍵。（注1）

我在這里選擇了設(shè)計思維來點評，但經(jīng)驗主義的缺陷也在以類似的方式困擾著其他世界：

• 在社會科學(xué)當中，這被叫做“P值操縱”（P-hacking，通常是通過增加樣本量，讓P值達到可以發(fā)表的程度），被認為是一大罪過。
• 在商業(yè)當中，“數(shù)據(jù)驅(qū)動的組織”這種正統(tǒng)觀念很容易就會轉(zhuǎn)化為收集和分析各種數(shù)據(jù)的范式，但卻沒有明確的戰(zhàn)略框架來確定我們關(guān)心什么樣的數(shù)據(jù)，什么數(shù)據(jù)代表什么變量等事情。
• 作為一門學(xué)科，大部分機器學(xué)習(xí)都將數(shù)據(jù)集視為是既定的，而且是以自下而上的方式來提取洞察。有時候這可能會與必不可少的更高階的上下文知識脫節(jié)。 2008 年，克里斯·安德森（Chris Anderson）曾寫過一篇題為“理論的終結(jié)：數(shù)據(jù)泛濫導(dǎo)致科學(xué)方法過時”的文章。雖然其中的某些措辭本身可能已經(jīng)有點過時，但里面談到的原則在今天比以往任何時候都更應(yīng)景，對于深度學(xué)習(xí)等學(xué)科來說更是如此：建模不是按照自上而下、理論驅(qū)動的方式進行，而是自下而上，往往以黑箱的方式進行。
• 再擴大化一點，講講我們是如何思考解決日常問題的。我們通常認為，只要多收集一些問題的相關(guān)信息，問題的答案就會呼之欲出，但事實上，這只是拖延開展解決方案的實際工作的一種手段。（注2）

數(shù)據(jù)很好，但數(shù)據(jù)從來都不是優(yōu)先的。排第一的永遠是心智模式。

解決問題的方法要想更有效，就必須克服經(jīng)驗主義，在遇到項目之前仔細審視我們的思維過程。

那么怎么才能做到這一點呢？

從先驗開始

要想采用非經(jīng)驗主義的方法，我們需要改變問題解決的思考方式。

創(chuàng)新應(yīng)該從“自內(nèi)而外”開始，先理論化，而不是從之前已經(jīng)做過很多次的數(shù)據(jù)收集開始。在科學(xué)的背景下這一點最重要。卡爾·波普爾認為，知識是靠猜想創(chuàng)造的，而猜想則是基于對這個世界的運作方式的現(xiàn)有理論，當我們有更好的解釋時去“篡改”舊有理論而得出的。用大衛(wèi)·多伊奇的話來說：

在用理論解釋事實之前，我們是不知道任何事實的。正如波普爾指出的，所有的觀察都是理論負載（theory-laden）的，從而可能出錯，像我們所有的理論一樣。

——大衛(wèi)·多伊奇（David Deutsch），《無窮的開始》

在設(shè)計和商業(yè)領(lǐng)域，這種方法獲得了羅貝托·維甘提（Roberto Verganti）等人的支持，他曾經(jīng)詳細討論過重大創(chuàng)新是如何來自于意義的轉(zhuǎn)變，而不是由外而內(nèi)的觀察。

為了讓問題解決的方法根植于理論而不是觀察，我們需要從兩個關(guān)鍵方面改變看待問題的方式：

先整體后部分：我們很容易會只見樹木不見森林。解決問題一個合乎邏輯的起點應(yīng)該是先問自己“我以前解決過哪些類似的問題”或者“這個問題屬于哪類問題”之類的問題。比方說，如果我的任務(wù)是要幫助 Acme INC. 在未來 4 年內(nèi)將利潤提高 20%的話，那么優(yōu)秀的顧問出于本能要做的第一件事，是在甚至都不知道關(guān)于 Acme INC. 的任何信息之前，把問題看作是盈利問題的一個具體實例。

先演繹再經(jīng)驗主義（注3）：這是波普爾所謂的“理論負載”的核心，應(yīng)該被同時視為描述性和規(guī)范性的主張：我們對經(jīng)驗世界的任何觀察都都有自己的偏見，都經(jīng)過了我們的心智模式的過濾；反之，意識到心智模式和偏見的存在，在遇到問題時我們就可以確保解決得更加縝密。

問題解決地圖：從部分轉(zhuǎn)到整體，從經(jīng)驗轉(zhuǎn)到先驗

作為遞歸重新解釋的問題解決

上圖描繪的是問題解決地圖（PSM）的概況。PSM這種工具可以引導(dǎo)我們航行在解決問題的世界里。這張問題解決地圖由x軸和y軸構(gòu)成。 x 軸是從先驗（演繹）到后驗（歸納），y 軸則是從部分到整體。X軸與y軸劃定的區(qū)域我們可稱之為項目空間，這個空間可以將問題、解決方案以及解決問題的活動匯聚到一起。這是一個理想化的系統(tǒng)，包含了與問題、潛在解決方案，以及問題解決團隊本身相關(guān)的所有實體、關(guān)系與代理。

項目空間是一個對現(xiàn)實世界（在圖中右側(cè)與項目空間相交）有實際影響的抽象實體。與項目空間相交的現(xiàn)實世界區(qū)域，包含了構(gòu)成問題以及有可能成為解決方案一部分的所有現(xiàn)實世界元素。另一方面，PSM 的左側(cè)包含了所有的先驗知識和工具，這些知識和工具不是問題本身的一部分，而是由問題解決者引入的。

在 PSM 上，我們可以識別出四個子空間：

• 定框圖、問題陳述（problem statement）空間，或者換句話說，我們打算如何處理問題，定義圖表本身的位置，定義我們所認為的“整體”需要解釋、預(yù)測或解決的宏觀現(xiàn)象是什么。
• 先驗空間，或框架空間，包含了我在項目開始之前所知道的一切（What I already konw），關(guān)于世界的最一般的想法（比如大量不相關(guān)的事件往往呈正態(tài)分布這一事實），非常具體的領(lǐng)域知識（比方說，鍍鉻鋼筋市場前三名的收入），以及我可能會出現(xiàn)的任何認知偏見。
• 表示空間（My representation of the actual world），是我的框架在變量操作下與現(xiàn)實世界的數(shù)據(jù)邂逅之處。這就是建模的空間，稍后會詳細介紹。
• 觀察空間（My observation of the actual world），包含了我的數(shù)據(jù)，對現(xiàn)實世界觀察的刻意抽象，以及我的變量，對我的數(shù)據(jù)的進一步抽象或操作化。
• 最后是現(xiàn)實世界（the actual world），也就是我們進行實際的觀察和實踐的地方。

我們已經(jīng)看到解決問題要從框架開始了?，F(xiàn)在的問題是，先驗框架是如何與現(xiàn)實世界的數(shù)據(jù)進行交互，從而建立與項目相關(guān)的知識的呢？

解釋學(xué)這個哲學(xué)學(xué)派在這方面提供了一個有趣的方向。

解釋學(xué)的循環(huán)：部分整合為整體，整體上下文化為部分

根據(jù)解釋學(xué)，意義是通過一個主觀過程從文本中提取出來的，而這個主觀過程一方面是將部分（具體段落）整合到整體（我們對文本整體、作者及所處的時代等的了解）——以及反過來，根據(jù)部分對整體進行語境化。

這種辯證法適用的地方遠不止文字，可以說所有形式的知識都適用，其中也包括解決問題的知識獲取部分。按照一種非經(jīng)驗主義的做法，我們會從自己已有的關(guān)于世界的想法、偏見、咨詢工具包與框架，以及掌握的領(lǐng)域知識開始。透過這些鏡頭，我們審視從研究中獲得的經(jīng)驗數(shù)據(jù)，并開始構(gòu)建有關(guān)項目本身的知識。

用問題解決地圖表示的解釋學(xué)循環(huán)

為了更好地理解解釋學(xué)循環(huán)對解決問題的作用，不妨再次請出我們的朋友，專業(yè)問題解決者Priscilla。假設(shè)她要為一位全球醫(yī)療保健客戶啟動一個產(chǎn)品戰(zhàn)略項目，其想法是未來的一個秘密 app 需要迎合特定受眾，她可能希望以用戶角色作為框架來對問題建模。

Priscilla（希望是有意識地）做出了使用角色的決定，這個決定馬上就決定了她項目的一些關(guān)鍵變量：人口統(tǒng)計數(shù)據(jù)（年齡組、性別、城市等）以及一些行為因素（購物習(xí)慣、下載的 app 數(shù)量等）將會有一席之地。然后，她繼續(xù)將這個框架與現(xiàn)實世界的數(shù)據(jù)聯(lián)系起來：她將根據(jù)這個框架規(guī)定的變量收集數(shù)據(jù)，并通過這一鏡頭去觀察它們（比如人口統(tǒng)計數(shù)據(jù)與行為數(shù)據(jù)）。然后她會再次將鏡頭拉遠，并將數(shù)據(jù)整合到框架和整個項目之中：她會問，結(jié)果是否說得通？是否有助于我對人們的行為做出好的解釋和預(yù)測？

答案是否定的。 Priscilla 的角色最終基本上只是自說自話，姑且假設(shè)結(jié)果并沒有告訴我們太多關(guān)于應(yīng)該如何開發(fā) app 的信息。那接下來該怎么辦？ Priscilla 可以做以下兩件事之一：

• 要么在變量層面進行干預(yù)，并決定，雖然角色這個框架挺有用，但也許她得被迫放棄人口統(tǒng)計變量，并將 app 的下載量作為用戶數(shù)字化能力的指標，去制定問卷并詢問用戶的習(xí)慣。
• 或者她可以更激進些，在框架層面進行干預(yù)：畢竟角色這條路有可能根本走不通；也許她可以從觀念模式開始，或者對問題進行徹底的重新定義，從以用戶為中心轉(zhuǎn)到以市場為中心，并從市場規(guī)模和細分市場開始。如果是這樣，她就得重新啟動這個循環(huán)，并用新的數(shù)據(jù)（比如競爭app的用戶數(shù)量和類型）將這個新框架（比方說觀念模式）與上下文關(guān)聯(lián)起來。

多重級聯(lián)循環(huán)

不妨進一步深化一下這個模型。如果即使用新的框架（比方說觀念模式）來替換角色模型還是不能得到有用的結(jié)果該怎么辦？ Priscilla 是不是應(yīng)該得出結(jié)論，認為問題陳述本身就表述不當，并對整個問題進行重新表述？

其實每一位顧問都知道，這種情況確實是經(jīng)常有的事。我們收到的任務(wù)簡報往往是客戶必須解決了才能實現(xiàn)自己心中的目標的問題。一旦我們用幾個不同框架的視角來看待問題的一些關(guān)鍵變量，就會意識到有些地方不對勁，這種情況下我們一般會建議換個方式重新陳述一下問題。

所以，很顯然，我們的循環(huán)不僅會把數(shù)據(jù)和框架綁定在一起，而且還可以識別出若干將不同整體與不同部分聯(lián)系在一起的循環(huán)。

整體會自上而下影響到部分：

• 如何表述問題會影響其他的一切。
• 選擇的框架會影響到如何選擇變量，影響到變量設(shè)計、數(shù)據(jù)采樣、數(shù)據(jù)的切片與切塊
• 框定變量的方式會影響數(shù)據(jù)集標記的或編碼方式

部分會自下而上影響到整體：

• 數(shù)據(jù)與標簽之間的不匹配會讓我質(zhì)疑變量
• 意識到模型需要額外的變量，或者必須刪除一些變量（比方說因為相關(guān)性問題）會導(dǎo)致我質(zhì)疑模型
• 如果模型在預(yù)測或解釋能力方面表現(xiàn)不佳，我會質(zhì)疑我的框架（稍后會詳細介紹）
• 正如我們所說那樣，如果部分框架經(jīng)受不住現(xiàn)實世界數(shù)據(jù)的考驗，我解決的也許是錯誤的問題。

下面的 PSM 總結(jié)了其中一些環(huán)環(huán)相扣的循環(huán)：

問題解決當中環(huán)環(huán)相扣的重新解釋循環(huán)

最后，我們再來總結(jié)一下討論過的要點。正如我們所看到的那樣，根據(jù)這個解釋模型，問題解決是一個遞歸的重新解釋的過程。在這個過程中，我們在框架、變量與數(shù)據(jù)之間建立循環(huán)，以便離正確的問題模型越來越接近。反過來：

問題解決的頭等大罪是想當然，直接套用某個框架開始研究：這樣做的結(jié)果只能得出枯燥乏味的見解與帶偏見的漸進式解決方案。

自然地，解決問題還有另一個迭代循環(huán)，那就是圍繞著解決方案的循環(huán)：一旦得到一個令人滿意的模型，你就會想到現(xiàn)實世界當中去開發(fā)原型，并測試這個模型的解決方案，然后根據(jù)反饋去糾正錯誤。這第二個循環(huán)可稱之為“生成循環(huán)”，在這個循環(huán)當中，我們會創(chuàng)造東西，這一點與第一個循環(huán)相反，第一個是解釋性的或預(yù)測性的循環(huán)。即將發(fā)生的大部分內(nèi)容都集中在第一個循環(huán)上面，不過稍后我們會再講講第二個循環(huán)。

PSM 問題解決完整的解釋模型

在下半部分，我們將進一步了解這個模型核心的主要實體，也就是“模型”。我們將研究什么是模型，模型如何分類，以及模型如何與變量和數(shù)據(jù)交互。敬請關(guān)注！

注：

1、為了進一步澄清這一點，不妨看看一個人會將經(jīng)驗主義當作正常的這幾種情況。

對于許多給定數(shù)據(jù)集的問題來說，初步數(shù)據(jù)分析（探索性研究）是常見做法。這么做沒有錯。不過，重要的是要意識到在探索數(shù)據(jù)集時，我們從來都不是在空白的狀態(tài)下做的：根據(jù)我們出自的學(xué)科，所學(xué)的技術(shù)以及問題陳述的不同，我們要么會查看特定列的數(shù)據(jù)類型和分布，要么會試著識別其中的行為模式等。提高我們對觀察數(shù)據(jù)所用的“鏡頭”的意識，是減少偏見和刺激創(chuàng)新的關(guān)鍵。

類似地，針對新穎、負責(zé)或混亂的情況，盡管像Cynefin和OODA循環(huán)這樣的框架建議要做“經(jīng)驗主義者”，采取“感覺優(yōu)先”的做法，但我們需要再一次意識到，這不會是在真空的環(huán)境下發(fā)生的。我們?nèi)魏胃兄顒酉胍獙ふ业臇|西，或者在混亂、不可預(yù)測的情況下采取的先發(fā)制人的行動，都要取決于我們已經(jīng)知道的東西：我們學(xué)會了要觀察什么？這種情況下我們可能采取的行動保留曲目是什么？我們的肌肉記憶會引導(dǎo)我們?nèi)サ绞裁吹胤?？因此有一個牢靠的“心智模式格柵”就很重要了。

2、誠然，管理咨詢遭遇這種經(jīng)驗主義者之害會少一些，但它存在其他的缺點，后面會看到的。

3、這里的先驗不是指康德的那種先驗，而是指先于（將成為問題系統(tǒng)的）特定現(xiàn)實的經(jīng)驗而存在的概念。

介紹

我的職業(yè)生涯大部分都在用各種身份去做咨詢，我參與了約 40 個項目。我的職業(yè)生涯是從營銷開始的，所以第一個項目是做營銷策略以及品牌建設(shè)；然后，我到了一家傳統(tǒng)的管理咨詢公司工作，負責(zé)戰(zhàn)略、創(chuàng)新以及運營項目；最后又到了一家全球性的設(shè)計公司工作，重點負責(zé)產(chǎn)品戰(zhàn)略、創(chuàng)新與上市。

在從事咨詢項目的這些年里，我發(fā)現(xiàn)了幾個有趣的模式：

• 好的項目不是從好的數(shù)據(jù)開始的，好項目是從好的框架或理論開始的。然后才是數(shù)據(jù)。有些咨詢學(xué)承認這一點（管理咨詢），但有些不那么認可（設(shè)計思維），而是淪為了經(jīng)驗主義的犧牲品，這個后面會詳細介紹。
• 好項目是那些我們最終采用的主要框架，而非我們一開始使用的框架。它是經(jīng)過細化、迭代的框架。在最好的項目里，證據(jù)是通過用不同的、相反的框架來進行觀察，然后再得出結(jié)論的。
• 那么什么才是好的框架呢？好的框架應(yīng)該恰如其分。既要足夠具體，可以讓我對特定情況說出一些有趣的東西，但又不會太過具體，以至于“過度擬合”，失去了更廣泛的適用性。一個很好的經(jīng)典例子是經(jīng)久不衰的波士頓矩陣。此外，我發(fā)現(xiàn)把一個學(xué)科的框架應(yīng)用到不同的環(huán)境下往往會產(chǎn)生有趣的、意想不到的結(jié)果。比方說，雖然價值流圖通常被認為是一種運營框架，但用在服務(wù)設(shè)計里面既可以添加傳統(tǒng)藍圖所缺少的信息層，又可以對信息的可視化加以組織。
• 咨詢項目要靠理性思維。思維這個東西似乎非常的抽象、無形，不過我發(fā)現(xiàn)，我們在解決問題的時候，大部分的思維都是以下這三種思維之一：自上而下/分解/演繹；自下而上/聚類/歸納；以及橫向/隱喻/平行思維。當然，我不敢說這里所列已經(jīng)足夠詳盡。但在實踐當中，當我被某個概念卡住，不知道如何進行下去時，空間隱喻會幫助我繼續(xù)推進：我的思考應(yīng)該往哪個方向走？應(yīng)該是向上、向下還是向水平移動？
• 在現(xiàn)實當中，總存在著這樣的模式，一旦被識別出來，就可以跨學(xué)科和跨部門應(yīng)用，啟發(fā)我們?nèi)绾稳ソ鉀Q問題：離散、隨機事件一旦聚集起來總會呈現(xiàn)出正態(tài)分布；如果事件不是離散的，而是有前后關(guān)系的，或具有反饋循環(huán)的，那么就會出現(xiàn)一條長尾，而且可適用帕累托原則。在資源有限的情況下，無論是要確定行動的優(yōu)先級，還是用戶在評估要不要下載app，做出的任何決定都可以用付出 vs 回報來建模。如果在資源有限的情況下審視有著不同議程的多個參與者，可能就會遇到類似公地悲劇、囚徒困境等模式。

為了系統(tǒng)化地整理這些洞察，我開始研究一系列原則。這些原則很好地捕捉了我對數(shù)據(jù)、框架以及思考之間關(guān)系的了解。我這么做是出于一個非常實用的目的，也就是系統(tǒng)化整理咨詢項目的做法。我探索了從波普爾的認識論到伽達默爾的解釋學(xué)的一系列知識創(chuàng)造的現(xiàn)有理論。在此過程中，我收集了數(shù)百個適用性不同的有用框架，并思考了對它們進行分類的方法。

以下是項目的當前狀態(tài)。

設(shè)計思維與經(jīng)驗主義陷阱

Priscilla 是一位專業(yè)的問題解決者?？蛻魟t是一家國際銀行，該行要求 Priscilla 和她的團隊為私人客戶建立一套理想的開戶旅程，從而最大限度地提高客戶滿意度并最大限度地降低銀行成本。

從理論上講，Priscilla 可以使用許多工具和框架來開始解決問題：比如價值流圖、約束理論、Cynefin 框架以及系統(tǒng)工程等等。

實際上，這份任務(wù)簡介的收件人很可能是設(shè)計思維和服務(wù)設(shè)計的從業(yè)者。因此，Priscilla 和她的團隊將立即開始對客戶進行訪談。因為傳統(tǒng)可視化的設(shè)計思維框架的第一階段就是“移情”。

設(shè)計思維方法論的經(jīng)典表述

其假設(shè)是一個人用放空的、清晰的頭腦來面對一個問題解決項目，并從形成對研究對象的同理心開始。這種做法是有問題的，原因有三：

• 經(jīng)驗主義的方法是錯誤的：從純粹描述性的角度來看，其實我們從來都沒有以數(shù)據(jù)為開端：任何項目都是用預(yù)先存在的偏見和心理模式來處置的。無論我在項目開始前所掌握的知識如何，都會影響我的思考方式，包括從數(shù)據(jù)收集、特征工程，一直到構(gòu)思和建議的一系列流程都會受到影響。
• 經(jīng)驗主義方法是有偏見的：從更規(guī)范的意義而言，如果移情/數(shù)據(jù)收集是我們要做的第一件事，我們將不可避免地成為可用性偏見的犧牲品，而且我們會僅使用手頭可用的數(shù)據(jù)集。數(shù)據(jù)集有可能會出現(xiàn)采樣偏差，而且切片的方式未必就符合我們項目的目標。比方說，Priscilla 可能會假設(shè)收入水平是一個重要變量，并希望調(diào)查分屬不同收入類別的人。但非經(jīng)驗主義方法也許會建議應(yīng)該優(yōu)先考慮其他變量。
• 經(jīng)驗主義的方法是漸進的：套用亨利·福特的那句名言，如果我們從傾聽客戶的意見開始，我們只會聽到想要一匹更快的馬。如果 Priscilla 從客戶訪談開始，她很可能會聽到客戶想要服務(wù)快一點、錯誤少一點或者選項多一點之類的東西。簡而言之，沒人會提出任何有新意的東西。這種方法是很有用，而且也應(yīng)該在許多場合下使用，但如果我們追求的是真正的創(chuàng)新的話，這做法很快就會變成拖累。

這里的意思不是說數(shù)據(jù)和觀察不重要，也不是說我們應(yīng)該將現(xiàn)有對世界的建模強加到經(jīng)驗數(shù)據(jù)之上（又叫做金錘謬誤）。相反，我們應(yīng)該：

就觀察而言，我們用來觀察現(xiàn)實的任何智力工具或物理工具都是我們先前學(xué)習(xí)的結(jié)果；雖然在許多情況下，我們用來觀察現(xiàn)實的'鏡頭’對我們來說是不可見的，但能夠看到那些'鏡頭’，并隨心所欲地進行切換，這是消除我們觀察當中出現(xiàn)的偏見，并用真正新穎的方式去解決問題的關(guān)鍵。（注1）

我在這里選擇了設(shè)計思維來點評，但經(jīng)驗主義的缺陷也在以類似的方式困擾著其他世界：

• 在社會科學(xué)當中，這被叫做“P值操縱”（P-hacking，通常是通過增加樣本量，讓P值達到可以發(fā)表的程度），被認為是一大罪過。
• 在商業(yè)當中，“數(shù)據(jù)驅(qū)動的組織”這種正統(tǒng)觀念很容易就會轉(zhuǎn)化為收集和分析各種數(shù)據(jù)的范式，但卻沒有明確的戰(zhàn)略框架來確定我們關(guān)心什么樣的數(shù)據(jù)，什么數(shù)據(jù)代表什么變量等事情。
• 作為一門學(xué)科，大部分機器學(xué)習(xí)都將數(shù)據(jù)集視為是既定的，而且是以自下而上的方式來提取洞察。有時候這可能會與必不可少的更高階的上下文知識脫節(jié)。 2008 年，克里斯·安德森（Chris Anderson）曾寫過一篇題為“理論的終結(jié)：數(shù)據(jù)泛濫導(dǎo)致科學(xué)方法過時”的文章。雖然其中的某些措辭本身可能已經(jīng)有點過時，但里面談到的原則在今天比以往任何時候都更應(yīng)景，對于深度學(xué)習(xí)等學(xué)科來說更是如此：建模不是按照自上而下、理論驅(qū)動的方式進行，而是自下而上，往往以黑箱的方式進行。
• 再擴大化一點，講講我們是如何思考解決日常問題的。我們通常認為，只要多收集一些問題的相關(guān)信息，問題的答案就會呼之欲出，但事實上，這只是拖延開展解決方案的實際工作的一種手段。（注2）

數(shù)據(jù)很好，但數(shù)據(jù)從來都不是優(yōu)先的。排第一的永遠是心智模式。

解決問題的方法要想更有效，就必須克服經(jīng)驗主義，在遇到項目之前仔細審視我們的思維過程。

那么怎么才能做到這一點呢？

從先驗開始

要想采用非經(jīng)驗主義的方法，我們需要改變問題解決的思考方式。

創(chuàng)新應(yīng)該從“自內(nèi)而外”開始，先理論化，而不是從之前已經(jīng)做過很多次的數(shù)據(jù)收集開始。在科學(xué)的背景下這一點最重要?？枴げㄆ諣栒J為，知識是靠猜想創(chuàng)造的，而猜想則是基于對這個世界的運作方式的現(xiàn)有理論，當我們有更好的解釋時去“篡改”舊有理論而得出的。用大衛(wèi)·多伊奇的話來說：

在用理論解釋事實之前，我們是不知道任何事實的。正如波普爾指出的，所有的觀察都是理論負載（theory-laden）的，從而可能出錯，像我們所有的理論一樣。

——大衛(wèi)·多伊奇（David Deutsch），《無窮的開始》

在設(shè)計和商業(yè)領(lǐng)域，這種方法獲得了羅貝托·維甘提（Roberto Verganti）等人的支持，他曾經(jīng)詳細討論過重大創(chuàng)新是如何來自于意義的轉(zhuǎn)變，而不是由外而內(nèi)的觀察。

為了讓問題解決的方法根植于理論而不是觀察，我們需要從兩個關(guān)鍵方面改變看待問題的方式：

先整體后部分：我們很容易會只見樹木不見森林。解決問題一個合乎邏輯的起點應(yīng)該是先問自己“我以前解決過哪些類似的問題”或者“這個問題屬于哪類問題”之類的問題。比方說，如果我的任務(wù)是要幫助 Acme INC. 在未來 4 年內(nèi)將利潤提高 20%的話，那么優(yōu)秀的顧問出于本能要做的第一件事，是在甚至都不知道關(guān)于 Acme INC. 的任何信息之前，把問題看作是盈利問題的一個具體實例。

先演繹再經(jīng)驗主義（注3）：這是波普爾所謂的“理論負載”的核心，應(yīng)該被同時視為描述性和規(guī)范性的主張：我們對經(jīng)驗世界的任何觀察都都有自己的偏見，都經(jīng)過了我們的心智模式的過濾；反之，意識到心智模式和偏見的存在，在遇到問題時我們就可以確保解決得更加縝密。

問題解決地圖：從部分轉(zhuǎn)到整體，從經(jīng)驗轉(zhuǎn)到先驗

作為遞歸重新解釋的問題解決

上圖描繪的是問題解決地圖（PSM）的概況。PSM這種工具可以引導(dǎo)我們航行在解決問題的世界里。這張問題解決地圖由x軸和y軸構(gòu)成。 x 軸是從先驗（演繹）到后驗（歸納），y 軸則是從部分到整體。X軸與y軸劃定的區(qū)域我們可稱之為項目空間，這個空間可以將問題、解決方案以及解決問題的活動匯聚到一起。這是一個理想化的系統(tǒng)，包含了與問題、潛在解決方案，以及問題解決團隊本身相關(guān)的所有實體、關(guān)系與代理。

項目空間是一個對現(xiàn)實世界（在圖中右側(cè)與項目空間相交）有實際影響的抽象實體。與項目空間相交的現(xiàn)實世界區(qū)域，包含了構(gòu)成問題以及有可能成為解決方案一部分的所有現(xiàn)實世界元素。另一方面，PSM 的左側(cè)包含了所有的先驗知識和工具，這些知識和工具不是問題本身的一部分，而是由問題解決者引入的。

在 PSM 上，我們可以識別出四個子空間：

• 定框圖、問題陳述（problem statement）空間，或者換句話說，我們打算如何處理問題，定義圖表本身的位置，定義我們所認為的“整體”需要解釋、預(yù)測或解決的宏觀現(xiàn)象是什么。
• 先驗空間，或框架空間，包含了我在項目開始之前所知道的一切（What I already konw），關(guān)于世界的最一般的想法（比如大量不相關(guān)的事件往往呈正態(tài)分布這一事實），非常具體的領(lǐng)域知識（比方說，鍍鉻鋼筋市場前三名的收入），以及我可能會出現(xiàn)的任何認知偏見。
• 表示空間（My representation of the actual world），是我的框架在變量操作下與現(xiàn)實世界的數(shù)據(jù)邂逅之處。這就是建模的空間，稍后會詳細介紹。
• 觀察空間（My observation of the actual world），包含了我的數(shù)據(jù)，對現(xiàn)實世界觀察的刻意抽象，以及我的變量，對我的數(shù)據(jù)的進一步抽象或操作化。
• 最后是現(xiàn)實世界（the actual world），也就是我們進行實際的觀察和實踐的地方。

我們已經(jīng)看到解決問題要從框架開始了?，F(xiàn)在的問題是，先驗框架是如何與現(xiàn)實世界的數(shù)據(jù)進行交互，從而建立與項目相關(guān)的知識的呢？

解釋學(xué)這個哲學(xué)學(xué)派在這方面提供了一個有趣的方向。

解釋學(xué)的循環(huán)：部分整合為整體，整體上下文化為部分

根據(jù)解釋學(xué)，意義是通過一個主觀過程從文本中提取出來的，而這個主觀過程一方面是將部分（具體段落）整合到整體（我們對文本整體、作者及所處的時代等的了解）——以及反過來，根據(jù)部分對整體進行語境化。

這種辯證法適用的地方遠不止文字，可以說所有形式的知識都適用，其中也包括解決問題的知識獲取部分。按照一種非經(jīng)驗主義的做法，我們會從自己已有的關(guān)于世界的想法、偏見、咨詢工具包與框架，以及掌握的領(lǐng)域知識開始。透過這些鏡頭，我們審視從研究中獲得的經(jīng)驗數(shù)據(jù)，并開始構(gòu)建有關(guān)項目本身的知識。

用問題解決地圖表示的解釋學(xué)循環(huán)

為了更好地理解解釋學(xué)循環(huán)對解決問題的作用，不妨再次請出我們的朋友，專業(yè)問題解決者Priscilla。假設(shè)她要為一位全球醫(yī)療保健客戶啟動一個產(chǎn)品戰(zhàn)略項目，其想法是未來的一個秘密 app 需要迎合特定受眾，她可能希望以用戶角色作為框架來對問題建模。

Priscilla（希望是有意識地）做出了使用角色的決定，這個決定馬上就決定了她項目的一些關(guān)鍵變量：人口統(tǒng)計數(shù)據(jù)（年齡組、性別、城市等）以及一些行為因素（購物習(xí)慣、下載的 app 數(shù)量等）將會有一席之地。然后，她繼續(xù)將這個框架與現(xiàn)實世界的數(shù)據(jù)聯(lián)系起來：她將根據(jù)這個框架規(guī)定的變量收集數(shù)據(jù)，并通過這一鏡頭去觀察它們（比如人口統(tǒng)計數(shù)據(jù)與行為數(shù)據(jù)）。然后她會再次將鏡頭拉遠，并將數(shù)據(jù)整合到框架和整個項目之中：她會問，結(jié)果是否說得通？是否有助于我對人們的行為做出好的解釋和預(yù)測？

答案是否定的。 Priscilla 的角色最終基本上只是自說自話，姑且假設(shè)結(jié)果并沒有告訴我們太多關(guān)于應(yīng)該如何開發(fā) app 的信息。那接下來該怎么辦？ Priscilla 可以做以下兩件事之一：

• 要么在變量層面進行干預(yù)，并決定，雖然角色這個框架挺有用，但也許她得被迫放棄人口統(tǒng)計變量，并將 app 的下載量作為用戶數(shù)字化能力的指標，去制定問卷并詢問用戶的習(xí)慣。
• 或者她可以更激進些，在框架層面進行干預(yù)：畢竟角色這條路有可能根本走不通；也許她可以從觀念模式開始，或者對問題進行徹底的重新定義，從以用戶為中心轉(zhuǎn)到以市場為中心，并從市場規(guī)模和細分市場開始。如果是這樣，她就得重新啟動這個循環(huán)，并用新的數(shù)據(jù)（比如競爭app的用戶數(shù)量和類型）將這個新框架（比方說觀念模式）與上下文關(guān)聯(lián)起來。

多重級聯(lián)循環(huán)

不妨進一步深化一下這個模型。如果即使用新的框架（比方說觀念模式）來替換角色模型還是不能得到有用的結(jié)果該怎么辦？ Priscilla 是不是應(yīng)該得出結(jié)論，認為問題陳述本身就表述不當，并對整個問題進行重新表述？

其實每一位顧問都知道，這種情況確實是經(jīng)常有的事。我們收到的任務(wù)簡報往往是客戶必須解決了才能實現(xiàn)自己心中的目標的問題。一旦我們用幾個不同框架的視角來看待問題的一些關(guān)鍵變量，就會意識到有些地方不對勁，這種情況下我們一般會建議換個方式重新陳述一下問題。

所以，很顯然，我們的循環(huán)不僅會把數(shù)據(jù)和框架綁定在一起，而且還可以識別出若干將不同整體與不同部分聯(lián)系在一起的循環(huán)。

整體會自上而下影響到部分：

• 如何表述問題會影響其他的一切。
• 選擇的框架會影響到如何選擇變量，影響到變量設(shè)計、數(shù)據(jù)采樣、數(shù)據(jù)的切片與切塊
• 框定變量的方式會影響數(shù)據(jù)集標記的或編碼方式

部分會自下而上影響到整體：

• 數(shù)據(jù)與標簽之間的不匹配會讓我質(zhì)疑變量
• 意識到模型需要額外的變量，或者必須刪除一些變量（比方說因為相關(guān)性問題）會導(dǎo)致我質(zhì)疑模型
• 如果模型在預(yù)測或解釋能力方面表現(xiàn)不佳，我會質(zhì)疑我的框架（稍后會詳細介紹）
• 正如我們所說那樣，如果部分框架經(jīng)受不住現(xiàn)實世界數(shù)據(jù)的考驗，我解決的也許是錯誤的問題。

下面的 PSM 總結(jié)了其中一些環(huán)環(huán)相扣的循環(huán)：

問題解決當中環(huán)環(huán)相扣的重新解釋循環(huán)

最后，我們再來總結(jié)一下討論過的要點。正如我們所看到的那樣，根據(jù)這個解釋模型，問題解決是一個遞歸的重新解釋的過程。在這個過程中，我們在框架、變量與數(shù)據(jù)之間建立循環(huán)，以便離正確的問題模型越來越接近。反過來：

問題解決的頭等大罪是想當然，直接套用某個框架開始研究：這樣做的結(jié)果只能得出枯燥乏味的見解與帶偏見的漸進式解決方案。

自然地，解決問題還有另一個迭代循環(huán)，那就是圍繞著解決方案的循環(huán)：一旦得到一個令人滿意的模型，你就會想到現(xiàn)實世界當中去開發(fā)原型，并測試這個模型的解決方案，然后根據(jù)反饋去糾正錯誤。這第二個循環(huán)可稱之為“生成循環(huán)”，在這個循環(huán)當中，我們會創(chuàng)造東西，這一點與第一個循環(huán)相反，第一個是解釋性的或預(yù)測性的循環(huán)。即將發(fā)生的大部分內(nèi)容都集中在第一個循環(huán)上面，不過稍后我們會再講講第二個循環(huán)。

PSM 問題解決完整的解釋模型

在下半部分，我們將進一步了解這個模型核心的主要實體，也就是“模型”。我們將研究什么是模型，模型如何分類，以及模型如何與變量和數(shù)據(jù)交互。敬請關(guān)注！

注：

1、為了進一步澄清這一點，不妨看看一個人會將經(jīng)驗主義當作正常的這幾種情況。

對于許多給定數(shù)據(jù)集的問題來說，初步數(shù)據(jù)分析（探索性研究）是常見做法。這么做沒有錯。不過，重要的是要意識到在探索數(shù)據(jù)集時，我們從來都不是在空白的狀態(tài)下做的：根據(jù)我們出自的學(xué)科，所學(xué)的技術(shù)以及問題陳述的不同，我們要么會查看特定列的數(shù)據(jù)類型和分布，要么會試著識別其中的行為模式等。提高我們對觀察數(shù)據(jù)所用的“鏡頭”的意識，是減少偏見和刺激創(chuàng)新的關(guān)鍵。

類似地，針對新穎、負責(zé)或混亂的情況，盡管像Cynefin和OODA循環(huán)這樣的框架建議要做“經(jīng)驗主義者”，采取“感覺優(yōu)先”的做法，但我們需要再一次意識到，這不會是在真空的環(huán)境下發(fā)生的。我們?nèi)魏胃兄顒酉胍獙ふ业臇|西，或者在混亂、不可預(yù)測的情況下采取的先發(fā)制人的行動，都要取決于我們已經(jīng)知道的東西：我們學(xué)會了要觀察什么？這種情況下我們可能采取的行動保留曲目是什么？我們的肌肉記憶會引導(dǎo)我們?nèi)サ绞裁吹胤?？因此有一個牢靠的“心智模式格柵”就很重要了。

2、誠然，管理咨詢遭遇這種經(jīng)驗主義者之害會少一些，但它存在其他的缺點，后面會看到的。

3、這里的先驗不是指康德的那種先驗，而是指先于（將成為問題系統(tǒng)的）特定現(xiàn)實的經(jīng)驗而存在的概念。

本文主要內(nèi)容boxi，僅供廣大讀者參考，如有侵犯您的知識產(chǎn)權(quán)或者權(quán)益，請聯(lián)系我提供證據(jù)，我會予以刪除

CXO聯(lián)盟（CXO union）是一家聚焦于CIO，CDO，cto，ciso，cfo，coo，chro，cpo，ceo等人群的平臺組織，其中在CIO會議領(lǐng)域的領(lǐng)頭羊，目前舉辦了大量的CIO大會、CIO論壇、CIO活動、CIO會議、CIO峰會、CIO會展。如華東CIO會議、華南cio會議、華北cio會議、中國cio會議、西部CIO會議。在這里，你可以參加大量的IT大會、IT行業(yè)會議、IT行業(yè)論壇、IT行業(yè)會展、數(shù)字化論壇、數(shù)字化轉(zhuǎn)型論壇，在這里你可以認識很多的首席信息官、首席數(shù)字官、首席財務(wù)官、首席技術(shù)官、首席人力資源官、首席運營官、首席執(zhí)行官、IT總監(jiān)、財務(wù)總監(jiān)、信息總監(jiān)、運營總監(jiān)、采購總監(jiān)、供應(yīng)鏈總監(jiān)。

數(shù)字化轉(zhuǎn)型網(wǎng)（www.szhzxw.cn資訊媒體，是企業(yè)數(shù)字化轉(zhuǎn)型的必讀參考，在這里你可以學(xué)習(xí)大量的知識，如財務(wù)數(shù)字化轉(zhuǎn)型、供應(yīng)鏈數(shù)字化轉(zhuǎn)型、運營數(shù)字化轉(zhuǎn)型、生產(chǎn)數(shù)字化轉(zhuǎn)型、人力資源數(shù)字化轉(zhuǎn)型、市場營銷數(shù)字化轉(zhuǎn)型。通過關(guān)注我們的公眾號，你就知道如何實現(xiàn)企業(yè)數(shù)字化轉(zhuǎn)型？數(shù)字化轉(zhuǎn)型如何做？

【聯(lián)盟部分會員】吉鑫科技IT總監(jiān)、林洋能源IT總監(jiān)、陜西煤業(yè)IT總監(jiān)、華電重工IT總監(jiān)、廣州港IT總監(jiān)、上海銀行IT總監(jiān)、環(huán)旭電子IT總監(jiān)、桐昆股份IT總監(jiān)、紅塔證券IT總監(jiān)、廣汽集團IT總監(jiān)、龐大集團IT總監(jiān)、英利汽車IT總監(jiān)、農(nóng)業(yè)銀行IT總監(jiān)、青島港IT總監(jiān)、駱駝股份IT總監(jiān)、中國平安IT總監(jiān)、中國人保IT總監(jiān)、秦港股份IT總監(jiān)、交通銀行IT總監(jiān)、綠色動力IT總監(jiān)、廣深鐵路IT總監(jiān)、新華保險IT總監(jiān)、百隆東方IT總監(jiān)、三六零IT總監(jiān)、利群股份IT總監(jiān)、綠城水務(wù)IT總監(jiān)、陜鼓動力IT總監(jiān)、中原證券IT總監(jiān)、興業(yè)證券IT總監(jiān)、怡球資源IT總監(jiān)、中國中鐵IT總監(jiān)、工商銀行IT總監(jiān)、國機重裝IT總監(jiān)、國聯(lián)證券IT總監(jiān)、通用股份IT總監(jiān)、中新集團IT總監(jiān)、東風(fēng)股份IT總監(jiān)、吉林高速IT總監(jiān)、大智慧IT總監(jiān)、瑞豐銀行IT總監(jiān)、東吳證券IT總監(jiān)、九牧王IT總監(jiān)、三星醫(yī)療IT總監(jiān)、北元集團IT總監(jiān)、長沙銀行IT總監(jiān)、會稽山IT總監(jiān)、北辰實業(yè)IT總監(jiān)、上海電影IT總監(jiān)、中國外運IT總監(jiān)、浙文影業(yè)IT總監(jiān)、中國鋁業(yè)IT總監(jiān)、中國太保IT總監(jiān)、長城軍工IT總監(jiān)、上海醫(yī)藥IT總監(jiān)、中信重工IT總監(jiān)、金田銅業(yè)IT總監(jiān)、中國核建IT總監(jiān)、明陽智能IT總監(jiān)、廣電電氣IT總監(jiān)、中國中冶IT總監(jiān)、嘉澤新能IT總監(jiān)、中國人壽IT總監(jiān)、長城汽車IT總監(jiān)、旗濱集團IT總監(jiān)、郵儲銀行IT總監(jiān)、齊魯銀行IT總監(jiān)、平煤股份IT總監(jiān)、中國建筑IT總監(jiān)、中國電建IT總監(jiān)、明泰鋁業(yè)IT總監(jiān)、濱化股份IT總監(jiān)、友發(fā)集團IT總監(jiān)、華泰證券IT總監(jiān)、拓普集團IT總監(jiān)、中銀證券IT總監(jiān)、中國衛(wèi)通IT總監(jiān)、潞安環(huán)能IT總監(jiān)、風(fēng)范股份IT總監(jiān)、華峰鋁業(yè)IT總監(jiān)、鄭煤機IT總監(jiān)、際華集團IT總監(jiān)、上海電氣IT總監(jiān)、中國電信IT總監(jiān)、中國中車IT總監(jiān)、力帆科技IT總監(jiān)、晶科科技IT總監(jiān)、光大證券IT總監(jiān)、寧波建工IT總監(jiān)、藍科高新IT總監(jiān)、星宇股份IT總監(jiān)、中國交建IT總監(jiān)、皖新傳媒IT總監(jiān)、中海油服IT總監(jiān)、新華文軒IT總監(jiān)、京滬高鐵IT總監(jiān)、光大銀行IT總監(jiān)、滬農(nóng)商行IT總監(jiān)、三峰環(huán)境IT總監(jiān)、美凱龍IT總監(jiān)、成都銀行IT總監(jiān)、中國石油IT總監(jiān)、中國科傳IT總監(jiān)、紫金銀行IT總監(jiān)、福萊特IT總監(jiān)、中遠海發(fā)IT總監(jiān)、長飛光纖IT總監(jiān)、招商輪船IT總監(jiān)、正泰電器IT總監(jiān)、浙商證券IT總監(jiān)、遼港股份IT總監(jiān)、中國銀河IT總監(jiān)、海天精工IT總監(jiān)、江河集團IT總監(jiān)、中國中免IT總監(jiān)、亞星錨鏈IT總監(jiān)、中煤能源IT總監(jiān)、紫金礦業(yè)IT總監(jiān)、南方傳媒IT總監(jiān)、方正證券IT總監(jiān)、京運通IT總監(jiān)、浙商銀行IT總監(jiān)、新集能源IT總監(jiān)、中遠海控IT總監(jiān)、浙版?zhèn)髅絀T總監(jiān)、鳳凰傳媒IT總監(jiān)、吉視傳媒IT總監(jiān)、永輝超市IT總監(jiān)、建設(shè)銀行IT總監(jiān)、中國出版IT總監(jiān)、蘇墾農(nóng)發(fā)IT總監(jiān)、東貝集團IT總監(jiān)、金鉬股份IT總監(jiān)、重慶銀行IT總監(jiān)、中國汽研IT總監(jiān)、玲瓏輪胎IT總監(jiān)、寶鋼包裝IT總監(jiān)、海南礦業(yè)IT總監(jiān)