劣質(zhì)數(shù)據(jù)會妨礙一個機構的商務智能系統(tǒng)或者數(shù)據(jù)存儲項目。本站客座專欄作家瑞克•謝爾曼解釋了如何避免那些影響努力結果的常規(guī)問題。
很多商務智能系統(tǒng)或者數(shù)據(jù)存儲項目都受到與數(shù)據(jù)質(zhì)量有關的并發(fā)癥的干擾。有時候這些問題不會顯現(xiàn),直到商務人員即將啟動項目之前對系統(tǒng)進行測試時才會暴露。那么,是什么導致BI項目團隊對數(shù)據(jù)質(zhì)量問題產(chǎn)生疏漏呢?
有兩點主要的漏洞:對數(shù)據(jù)質(zhì)量的定義太狹窄,認為數(shù)據(jù)質(zhì)量管理是資源系統(tǒng)的事。
人們通常認為數(shù)據(jù)質(zhì)量管理就是把壞數(shù)據(jù)剔除掉——即那些或丟失或不準確或錯誤的數(shù)據(jù)。壞數(shù)據(jù)的確是個問題,但不是唯一的問題。高質(zhì)量的數(shù)據(jù)程序同時要確保數(shù)據(jù)的全面性、一致性、相關性和時效性。
不要埋怨資源系統(tǒng)
對數(shù)據(jù)質(zhì)量的定義太狹窄經(jīng)常導致人們認為資源交換系統(tǒng)——不是通過數(shù)據(jù)侵入就是系統(tǒng)錯誤——產(chǎn)生了壞數(shù)據(jù)。盡管這也許是一些錯誤發(fā)生的原因,但更可能的罪魁不是系統(tǒng)資源間尺度的不同(比如顧客或產(chǎn)品標識符)就是來自不同組織間數(shù)據(jù)定義的不同。確定尺度——形成統(tǒng)一的顧客或產(chǎn)品標識符——對于一家公司的數(shù)據(jù)評估和檢驗是非常重要的。資源系統(tǒng)不負責通過其他系統(tǒng)的數(shù)據(jù)質(zhì)量問題,這應由BI項目團隊來管。資源系統(tǒng)必須確保在其存儲區(qū)域內(nèi)數(shù)據(jù)的正確性。但BI項目團隊的職責是提供整個企業(yè)內(nèi)部統(tǒng)一的商業(yè)數(shù)據(jù)。
同樣地,企業(yè)內(nèi)的每一個部門也許都有正當?shù)睦碛商峁┡c其他部門不同的數(shù)據(jù)。比如說,在商業(yè)程序中所處的地位可能會決定他們?nèi)绾慰创约旱臄?shù)據(jù)。單個部門的目標并不是形成共同的數(shù)據(jù)定義,但BI項目團隊的目標是。很多BI項目團隊想申明數(shù)據(jù)質(zhì)量管理不應由他們負責。然而,從實際的角度考慮,BI團隊的確需要把這些(數(shù)據(jù)質(zhì)量管理)事務當作自己的分內(nèi)之事,因為他們的工作就是確保最高的數(shù)據(jù)質(zhì)量。BI項目團隊在對數(shù)據(jù)進行打包提供給商務人員使用,他們將承擔數(shù)據(jù)質(zhì)量的負責。這看上去并不公平,但他們項目的成功正基于此。
不要低估了故障
當項目出現(xiàn)一個初始故障或泄漏僅影響到資源系統(tǒng)的一個很小的子系統(tǒng)時是令人吃驚的。由于可能存在種種理由允許發(fā)生小范圍的故障,當資源一同的數(shù)量擴大時,你將無法從確定尺度的必要的努力中受益。
有時故障僅發(fā)生在單個的部門,該部門對獲取的數(shù)據(jù)僅采用自己部門內(nèi)的定義標準。再一次地,棘手的問題經(jīng)常是如何調(diào)和各部門之間對數(shù)據(jù)利用時定義的不同。兩件事情中在處理復合的系統(tǒng)和部門問題時都遭遇了實際的挑戰(zhàn)。商務人員需要縱觀全局,然而這只有當他們能夠對企業(yè)內(nèi)的數(shù)據(jù)進行評估和分析時才可能實現(xiàn)。
數(shù)據(jù)質(zhì)量管理的步驟
為確保數(shù)據(jù)質(zhì)量,BI項目團隊必須從一開始就致力于此。這里有一些重要的步驟可供參考。
要求對商業(yè)數(shù)據(jù)進行比較寬泛的定義,建立監(jiān)督和測試標準,明確數(shù)據(jù)不符合標準時應該采取什么措施。
在進行資源系統(tǒng)分析時努力使數(shù)據(jù)有一個全面的輪廓。對通過資源系統(tǒng)的反常數(shù)據(jù)的整理和時間(歷史數(shù)據(jù)并不總是保存的好)都是必需的,以便從商業(yè)運作的前期就能對其進行處理。
從數(shù)據(jù)來源到商務人員的信息提取,所有的綜合數(shù)據(jù)和商業(yè)智能程序都要進行數(shù)據(jù)質(zhì)量合并。數(shù)據(jù)質(zhì)量問題應該盡早在程序中檢查出來并且按照商業(yè)要求的詳細條款進行處理。
企業(yè)必須提供的數(shù)據(jù)要達到嚴格的質(zhì)量標準水平,尤其要根據(jù)現(xiàn)行的規(guī)定和要求。只要建立強大的數(shù)據(jù)質(zhì)量管理責任體系和確保其實施的步驟,數(shù)據(jù)水平所需的透明度就能實現(xiàn)。
關于作者
瑞克•謝爾曼有18年多的商業(yè)智能和數(shù)據(jù)管理經(jīng)驗,作為獨立顧問在50多家機構任職,還在一家大五會計事務所任管理/執(zhí)行官。他建立了雅典娜IT咨詢公司,是一家總部位于斯通曼斯的商業(yè)智能顧問公司。他的電子郵箱是rsherman@athena-solutions.com.
來源:TechTarget