| |
|
 您現在的位置：里諾新聞 > 什么是數據挖掘?
|
什么是數據挖掘?更新時間: 2009-09-21
數據挖掘(Data Mining)，就是從大量數據中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過程。數據挖掘的廣義觀點：數據挖掘就是從存放在數據庫，數據倉庫或其他信息庫中的大量的數據中“挖掘”有趣知識的過程。數據挖掘，又稱為數據庫中知識發現(Knowledge Discovery in Database, KDD)， 也有人把數據挖掘視為數據庫中知識發現過程的一個基本步驟。知識發現過程以下步驟組成：（1）數據清理，（2）數據集成，（3）數據選擇，（4）數據變換，（5）數據挖掘，（6）模式評估，（7）知識表示。數據挖掘可以與用戶或知識庫交互。
并非所有的信息發現任務都被視為數據挖掘。例如，使用數據庫管理系統查找個別的記錄，或通過因特網的搜索引擎查找特定的Web頁面，則是信息檢索（information retrieval）領域的任務。雖然這些任務是重要的，可能涉及使用復雜的算法和數據結構，但是它們主要依賴傳統的計算機科學技術和數據的明顯特征來創建索引結構，從而有效地組織和檢索信息。盡管如此，數據挖掘技術也已用來增強信息檢索系統的能力。
數據挖掘的起源
需要是發明之母。近年來，數據挖掘引起了信息產業界的極大關注，其主要原因是存在大量數據，可以廣泛使用，并且迫切需要將這些數據轉換成有用的信息和知識。獲取的信息和知識可以廣泛用于各種應用，包括商務管理，生產控制，市場分析，工程設計和科學探索等。
數據挖掘利用了來自如下一些領域的思想：(1) 來自統計學的抽樣、估計和假設檢驗，(2) 人工智能、模式識別和機器學習的搜索算法、建模技術和學習理論。數據挖掘也迅速地接納了來自其他領域的思想，這些領域包括最優化、進化計算、信息論、信號處理、可視化和信息檢索。一些其他領域也起到重要的支撐作用。特別地，需要數據庫系統提供有效的存儲、索引和查詢處理支持。源于高性能（并行）計算的技術在處理海量數據集方面常常是重要的。分布式技術也能幫助處理海量數據，并且當數據不能集中到一起處理時更是至關重要。
數據挖掘能做什么
1)數據挖掘能做以下六種不同事情（分析方法）：
· 分類 （Classification）
· 估值（Estimation）
· 預言（Prediction）
· 相關性分組或關聯規則（Affinity grouping or association rules）
· 聚集（Clustering）
· 描述和可視化（Description and Visualization）
· 復雜數據類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)
2)數據挖掘分類
以上六種數據挖掘的分析方法可以分為兩類：直接數據挖掘；間接數據挖掘
· 直接數據挖掘
目標是利用可用的數據建立一個模型，這個模型對剩余的數據，對一個特定的變量（可以理解成數據庫中表的屬性，即列）進行描述。
· 間接數據挖掘
目標中沒有選出某一具體的變量，用模型進行描述；而是在所有的變量中建立起某種關系 。
· 分類、估值、預言屬于直接數據挖掘；后三種屬于間接數據挖掘
3)各種分析方法的簡介
· 分類 （Classification）
首先從數據中選出已經分好類的訓練集，在該訓練集上運用數據挖掘分類的技術，建立分類模型，對于沒有分類的數據進行分類。
例子：
a. 信用卡申請者，分類為低、中、高風險
b. 分配客戶到預先定義的客戶分片
注意： 類的個數是確定的，預先定義好的
· 估值（Estimation）
估值與分類類似，不同之處在于，分類描述的是離散型變量的輸出，而估值處理連續值的輸出；分類的類別是確定數目的，估值的量是不確定的。
例子：
a. 根據購買模式，估計一個家庭的孩子個數
b. 根據購買模式，估計一個家庭的收入
c. 估計real estate的價值
一般來說，估值可以作為分類的前一步工作。給定一些輸入數據，通過估值，得到未知的連續變量的值，然后，根據預先設定的閾值，進行分類。例如：銀行對家庭貸款業務，運用估值，給各個客戶記分（Score 0~1）。然后，根據閾值，將貸款級別分類。
· 預言（Prediction）
通常，預言是通過分類或估值起作用的，也就是說，通過分類或估值得出模型，該模型用于對未知變量的預言。從這種意義上說，預言其實沒有必要分為一個單獨的類。預言其目的是對未來未知變量的預測，這種預測是需要時間來驗證的，即必須經過一定時間后，才知道預言準確性是多少。
· 相關性分組或關聯規則（Affinity grouping or association rules）
決定哪些事情將一起發生。
例子：
a. 超市中客戶在購買A的同時，經常會購買B，即A => B(關聯規則)
b. 客戶在購買A后，隔一段時間，會購買B （序列分析）
· 聚集（Clustering）
聚集是對記錄分組，把相似的記錄在一個聚集里。聚集和分類的區別是聚集不依賴于預先定義好的類，不需要訓練集。
例子：
a. 一些特定癥狀的聚集可能預示了一個特定的疾病
b. 租VCD類型不相似的客戶聚集，可能暗示成員屬于不同的亞文化群
聚集通常作為數據挖掘的第一步。例如，"哪一種類的促銷對客戶響應最好？"，對于這一 類問題，首先對整個客戶做聚集，將客戶分組在各自的聚集里，然后對每個不同的聚集，回答問題，可能效果更好。
· 描述和可視化（Des cription and Visualization）
是對數據挖掘結果的表示方式。
數據挖掘中的關聯規則
1.什么是關聯規則
在描述有關關聯規則的一些細節之前，我們先來看一個有趣的故事： "尿布與啤酒"的故事。
在一家超市里，有一個有趣的現象：尿布和啤酒赫然擺在一起出售。但是這個奇怪的舉措卻使尿布和啤酒的銷量雙雙增加了。這不是一個笑話，而是發生在美國沃爾瑪連鎖店超市的真實案例，并一直為商家所津津樂道。沃爾瑪擁有世界上最大的數據倉庫系統，為了能夠準確了解顧客在其門店的購買習慣，沃爾瑪對其顧客的購物行為進行購物籃分析，想知道顧客經常一起購買的商品有哪些。沃爾瑪數據倉庫里集中了其各門店的詳細原始交易數據。在這些原始交易數據的基礎上，沃爾瑪利用數據挖掘方法對這些數據進行分析和挖掘。一個意外的發現是："跟尿布一起購買最多的商品竟是啤酒！經過大量實際調查和分析，揭示了一個隱藏在"尿布與啤酒"背后的美國人的一種行為模式：在美國，一些年輕的父親下班后經常要到超市去買嬰兒尿布，而他們中有30%～40%的人同時也為自己買一些啤酒。產生這一現象的原因是：美國的太太們常叮囑她們的丈夫下班后為小孩買尿布，而丈夫們在買尿布后又隨手帶回了他們喜歡的啤酒。
按常規思維，尿布與啤酒風馬牛不相及，若不是借助數據挖掘技術對大量交易數據進行挖掘分析，沃爾瑪是不可能發現數據內在這一有價值的規律的。
數據關聯是數據庫中存在的一類重要的可被發現的知識。若兩個或多個變量的取值之間存在某種規律性，就稱為關聯。關聯可分為簡單關聯、時序關聯、因果關聯。關聯分析的目的是找出數據庫中隱藏的關聯網。有時并不知道數據庫中數據的關聯函數，即使知道也是不確定的，因此關聯分析生成的規則帶有可信度。關聯規則挖掘發現大量數據中項集之間有趣的關聯或相關聯系。Agrawal等于1993年首先提出了挖掘顧客交易數據庫中項集間的關聯規則問題，以后諸多的研究人員對關聯規則的挖掘問題進行了大量的研究。他們的工作包括對原有的算法進行優化，如引入隨機采樣、并行的思想等，以提高算法挖掘規則的效率；對關聯規則的應用進行推廣。關聯規則挖掘在數據挖掘中是一個重要的課題，最近幾年已被業界所廣泛研究。
2.關聯規則挖掘過程、分類及其相關算法
2.1關聯規則挖掘的過程
關聯規則挖掘過程主要包含兩個階段：第一階段必須先從資料集合中找出所有的高頻項目組(Frequent Itemsets)，第二階段再由這些高頻項目組中產生關聯規則(Association Rules)。
關聯規則挖掘的第一階段必須從原始資料集合中，找出所有高頻項目組(Large Itemsets)。高頻的意思是指某一項目組出現的頻率相對于所有記錄而言，必須達到某一水平。一項目組出現的頻率稱為支持度(Support)，以一個包含A與B兩個項目的2-itemset為例，我們可以經由公式(1)求得包含{A,B}項目組的支持度，若支持度大于等于所設定的最小支持度(Minimum Support)門檻值時，則{A,B}稱為高頻項目組。一個滿足最小支持度的k-itemset，則稱為高頻k-項目組(Frequent k-itemset)，一般表示為Large k或Frequent k。算法并從Large k的項目組中再產生Large k+1，直到無法再找到更長的高頻項目組為止。
關聯規則挖掘的第二階段是要產生關聯規則(Association Rules)。從高頻項目組產生關聯規則，是利用前一步驟的高頻k-項目組來產生規則，在最小信賴度(Minimum Confidence)的條件門檻下，若一規則所求得的信賴度滿足最小信賴度，稱此規則為關聯規則。例如：經由高頻k-項目組{A,B}所產生的規則AB，其信賴度可經由公式(2)求得，若信賴度大于等于最小信賴度，則稱AB為關聯規則。
就沃爾馬案例而言，使用關聯規則挖掘技術，對交易資料庫中的紀錄進行資料挖掘，首先必須要設定最小支持度與最小信賴度兩個門檻值，在此假設最小支持度min_support=5% 且最小信賴度min_confidence=70%。因此符合此該超市需求的關聯規則將必須同時滿足以上兩個條件。若經過挖掘過程所找到的關聯規則「尿布，啤酒」，滿足下列條件，將可接受「尿布，啤酒」的關聯規則。用公式可以描述Support(尿布，啤酒)>=5%且Confidence(尿布，啤酒)>=70%。其中，Support(尿布，啤酒)>=5%于此應用范例中的意義為:在所有的交易紀錄資料中，至少有5%的交易呈現尿布與啤酒這兩項商品被同時購買的交易行為。Confidence(尿布，啤酒)>=70%于此應用范例中的意義為:在所有包含尿布的交易紀錄資料中，至少有70%的交易會同時購買啤酒。因此，今后若有某消費者出現購買尿布的行為，超市將可推薦該消費者同時購買啤酒。這個商品推薦的行為則是根據「尿布，啤酒」關聯規則，因為就該超市過去的交易紀錄而言，支持了“大部份購買尿布的交易，會同時購買啤酒”的消費行為。
從上面的介紹還可以看出，關聯規則挖掘通常比較適用與記錄中的指標取離散值的情況。如果原始數據庫中的指標值是取連續的數據，則在關聯規則挖掘之前應該進行適當的數據離散化（實際上就是將某個區間的值對應于某個值），數據的離散化是數據挖掘前的重要環節，離散化的過程是否合理將直接影響關聯規則的挖掘結果。
2.2關聯規則的分類
按照不同情況，關聯規則可以進行分類如下：
1.基于規則中處理的變量的類別，關聯規則可以分為布爾型和數值型。
布爾型關聯規則處理的值都是離散的、種類化的，它顯示了這些變量之間的關系；而數值型關聯規則可以和多維關聯或多層關聯規則結合起來，對數值型字段進行處理，將其進行動態的分割，或者直接對原始的數據進行處理，當然數值型關聯規則中也可以包含種類變量。例如：性別=“女”=>職業=“秘書” ，是布爾型關聯規則；性別=“女”=>avg（收入）=2300，涉及的收入是數值類型，所以是一個數值型關聯規則。
2.基于規則中數據的抽象層次，可以分為單層關聯規則和多層關聯規則。
在單層的關聯規則中，所有的變量都沒有考慮到現實的數據是具有多個不同的層次的；而在多層的關聯規則中，對數據的多層性已經進行了充分的考慮。例如：IBM臺式機=>Sony打印機，是一個細節數據上的單層關聯規則；臺式機=>Sony打印機，是一個較高層次和細節層次之間的多層關聯規則。
3.基于規則中涉及到的數據的維數，關聯規則可以分為單維的和多維的。
在單維的關聯規則中，我們只涉及到數據的一個維，如用戶購買的物品；而在多維的關聯規則中，要處理的數據將會涉及多個維。換成另一句話，單維關聯規則是處理單個屬性中的一些關系；多維關聯規則是處理各個屬性之間的某些關系。例如：啤酒=>尿布，這條規則只涉及到用戶的購買的物品；性別=“女”=>職業=“秘書”，這條規則就涉及到兩個字段的信息，是兩個維上的一條關聯規則。
2.3關聯規則挖掘的相關算法
1.Apriori算法：使用候選項集找頻繁項集
Apriori算法是一種最有影響的挖掘布爾關聯規則頻繁項集的算法。其核心是基于兩階段頻集思想的遞推算法。該關聯規則在分類上屬于單維、單層、布爾關聯規則。在這里，所有支持度大于最小支持度的項集稱為頻繁項集，簡稱頻集。
該算法的基本思想是：首先找出所有的頻集，這些項集出現的頻繁性至少和預定義的最小支持度一樣。然后由頻集產生強關聯規則，這些規則必須滿足最小支持度和最小可信度。然后使用第1步找到的頻集產生期望的規則，產生只包含集合的項的所有規則，其中每一條規則的右部只有一項，這里采用的是中規則的定義。一旦這些規則被生成，那么只有那些大于用戶給定的最小可信度的規則才被留下來。為了生成所有頻集，使用了遞推的方法。
可能產生大量的候選集,以及可能需要重復掃描數據庫，是Apriori算法的兩大缺點。
2.基于劃分的算法
Savasere等設計了一個基于劃分的算法。這個算法先把數據庫從邏輯上分成幾個互不相交的塊，每次單獨考慮一個分塊并對它生成所有的頻集，然后把產生的頻集合并，用來生成所有可能的頻集，最后計算這些項集的支持度。這里分塊的大小選擇要使得每個分塊可以被放入主存，每個階段只需被掃描一次。而算法的正確性是由每一個可能的頻集至少在某一個分塊中是頻集保證的。該算法是可以高度并行的，可以把每一分塊分別分配給某一個處理器生成頻集。產生頻集的每一個循環結束后，處理器之間進行通信來產生全局的候選k-項集。通常這里的通信過程是算法執行時間的主要瓶頸；而另一方面，每個獨立的處理器生成頻集的時間也是一個瓶頸。
3.FP-樹頻集算法
針對Apriori算法的固有缺陷，J. Han等提出了不產生候選挖掘頻繁項集的方法：FP-樹頻集算法。采用分而治之的策略，在經過第一遍掃描之后，把數據庫中的頻集壓縮進一棵頻繁模式樹（FP-tree），同時依然保留其中的關聯信息，隨后再將FP-tree分化成一些條件庫，每個庫和一個長度為1的頻集相關，然后再對這些條件庫分別進行挖掘。當原始數據量很大的時候，也可以結合劃分的方法,使得一個FP-tree可以放入主存中。實驗表明，FP-growth對不同長度的規則都有很好的適應性，同時在效率上較之Apriori算法有巨大的提高。
3.該領域在國內外的應用
3．1關聯規則發掘技術在國內外的應用
就目前而言，關聯規則挖掘技術已經被廣泛應用在西方金融行業企業中，它可以成功預測銀行客戶需求。一旦獲得了這些信息，銀行就可以改善自身營銷。現在銀行天天都在開發新的溝通客戶的方法。各銀行在自己的ATM機上就捆綁了顧客可能感興趣的本行產品信息，供使用本行ATM機的用戶了解。如果數據庫中顯示，某個高信用限額的客戶更換了地址，這個客戶很有可能新近購買了一棟更大的住宅，因此會有可能需要更高信用限額，更高端的新信用卡，或者需要一個住房改善貸款，這些產品都可以通過信用卡賬單郵寄給客戶。當客戶打電話咨詢的時候，數據庫可以有力地幫助電話銷售代表。銷售代表的電腦屏幕上可以顯示出客戶的特點，同時也可以顯示出顧客會對什么產品感興趣。
同時，一些知名的電子商務站點也從強大的關聯規則挖掘中的受益。這些電子購物網站使用關聯規則中規則進行挖掘，然后設置用戶有意要一起購買的捆綁包。也有一些購物網站使用它們設置相應的交叉銷售，也就是購買某種商品的顧客會看到相關的另外一種商品的廣告。
但是目前在我國，“數據海量，信息缺乏”是商業銀行在數據大集中之后普遍所面對的尷尬。目前金融業實施的大多數數據庫只能實現數據的錄入、查詢、統計等較低層次的功能，卻無法發現數據中存在的各種有用的信息，譬如對這些數據進行分析，發現其數據模式及特征，然后可能發現某個客戶、消費群體或組織的金融和商業興趣，并可觀察金融市場的變化趨勢。可以說，關聯規則挖掘的技術在我國的研究與應用并不是很廣泛深入。
3．2近年來關聯規則發掘技術的一些研究
由于許多應用問題往往比超市購買問題更復雜，大量研究從不同的角度對關聯規則做了擴展，將更多的因素集成到關聯規則挖掘方法之中，以此豐富關聯規則的應用領域，拓寬支持管理決策的范圍。如考慮屬性之間的類別層次關系，時態關系，多表挖掘等。近年來圍繞關聯規則的研究主要集中于兩個方面，即擴展經典關聯規則能夠解決問題的范圍，改善經典關聯規則挖掘算法效率和規則興趣性。
數據挖掘技術實現
在技術上可以根據它的工作過程分為：數據的抽取、數據的存儲和管理、數據的展現等關鍵技術。
·數據的抽取
數據的抽取是數據進入倉庫的入口。由于數據倉庫是一個獨立的數據環境，它需要通過抽取過程將數據從聯機事務處理系統、外部數據源、脫機的數據存儲介質中導入數據倉庫。數據抽取在技術上主要涉及互連、復制、增量、轉換、調度和監控等幾個方面的處理。在數據抽取方面，未來的技術發展將集中在系統功能集成化方面，以適應數據倉庫本身或數據源的變化，使系統更便于管理和維護。
·數據的存儲和管理
數據倉庫的組織管理方式決定了它有別于傳統數據庫的特性，也決定了其對外部數據的表現形式。數據倉庫管理所涉及的數據量比傳統事務處理大得多，且隨時間的推移而快速累積。在數據倉庫的數據存儲和管理中需要解決的是如何管理大量的數據、如何并行處理大量的數據、如何優化查詢等。目前，許多數據庫廠家提供的技術解決方案是擴展關系型數據庫的功能，將普通關系數據庫改造成適合擔當數據倉庫的服務器。
·數據的展現
在數據展現方面主要的方式有：
查詢：實現預定義查詢、動態查詢、OLAP查詢與決策支持智能查詢；報表：產生關系數據表格、復雜表格、OLAP表格、報告以及各種綜合報表；可視化：用易于理解的點線圖、直方圖、餅圖、網狀圖、交互式可視化、動態模擬、計算機動畫技術表現復雜數據及其相互關系；統計：進行平均值、最大值、最小值、期望、方差、匯總、排序等各種統計分析；挖掘：利用數據挖掘等方法，從數據中得到關于數據關系和模式的識。
數據挖掘與數據倉庫融合發展
數據挖掘和數據倉庫的協同工作，一方面，可以迎合和簡化數據挖掘過程中的重要步驟，提高數據挖掘的效率和能力，確保數據挖掘中數據來源的廣泛性和完整性。另一方面，數據挖掘技術已經成為數據倉庫應用中極為重要和相對獨立的方面和工具。
數據挖掘和數據倉庫是融合與互動發展的，其學術研究價值和應用研究前景將是令人振奮的。它是數據挖掘專家、數據倉庫技術人員和行業專家共同努力的成果，更是廣大渴望從數據庫“奴隸”到數據庫“主人”轉變的企業最終用戶的通途。
統計學與數據挖掘
統計學和數據挖掘有著共同的目標：發現數據中的結構。事實上，由于它們的目標相似，一些人（尤其是統計學家）認為數據挖掘是統計學的分支。這是一個不切合實際的看法。因為數據挖掘還應用了其它領域的思想、工具和方法，尤其是計算機學科，例如數據庫技術和機器學習，而且它所關注的某些領域和統計學家所關注的有很大不同。
1．統計學的性質
試圖為統計學下一個太寬泛的定義是沒有意義的。盡管可能做到，但會引來很多異議。相反，我要關注統計學不同于數據挖掘的特性。
差異之一同上節中最后一段提到的相關，即統計學是一門比較保守的學科，目前有一種趨勢是越來越精確。當然，這本身并不是壞事，只有越精確才能避免錯誤，發現真理。但是如果過度的話則是有害的。這個保守的觀點源于統計學是數學的分支這樣一個看法，我是不同意這個觀點的,盡管統計學確實以數學為基礎（正如物理和工程也以數學為基礎，但沒有被認為是數學的分支），但它同其它學科還有緊密的聯系。
數學背景和追求精確加強了這樣一個趨勢：在采用一個方法之前先要證明，而不是象計算機科學和機器學習那樣注重經驗。這就意味著有時候和統計學家關注同一問題的其它領域的研究者提出一個很明顯有用的方法，但它卻不能被證明（或還不能被證明）。統計雜志傾向于發表經過數學證明的方法而不是一些特殊方法。數據挖掘作為幾門學科的綜合，已經從機器學習那里繼承了實驗的態度。這并不意味著數據挖掘工作者不注重精確，而只是說明如果方法不能產生結果的話就會被放棄。
正是統計文獻顯示了（或夸大了）統計的數學精確性。同時還顯示了其對推理的側重。盡管統計學的一些分支也側重于描述，但是瀏覽一下統計論文的話就會發現這些文獻的核心問題就是在觀察了樣本的情況下如何去推斷總體。當然這也常常是數據挖掘所關注的。下面我們會提到數據挖掘的一個特定屬性就是要處理的是一個大數據集。這就意味著，由于可行性的原因，我們常常得到的只是一個樣本，但是需要描述樣本取自的那個大數據集。然而，數據挖掘問題常常可以得到數據總體，例如關于一個公司的所有職工數據，數據庫中的所有客戶資料，去年的所有業務。在這種情形下，推斷就沒有價值了（例如，年度業務的平均值），因為觀測到的值也就是估計參數。這就意味著，建立的統計模型可能會利用一系列概率表述（例如，一些參數接近于0，則會從模型中剔除掉），但當總體數據可以獲得的話，在數據挖掘中則變得毫無意義。在這里，我們可以很方便的應用評估函數：針對數據的足夠的表述。事實是，常常所關注的是模型是否合適而不是它的可行性，在很多情形下，使得模型的發現很容易。例如，在尋找規則時常常會利用吻合度的單純特性（例如，應用分支定理）。但當我們應用概率陳述時則不會得到這些特性。
統計學和數據挖掘部分交迭的第三個特性是在現代統計學中起核心作用的“模型”。或許“模型”這個術語更多的含義是變化。一方面，統計學模型是基于分析變量間的聯系，但另一方面這些模型關于數據的總體描述確實沒有道理的。關于信用卡業務的回歸模型可能會把收入作為一個獨立的變量，因為一般認為高收入會導致大的業務。這可能是一個理論模型（盡管基于一個不牢靠的理論）。與此相反，只需在一些可能具有解釋意義的變量基礎上進行逐步的搜索，從而獲得一個有很大預測價值的模型，盡管不能作出合理的解釋。（通過數據挖掘去發現一個模型的時候，常常關注的就是后者）。
還有其它方法可以區分統計模型，但在這里我將不作探討。這里我想關注的是，現代統計學是以模型為主的。而計算，模型選擇條件是次要的，只是如何建立一個好的模型。但在數據挖掘中，卻不完全是如此。在數據挖掘中，準則起了核心的作用。（當然在統計學中有一些以準則為中心的獨立的特例。Gifi的關于學校的非線性多變量分析就是其中之一。例如，Gifi說，在本書中我們持這樣的觀點，給定一些最常用的MVA（多變量分析）問題，既可以從模型出發也可以技術出發。正如我們已經在1.1節所看到的基于模型的經典的多變量統計分析，……然而，在很多情形下，模型的選擇并不都是顯而易見的，選擇一個合適的模型是不可能的，最合適的計算方法也是不可行的。在這種情形下，我們從另外一個角度出發，應用設計的一系列技術來回答MVA問題，暫不考慮模型和最優判別的選擇。
相對于統計學而言，準則在數據挖掘中起著更為核心的作用并不奇怪，數據挖掘所繼承的學科如計算機科學及相關學科也是如此。數據集的規模常常意味著傳統的統計學準則不適合數據挖掘問題，不得不重新設計。部分地，當數據點被逐一應用以更新估計量，適應性和連續性的準則常常是必須的。盡管一些統計學的準則已經得到發展，但更多的應用是機器學習。（正如“學習”所示的那樣）
2．數據挖掘的性質
由于統計學基礎的建立在計算機的發明和發展之前，所以常用的統計學工具包含很多可以手工實現的方法。因此，對于很多統計學家來說，1000個數據就已經是很大的了。但這個“大”對于英國大的信用卡公司每年350,000,000筆業務或AT&T每天200,000,000個長途呼叫來說相差太遠了。很明顯，面對這么多的數據，則需要設計不同于那些“原則上可以用手工實現”的方法。這意味這計算機（正是計算機使得大數據可能實現）對于數據的分析和處理是關鍵的。分析者直接處理數據將變得不可行。相反，計算機在分析者和數據之間起到了必要的過濾的作用。這也是數據挖掘特別注重準則的另一原因。盡管有必要，把分析者和數據分離開很明顯導致了一些關聯任務。這里就有一個真正的危險：非預期的模式可能會誤導分析者，這一點我下面會討論。
我不認為在現代統計中計算機不是一個重要的工具。它們確實是，并不是因為數據的規模。對數據的精確分析方法如bootstrap方法、隨機測試，迭代估計方法以及比較適合的復雜的模型正是有了計算機才是可能的。計算機已經使得傳統統計模型的視野大大的擴展了，還促進了新工具的飛速發展。
下面來關注一下歪曲數據的非預期的模式出現的可能性。這和數據質量相關。所有數據分析的結論依賴于數據質量。GIGO的意思是垃圾進，垃圾出，它的引用到處可見。一個數據分析者，無論他多聰明，也不可能從垃圾中發現寶石。對于大的數據集，尤其是要發現精細的小型或偏離常規的模型的時候，這個問題尤其突出。當一個人在尋找百萬分之一的模型的時候，第二個小數位的偏離就會起作用。一個經驗豐富的人對于此類最常見的問題會比較警覺，但出錯的可能性太多了。
此類問題可能在兩個層次上產生。第一個是微觀層次，即個人記錄。例如，特殊的屬性可能丟失或輸錯了。我知道一個案例，由于挖掘者不知道，丟失的數據被記錄為99而作為真實的數據處理。第二個是宏觀層次，整個數據集被一些選擇機制所歪曲。交通事故為此提供了一個好的示例。越嚴重的、致命的事故，其記錄越精確，但小的或沒有傷害的事故的記錄卻沒有那么精確。事實上，很高比例的數據根本沒有記錄。這就造成了一個歪曲的映象－可能會導致錯誤的結論。
統計學很少會關注實時分析，然而數據挖掘問題常常需要這些。例如，銀行事務每天都會發生，沒有人能等三個月得到一個可能的欺詐的分析。類似的問題發生在總體隨時間變化的情形。我的研究組有明確的例子顯示銀行債務的申請隨時間、競爭環境、經濟波動而變化。
3．討論
數據挖掘有時候是一次性的實驗。這是一個誤解。它更應該被看作是一個不斷的過程（盡
管數據集時確定的）。從一個角度檢查數據可以解釋結果，以相關的觀點檢查可能會更接近等等。關鍵是，除了極少的情形下，很少知道哪一類模式是有意義的。數據挖掘的本質是發現非預期的模式－同樣非預期的模式要以非預期的方法來發現。
與把數據挖掘作為一個過程的觀點相關聯的是認識到結果的新穎性。許多數據挖掘的結果是我們所期望的－可以回顧。然而，可以解釋這個事實并不能否定挖掘出它們的價值。沒有這些實驗，可能根本不會想到這些。實際上，只有那些可以依據過去經驗形成的合理的解釋的結構才會是有價值的。
顯然在數據挖掘存在著一個潛在的機會。在大數據集中發現模式的可能性當然存在，大數據集的數量與日俱增。然而，也不應就此掩蓋危險。所有真正的數據集（即使那些是以完全自動方式搜集的數據）都有產生錯誤的可能。關于人的數據集（例如事務和行為數據）尤其有這種可能。這很好的解釋了絕大部分在數據中發現的“非預期的結構”本質上是無意義的，而是因為偏離了理想的過程。（當然，這樣的結構可能會是有意義的：如果數據有問題，可能會干擾搜集數據的目的，最好還是了解它們）。與此相關聯的是如何確保（和至少為事實提供支持）任何所觀察到的模式是“真實的”，它們反應了一些潛在的結構和關聯而不僅僅是一個特殊的數據集，由于一個隨機的樣本碰巧發生。在這里，記分方法可能是相關的，但需要更多的統計學家和數據挖掘工作者的研究。 |
相關文章
2025里諾軟件國慶節放假通知 (2025-09-29)
2025里諾軟件端午節放假通知 (2025-05-30)
肅北宏潤實業引進里諾倉庫管理軟件.數字化升級助力企業效能新飛躍 (2025-08-23)
湖北美峰新材料有限公司啟用里諾倉庫管理軟件 (2025-08-09)
杭州中測科技有限公司啟用里諾合同管理軟件 (2025-07-26)
廣東建濤項目管理咨詢有限公司啟用里諾合同管理軟件 (2025-07-12)
沈陽啟源工業泵制造有限公司實施里諾進銷存管理軟件(SQL網絡版) (2009-09-16)
什么是BOM表? (2009-09-16)
我國服裝行業的特點 (2009-09-07)
數據挖掘相關的10個問題 (2009-09-21)
里諾進銷存(SQL網絡版)助無錫市瑞杰電氣有限公司規范化管理 (2009-09-19)
里諾餐飲管理軟件(單機版) (2016-02-03)
|
加速器之家 - 開游加速器 - 2277安卓網 - 極速軟件園 - 考拉軟件站 - 番茄下載 - 幣看網 |
里諾管理系統系列