數據挖掘分析過程中，常見的數據處理方法有哪些？
2023-12-11 15:45:18
次
在進行數據挖掘分析的時候，數據處理是非常重要的一環。數據處理一般是要結合實際業務做相應的數據處理，為后續機器學習建模做好準備。比如數據存在缺失值，就要做相應的缺失值的填充或刪除操作；數據建模需要的數據存儲在不同的表或源中，需要做相應的融合操作；拿到的數據是明細數據，但實際建模需要的是聚合數據等等。
一般的建模數據是整合清洗好的寬表數據，因此需要提前準備好需要分析的寬表數據。若沒有，則需要通過DF對數據進行整合形成寬表，或者通過AI的擴展編程實現數據的整合，形成寬表進行落庫，且要與建模流程分開，防止后期建模流程周期長、執行慢等問題，在部署時，可以采用調度編排對多個任務進行串連。
除了前面介紹到的缺失值和異常值問題及處理，平臺中還有許多數據處理節點可以實現建模分析的前期準備工作，下面針對于不同的數據問題使用Tempo人工智能產品進行處理的方法進行介紹。
對于數據重復問題可以使用到的數據處理節點有數據去重和過程查詢分析器。
數據去重節點有兩種使用場景，一種是去掉所有列的完全重復數據，另一種是去掉指定列的完全重復數據。
在過程查詢分析器中，支持“僅選擇非重復行”，實現數據去重。
數據融合
可以使用到的數據處理節點包括數據連接、數據拆分、數據追加、數據差集、數據分解和過程查詢分析器節點。
數據連接節點可以將多個表進行融合。支持多個數據表兩兩表之間單個或多個字段為連接字段的連接操作，連接方式包括內連接、完全外連接、左連接、右連接。
數據追加節點支持將多個表的行進行拼接。
過程查詢分析器節點當連接多個數據集時，打開節點可以點擊表連接對多張表進行連接配置從而達到表連接的目的。
排序
可以使用到的數據處理節點包括排序和過程查詢分析器節點。
過程查詢分析器節點通過數據排序功能進行實現。
排序節點可以對單個字段或多個字段組合的升序或降序排序。
其他
分類匯總節點可以按照某種分類變量和需要分析的數據進行分類計算，對原始數據分類，做出表格形式，便于直觀地觀察數據的大致分布情況。對數值型數據可以進行計數、最大值、最小值、平均值、求和、方差、標準差、唯一計數、上四分位數、下四分位數、中位數、變異系數和百分位數的處理方式；對字符型數據可以進行計數和唯一計數的處理方式。還可以選擇單獨輸出匯總結果或選擇原表數據與匯總結果拼接輸出。
數據平衡節點可以將非平衡數據通過丟棄降低多值對應數量或者復制增加低值對應數量，讓不同值下樣本的數量能夠大致相同。該節點提供了兩種模式，一種是通過絕對數量進行數據平衡，另一種是通過調整因子。
隨機抽樣節點支持無放回抽樣、有放回抽樣、分層抽樣和N中取1的抽樣方法，還提供了按照絕對數量（近似）和相對比例進行抽樣。
綜合性節點
除去以上的數據處理方式，平臺還支持一些綜合性節點，支持實現更復雜的數據處理場景。
過程查詢分析器是根據指定的條件從接入的數據表中提取數據，支持對數據進行表連接、計算列、數據選擇、數據過濾、數據排序、匯總、去重等操作，實現接入數據的查詢分析過程。
自動數據處理能夠對用戶輸入的數據根據內置的數據處理規則進行自動處理，提高用戶的數據處理效率。包括缺失值處理、離群值處理、標準差判斷處理、單類別占比判斷處理、單類別行數判斷處理。
以上是使用Tempo人工智能平臺進行數據挖掘分析建模過程中進行數據處理的方法介紹。
Tempo商業智能平臺
Tempo人工智能平臺
Tempo數據工廠平臺
Tempo指標平臺
Tempo數據治理平臺
Tempo主數據管理平臺
首頁
陜公網安備 61019002000171號
