什么是大數(shù)據(jù) 大數(shù)據(jù)有什么意義,只是僅僅負責(zé)采集和收集數(shù)據(jù)嗎
發(fā)布時間:2019-09-17
“大數(shù)據(jù)”是指數(shù)據(jù)量大、類別大的數(shù)據(jù)集,傳統(tǒng)的數(shù)據(jù)庫工具無法捕捉、管理和處理這些數(shù)據(jù)集?!按髷?shù)據(jù)”首先指的是數(shù)據(jù)量(卷)?大,是指大數(shù)據(jù)集,一般為10TB?在實際應(yīng)用中,許多企業(yè)用戶將多個數(shù)據(jù)集合在一起,形成了PB級的數(shù)據(jù);其次,數(shù)據(jù)類別(多樣性)大,數(shù)據(jù)來源多樣,數(shù)據(jù)類型和格式越來越豐富,突破了以前的結(jié)構(gòu)化數(shù)據(jù)類別,包括半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。其次是數(shù)據(jù)處理速度(Velocity),它也可以
數(shù)據(jù)采集:ETL工具負責(zé)從分布式和異構(gòu)數(shù)據(jù)源(如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等)中提取數(shù)據(jù)到臨時中間層,然后進行清理、轉(zhuǎn)換和集成。最后,將ETL工具加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中,成為在線分析、處理和數(shù)據(jù)挖掘的基礎(chǔ)。
數(shù)據(jù)訪問:關(guān)系數(shù)據(jù)庫、NOSQL、SQL等。
基礎(chǔ)設(shè)施:云存儲、分布式文件存儲等。
數(shù)據(jù)處理:自然語言處理(NLP,自然語言處理)是人類與計算機交互的語言問題的一個研究課題。自然語言處理的關(guān)鍵是使計算機“理解”自然語言,因此自然語言處理也稱為自然語言理解,也稱為計算語言學(xué)。它一方面是語言信息處理的一個分支,另一方面又是人工智能(AI)的核心學(xué)科之一。
統(tǒng)計分析:假設(shè)檢驗、顯著性檢驗、差異分析、相關(guān)分析、t檢驗、方差分析、卡方分析、偏相關(guān)分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預(yù)測及殘差分析、嶺回歸分析、邏輯回歸分析、曲線估計、因子分析、聚類分析、主成分分析因子分析、快速聚類分析、判別分析、對應(yīng)分析、多元對應(yīng)分析(最優(yōu)尺度分析)、自舉技術(shù)等。
數(shù)據(jù)挖掘:分類(分類)、估計(估計)、預(yù)測(預(yù)測)、關(guān)聯(lián)分組或關(guān)聯(lián)規(guī)則(相關(guān)性分組或關(guān)聯(lián)規(guī)則)、聚類(聚類)、描述和視覺、描述和可視化)、復(fù)雜數(shù)據(jù)類型挖掘(文本、Web、圖形、圖像、視頻、音頻等。)。
模型預(yù)測:預(yù)測模型、機器學(xué)習(xí)、建模與仿真。
結(jié)果:云計算、標(biāo)簽云、圖表等。
要理解大數(shù)據(jù)的概念,我們應(yīng)該從“大”開始,“大”是指數(shù)據(jù)的規(guī)模。大數(shù)據(jù)通常指大于10 TB(1 TB=1024 GB)的數(shù)據(jù)量。大數(shù)據(jù)與過去的海量數(shù)據(jù)不同。其基本特性可以概括為四伏(體積、種類、值和Velocc-ity),即,大體積、多樣性、低值密度和快速速度。
模型預(yù)測:預(yù)測模型、機器學(xué)習(xí)、建模與仿真。
結(jié)果:云計算、標(biāo)簽云、圖表等。
要理解大數(shù)據(jù)的概念,我們應(yīng)該從“大”開始,“大”是指數(shù)據(jù)的規(guī)模。大數(shù)據(jù)通常指大于10 TB(1 TB=1024 GB)的數(shù)據(jù)量。大數(shù)據(jù)與過去的海量數(shù)據(jù)不同。其基本特性可以概括為四伏(體積、種類、值和Velocc-ity),即,大體積、多樣性、低值密度和快速速度。
轉(zhuǎn)載自:https://baijiahao.baidu.com/s?id=1638117074417025714&wfr=spider&for=pc