1、什麼是大數據 大數據是什麼意思
大數據是一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統資料庫軟體工具能力范圍的數據集合,具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特徵。
從技術上看,大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理,必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘。但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。
(1)大數據與idc擴展資料
大數據的價值體現在以三方面:
1、對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷;
2、做小而美模式的中小微企業可以利用大數據做服務轉型;
3、面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值。
2、大數據和數據大集中有什麼區別和聯系
大數據實質是數據量到了一定程度,怎麼獲取、處理和分析的事情。其他問題比如數據中版心怎麼建設、是否權採用數據大集中的形式可以說和大數據的實質關系不大。大數據使用的數據可以是集中的一處拿來的,更可能是分布在多地或者一地的多處的。
數據大集中是一種建設模式。意思主要是不搞分級分地區的部署,而把數據中心統一在一處。比如銀行的中國南北兩大數據中心、稅務部門的大集中建設,這樣資料庫在物理上是位於一處匯總的(當然為了數據安全,可有異地備份),對銀行和稅務等部門來說,便於提取和統計,特別是便於總行總局之類的上級部門直接拿到各地業務數據。
所以我的感覺是,兩者關系不大。主要看業務類型和上級要求吧。特別需要統一匯總和管理數據的,或者運維力量集中保障高可用高安全的,採用數據大集中適合。大數據,只有能獲取和挖掘數據,隨意怎麼玩。當然,如果數據是集中存放的話,更方便大數據平台拿和用。
3、大數據和雲計算的聯系、區別?
雲伺服器,是一種處理能力可彈性伸縮的計算服務。其管理方式比物理伺服器簡單。用戶無需提前購買硬體,即可創建或釋放任意多台雲伺服器。
小鳥雲專注為個人開發者用戶、中小型、大型企業用戶提供一站式核心網路雲端部署服務,促使用戶雲端部署化簡為零,輕鬆快捷運用雲計算。小鳥雲是國內為數不多具有ISP/IDC雙資質的專業雲計算服務商,同時持有系統軟體著作權證書、CNNIC地址分配聯盟成員證書,通過了ISO27001信息安全管理體系國際認證、ISO9001質量保證體系國際認證。
傳統的伺服器是具有獨立的CPU、內存條、硬碟,存儲的數據安全性不高,硬碟的浪費率比較高,在應用方面應用有局限性,如果有新的應用,那隻能再買一台了,這樣造成了伺服器嚴重的浪費,對於一些中小企業而言是不可低估的。
1、從技術方面來講
雲伺服器使用了雲計算技術,而雲計算技術,整合了計算、網路、存儲等各種軟體和硬體技術。傳統的伺服器,就是獨立的了,不會整合這些資源。
2、從安全性方面來講
雲伺服器具有天然防ARP攻擊和MAC欺騙,快照備份,數據永久不丟失。而傳統的伺服器則不具有這方面的功能。
從可靠性來講
雲伺服器是基於伺服器集群的,因此硬體冗餘度較高,故障率低;而傳統的伺服器則相對來說硬體冗餘較少,故障率較高。
4、從靈活性方面來講
用戶可以在線實時增加自己的配置,可擴展空間較大;而傳統的伺服器則有這方面的局限性,如果有新的應用,只能再買一台了
4、數據中心,雲計算,大數據這三個詞之間有什麼區別和聯系
作者:XDCPlus
鏈接:https://www.hu.com/question/21814158/answer/197093338
來源:知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權,非商業轉載請註明出處。
一、數據中心是全球協作的特定設備網路,用來在Internet網路基礎設施上傳遞、加速、展示、計算、存儲數據信息。它不僅包括計算機系統和其它與之配套的設備,還包含冗餘的數據通信連接、環境控制設備、監控設備以及各種安全裝置。
二、而雲計算是什麼?一般說來,它是基於互聯網的相關服務的增加、使用和交付模式,通常涉及通過互聯網來提供動態易擴展且經常是虛擬化的資源。雲計算是一種按使用量付費的IT服務模式,這種模式提供可用的、便捷的、按需的網路訪問,進入可配置的計算資源共享池(資源包括網路,伺服器,存儲,應用軟體,服務),這些資源能夠被快速提供,只需投入很少的管理工作,或與服務供應商進行很少的交互。那麼雲計算的定義中有一個最重要的關鍵詞:按需。雲計算提供商是根據用戶需求,按需提供計算資源的,另外就是雲計算架構具有很大的彈性,和擴展性,因為所有的實際物理資源都被虛擬化(抽象化),可配置和可管理。
雲計算技術包括分布式文件系統、分布式計算、分布式數據存儲等。基於雲計算架構,可以實現高並發處理系統來處理海量請求,也可以搭建存儲海量數據的雲存儲系統,也可以搭建分布式計算系統來對數據進行挖掘。生活化一點,包括我們所熟知的搜索引擎、網路視頻、電子商務、電子郵件、地圖導航等都屬於雲計算的范疇。
三、大數據是什麼?在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中提出:大數據指不用隨機分析法(抽樣調查)這樣捷徑,而採用所有數據進行分析處理。
那麼究竟多大的數據算是大數據,這個其實並沒有明確的定義。不過IBM提出了大數據的5V特點:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)、Veracity(真實性)。這也是目前大家比較公認的大數據的特徵。
這個5V的特點,反映了大數據數據量大、產生的速度快且多樣,同時大數據具有低價值密度的特點,同時大數據也可能會夾雜一些干擾,影響數據的真實性。因此需要一些技術手段能夠快速處理海量數據,並且能夠從大數據中挖掘有價值的信息。
大數據從何而來?
移動互聯網的大數據主要來自四個方面:
(1)內容數據。Web2.0時代以後,每個人都成為了媒體,都在網路上生產內容,包括文字、圖片、視頻等等。
(2)電商數據。隨著電子商務的發展,線上交易量已經占據整個零售業交易的大部分。每一筆交易都包含了買家、賣家以及商品背後的整條價值鏈條的信息。
(3)社交數據。隨著移動社交成為最主要的社交方式,社交不僅僅只有人與人之間的交流作用,社交數據中包括了人的喜好、生活軌跡、消費能力、價值取向等各種重要的用戶畫像信息。
(4)物聯網數據。各行各業都出現了物聯網的需求和解決方案,每時每刻都在產生巨量的監測數據。
那麼如此之多的數據,包含著很多有價值的信息,這些信息並不是以直觀的形式呈現出來的,需要有辦法對這些數據進行處理,無論是計算、存儲還是通信,都提出了很高的要求,雲計算的相關技術就是對巨量數據的計算、存儲和通信的解決方案。
但有一點不變的是,不管雲計算怎樣去變化,必然需要依託數據中心實現落地。可以說,數
據中心是雲計算的根,雲計算是數據中心「葉子」,雲計算通過「光合作用」促進數據中心的發展,
而數據中心得壯大又為雲計算發展提供了堅實的基礎。兩者起到相互依存,互相促進的作用。
關於大數據和雲計算的概念區別,我們總結一下:大數據說的是一種移動互聯網和物聯網背景下的應用場景,各種應用產生的巨量數據,需要處理和分析,挖掘有價值的信息;雲計算說的是一種技術解決方案,就是利用這種技術可以解決計算、存儲、資料庫等一系列IT基礎設施的按需構建的需求。兩者並不是同一個層面的東西。
大數據與雲計算的關系
那麼上面說了大數據和雲計算的區別,兩者之間又有著非常緊密的聯系。大數據是雲計算非常重要的應用場景,而雲計算則為大數據的處理和數據挖掘都提供了最佳的技術解決方案。
5、大數據、IDC和雲計算之間有什麼關系嗎?
大數據是雲計算的殺手鐧應用
大數據與雲計算的關系,引起一些人的困惑。為了便於探討二者的關系,這里從「計算」和「數據」的歷史關系說起。因為雲計算首先是一種「計算」,大數據首先是一種「數據」,而計算機就是用來「計算」「數據」的。
計算機是軟體和硬體分離的,是一種軟體定義的電子產品(可編程)。計算機設計中的一個重要問題是如何有效管理CPU、內存和I/O等硬體資源,以及如何讓應用程序合理使用這些資源。這兩大任務最早內嵌在各種應用程序中,由應用程序自身完成,缺點是費力、復雜和易錯,難以升級和移植,而且重復工作。
上世紀60年代這些共性功能開始從應用中分離出來,逐步形成了一種通用的軟體包,這就是操作系統。操作系統是位於硬體和應用程序之間的「中間件」,讓應用軟體和硬體得以分離並獨立發展,發展成了最核心的計算機系統軟體,也成就了微軟公司的偉大。
以UNIX為始祖的常見現代操作系統有Android、BSD、iOS、Linux、 MacOSX、QNX等,以及原創的微軟Windows、 Windows Phone和IBM的z/OS.操作系統的工作范圍,也從最初的計算機蔓延到手機、游戲控制器、電視機頂盒、智能汽車和智能眼鏡等,還有與雲計算密切相關的Web伺服器。
上世紀70年代,計算機的快速發展使得數字化數據爆發式增長,「海量」數據管理成了新挑戰。把通用操作系統的文件管理用於數據管理時,無論是擴展性、效率和便利性,都不適應「海量」數據的管理需要,應用軟體被迫內嵌自己設計的數據管理系統。同樣的,「海量」數據管理由每個應用程序自身完成,缺點也是費力、復雜和易錯,難以升級和移植,並且重復工作。
於是一種專門面向「海量」數據管理的通用軟體問世了,那就是資料庫管理系統(DBMS),一種應用系統軟體。DBMS包括了資料庫定義、創建、查詢、更新和管理等功能,這些都是數據管理所必需的,是操作系統的文件管理系統所沒有的。
著名的DBMS有 MySQL、 PostgreSQL、SQLite、Microsoft SQL Server、Microsoft Access、Oracle、Sybase、dBASE、FoxPro和IBM DB2等,都是關系型DBMS.當然還有非關系型No SQL模式的,只是沒那麼流行。
DBMS與字處理軟體等一起,成為單機時代最重要的應用軟體,也成就了一家偉大的應用軟體公司Oracle.大約不足20年前,操作系統和資料庫的技術和市場未來,看起來都那麼可預知。一個是微軟的天下,一個是Oracle的天下。
但互聯網來了,尤其是Web開始流行。
Web伺服器所使用的操作系統,最初面向單機設計,擴展用於區域網范圍內管理多台伺服器還勉強可用。但當互聯網巨頭崛起,需要Web伺服器的操作系統管理數百萬台Web伺服器的時候,傳統操作系統勉為其難,需要「技術革命」了。「革命」的結果就是雲計算。
雲計算大傘下有很多概念,核心技術之一是虛擬化。虛擬化有「1虛N」和「N虛1」兩種模式,前者主要是為了省錢,以Amazon AWS為代表;後者主要是為了大數據處理,以Google GAE為代表。
雲計算的「N虛1」模式,可將多台物理計算機虛擬化為一台超級計算機,向應用程序提供資源池的調度管理服務,與傳統操作系統的功能幾乎完全相同,因此常被稱為「雲計算操作系統」。只是雲計算操作系統的工作范圍,擴大到數據中心甚至整個互聯網范圍內,把每台計算機也當做資源看待和管理。
有了雲計算操作系統,雲應用軟體和硬體(計算機資源)得以分離,各自可以獨立發展。歷史再次重演,雲計算以及SNS、微博、移動互聯網和物聯網等的快速發展,具有3V特點的數據爆發,大數據管理的挑戰也最先到來。同樣,面向計算設計的通用雲計算操作系統,在大數據管理方面的擴展性、效率和便利性,都面臨新挑戰。
歷史上計算機面對「海量」數據的挑戰,將數據應用和數據管理分離,催生了通用的DBMS.現在雲計算面對大數據的挑戰,也必將使大數據應用和大數據管理分離,催生「大資料庫管理系統」,並且逐步走向通用化和平台化。
ATM(非同步傳輸模式)是通信資源稀缺時代的產物,TCP/IP是通信資源富饒時代的產物。類似的,傳統DBMS是IT資源稀缺時代的產物,大數據管理系統是IT資源富饒時代的產物。
計算是工具,可以工業化提供;數據是資源,是個性化的資產。如果說Office、游戲等是PC的殺手鐧應用,瀏覽器、搜索、SNS等是互聯網的殺手鐧應用,那麼大數據等就是雲計算的殺手鐧應用。
6、大數據,IDC,雲計算之間有什麼關系嗎?
大數據是雲計算的殺手鐧應用
大數據與雲計算的關系,引起一些人的困惑。為了便於探討二者的關系,這里從「計算」和「數據」的歷史關系說起。因為雲計算首先是一種「計算」,大數據首先是一種「數據」,而計算機就是用來「計算」「數據」的。
計算機是軟體和硬體分離的,是一種軟體定義的電子產品(可編程)。計算機設計中的一個重要問題是如何有效管理CPU、內存和I/O等硬體資源,以及如何讓應用程序合理使用這些資源。這兩大任務最早內嵌在各種應用程序中,由應用程序自身完成,缺點是費力、復雜和易錯,難以升級和移植,而且重復工作。
上世紀60年代這些共性功能開始從應用中分離出來,逐步形成了一種通用的軟體包,這就是操作系統。操作系統是位於硬體和應用程序之間的「中間件」,讓應用軟體和硬體得以分離並獨立發展,發展成了最核心的計算機系統軟體,也成就了微軟公司的偉大。
以UNIX為始祖的常見現代操作系統有Android、BSD、iOS、Linux、 MacOSX、QNX等,以及原創的微軟Windows、 Windows Phone和IBM的z/OS.操作系統的工作范圍,也從最初的計算機蔓延到手機、游戲控制器、電視機頂盒、智能汽車和智能眼鏡等,還有與雲計算密切相關的Web伺服器。
上世紀70年代,計算機的快速發展使得數字化數據爆發式增長,「海量」數據管理成了新挑戰。把通用操作系統的文件管理用於數據管理時,無論是擴展性、效率和便利性,都不適應「海量」數據的管理需要,應用軟體被迫內嵌自己設計的數據管理系統。同樣的,「海量」數據管理由每個應用程序自身完成,缺點也是費力、復雜和易錯,難以升級和移植,並且重復工作。
於是一種專門面向「海量」數據管理的通用軟體問世了,那就是資料庫管理系統(DBMS),一種應用系統軟體。DBMS包括了資料庫定義、創建、查詢、更新和管理等功能,這些都是數據管理所必需的,是操作系統的文件管理系統所沒有的。
著名的DBMS有 MySQL、 PostgreSQL、SQLite、Microsoft SQL Server、Microsoft Access、Oracle、Sybase、dBASE、FoxPro和IBM DB2等,都是關系型DBMS.當然還有非關系型No SQL模式的,只是沒那麼流行。
DBMS與字處理軟體等一起,成為單機時代最重要的應用軟體,也成就了一家偉大的應用軟體公司Oracle.大約不足20年前,操作系統和資料庫的技術和市場未來,看起來都那麼可預知。一個是微軟的天下,一個是Oracle的天下。
但互聯網來了,尤其是Web開始流行。
Web伺服器所使用的操作系統,最初面向單機設計,擴展用於區域網范圍內管理多台伺服器還勉強可用。但當互聯網巨頭崛起,需要Web伺服器的操作系統管理數百萬台Web伺服器的時候,傳統操作系統勉為其難,需要「技術革命」了。「革命」的結果就是雲計算。
雲計算大傘下有很多概念,核心技術之一是虛擬化。虛擬化有「1虛N」和「N虛1」兩種模式,前者主要是為了省錢,以Amazon AWS為代表;後者主要是為了大數據處理,以Google GAE為代表。
雲計算的「N虛1」模式,可將多台物理計算機虛擬化為一台超級計算機,向應用程序提供資源池的調度管理服務,與傳統操作系統的功能幾乎完全相同,因此常被稱為「雲計算操作系統」。只是雲計算操作系統的工作范圍,擴大到數據中心甚至整個互聯網范圍內,把每台計算機也當做資源看待和管理。
有了雲計算操作系統,雲應用軟體和硬體(計算機資源)得以分離,各自可以獨立發展。歷史再次重演,雲計算以及SNS、微博、移動互聯網和物聯網等的快速發展,具有3V特點的數據爆發,大數據管理的挑戰也最先到來。同樣,面向計算設計的通用雲計算操作系統,在大數據管理方面的擴展性、效率和便利性,都面臨新挑戰。
歷史上計算機面對「海量」數據的挑戰,將數據應用和數據管理分離,催生了通用的DBMS.現在雲計算面對大數據的挑戰,也必將使大數據應用和大數據管理分離,催生「大資料庫管理系統」,並且逐步走向通用化和平台化。
ATM(非同步傳輸模式)是通信資源稀缺時代的產物,TCP/IP是通信資源富饒時代的產物。類似的,傳統DBMS是IT資源稀缺時代的產物,大數據管理系統是IT資源富饒時代的產物。
計算是工具,可以工業化提供;數據是資源,是個性化的資產。如果說Office、游戲等是PC的殺手鐧應用,瀏覽器、搜索、SNS等是互聯網的殺手鐧應用,那麼大數據等就是雲計算的殺手鐧應用。
7、什麼叫大數據,與雲計算有何關系。
1,大數據(big data),指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產
2,大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理,必須採用分布式計算架構。它的特色在於對海量數據的挖掘,但它必須依託雲計算的分布式處理、分布式資料庫、雲存儲和虛擬化技術。
他倆之間的關系你可以這樣來理解,雲計算技術就是一個容器,大數據正是存放在這個容器中的水,大數據是要依靠雲計算技術來進行存儲和計算的。
大數據的4V特點:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)。
雲計算的關鍵詞在於「整合」,無論你是通過現在已經很成熟的傳統的虛擬機切分型技術,還是通過google後來所使用的海量節點聚合型技術,他都是通過將海量的伺服器資源通過網路進行整合,調度分配給用戶,從而解決用戶因為存儲計算資源不足所帶來的問題。
大數據正是因為數據的爆發式增長帶來的一個新的課題內容,如何存儲如今互聯網時代所產生的海量數據,如何有效的利用分析這些數據等等。
大數據的趨勢:
趨勢一:數據的資源化
何為資源化,是指大數據成為企業和社會關注的重要戰略資源,並已成為大家爭相搶奪的新焦點。因而,企業必須要提前制定大數據營銷戰略計劃,搶占市場先機。
趨勢二:與雲計算的深度結合
大數據離不開雲處理,雲處理為大數據提供了彈性可拓展的基礎設備,是產生大數據的平台之一。自2013年開始,大數據技術已開始和雲計算技術緊密結合,預計未來兩者關系將更為密切。除此之外,物聯網、移動互聯網等新興計算形態,也將一齊助力大數據革命,讓大數據營銷發揮出更大的影響力。
趨勢三:科學理論的突破
隨著大數據的快速發展,就像計算機和互聯網一樣,大數據很有可能是新一輪的技術革命。隨之興起的數據挖掘、機器學習和人工智慧等相關技術,可能會改變數據世界裡的很多演算法和基礎理論,實現科學技術上的突破。
參考資料:網路-大數據 網路-雲數據8、資料庫和大數據的區別
對於資料庫研究人員和從業人員而言,從資料庫(DB)到大數據(BD)的轉變可以用「池塘捕魚」到「大海捕魚」做類比。「池塘捕魚」代表著傳統資料庫時代的數據管理方式,而 「大海捕魚」則是大數據時代的數據管理方式。這些差異主要體現在如下幾個方面:
1、數據規模
資料庫和大數據最明顯的區別就是規模。資料庫規模相對較小,即便是先前認為比較大的資料庫,比如 VLDB(Very Large Database),和大數據XLDB(Extremely Large Database)比起來還是差很遠。
資料庫的處理對象一般以 MB 為基本單位,而大數據則是GB、TB、PB 為基本處理單位。
2、數據類型
傳統資料庫數據種類單一,往往僅僅有一種或少數幾種,這些數據又以結構化數據為主。而大數據的種類數以億計,而這些數據既包括結構化、半結構化以及非結構化的數據,重要的是半結構化和非結構化數據所佔份額越來越大。
3.模式(Schema)和數據的關系
傳統的資料庫都是先有模式,然後才會產生數據。而大數據很多情況下難以預先確定模式,模式只有在數據出現之後才能確定,且模式隨著數據量的增長處於不斷的演變之中。
4.處理對象
傳統資料庫數據是其處理的對象。而大數據的處理對象除了是數據以外,還能通過這些數據去預測其他數據出現的可能性,將收集到的數據作為一種資源來輔助解決其他諸多領域的問題。
9、面對大數據中國和美國的數據中心有什麼不同
沒什麼不同,只能說應用的領域和接觸的長短不同吧。如果還想知道更多的大數據問題,ITjob網有大數據的相關介紹,博客和論壇也有大數據的討論和觀點,你可以去看看。下面給你粘貼下大數據在中國和美國的應用時間和領域。希望能幫到你。
大數據在中國的發展相對比較年輕。2012年,中國政府在美國提出《大數據研究和發展計劃》並且批復了「十二五國家政務信息化建設工程規劃」,總投資額估計在幾百億,專門有人口、法人、空間、宏觀經濟和文化等五大資源庫的五大建設工程。我國的開放、共享和智能的大數據的時代才真正大面積的開始。
而美國政府將大數據視為強化美國競爭力的關鍵因素之一,把大數據研究和生產計劃提高到國家戰略層面。2012年3月,美國奧巴馬政府宣布投資2億美元啟動「大數據研究和發展計劃」,這是繼1993年美國宣布「信息高速公路」計劃後的又一次重大科技發展部署。美國政府認為大數據是「未來的新石油與礦產」,將「大數據研究」上升為國家意志,對未來的科技與經濟發展必將帶來深遠影響。
Marketsand Markets公布的最新報告顯示,2013年至2018年,全球大數據市場的年復合增長率將為26%,從2013年的148.7億美元增長至463.4億美元。