1、資料庫和大數據的區別
對於資料庫研究人員和從業人員而言,從資料庫(DB)到大數據(BD)的轉變可以用「池塘捕魚」到「大海捕魚」做類比。「池塘捕魚」代表著傳統資料庫時代的數據管理方式,而 「大海捕魚」則是大數據時代的數據管理方式。這些差異主要體現在如下幾個方面:
1、數據規模
資料庫和大數據最明顯的區別就是規模。資料庫規模相對較小,即便是先前認為比較大的資料庫,比如 VLDB(Very Large Database),和大數據XLDB(Extremely Large Database)比起來還是差很遠。
資料庫的處理對象一般以 MB 為基本單位,而大數據則是GB、TB、PB 為基本處理單位。
2、數據類型
傳統資料庫數據種類單一,往往僅僅有一種或少數幾種,這些數據又以結構化數據為主。而大數據的種類數以億計,而這些數據既包括結構化、半結構化以及非結構化的數據,重要的是半結構化和非結構化數據所佔份額越來越大。
3.模式(Schema)和數據的關系
傳統的資料庫都是先有模式,然後才會產生數據。而大數據很多情況下難以預先確定模式,模式只有在數據出現之後才能確定,且模式隨著數據量的增長處於不斷的演變之中。
4.處理對象
傳統資料庫數據是其處理的對象。而大數據的處理對象除了是數據以外,還能通過這些數據去預測其他數據出現的可能性,將收集到的數據作為一種資源來輔助解決其他諸多領域的問題。
2、大數據,IDC,雲計算之間有什麼關系嗎?
大數據是雲計算的殺手鐧應用
大數據與雲計算的關系,引起一些人的困惑。為了便於探討二者的關系,這里從「計算」和「數據」的歷史關系說起。因為雲計算首先是一種「計算」,大數據首先是一種「數據」,而計算機就是用來「計算」「數據」的。
計算機是軟體和硬體分離的,是一種軟體定義的電子產品(可編程)。計算機設計中的一個重要問題是如何有效管理CPU、內存和I/O等硬體資源,以及如何讓應用程序合理使用這些資源。這兩大任務最早內嵌在各種應用程序中,由應用程序自身完成,缺點是費力、復雜和易錯,難以升級和移植,而且重復工作。
上世紀60年代這些共性功能開始從應用中分離出來,逐步形成了一種通用的軟體包,這就是操作系統。操作系統是位於硬體和應用程序之間的「中間件」,讓應用軟體和硬體得以分離並獨立發展,發展成了最核心的計算機系統軟體,也成就了微軟公司的偉大。
以UNIX為始祖的常見現代操作系統有Android、BSD、iOS、Linux、 MacOSX、QNX等,以及原創的微軟Windows、 Windows Phone和IBM的z/OS.操作系統的工作范圍,也從最初的計算機蔓延到手機、游戲控制器、電視機頂盒、智能汽車和智能眼鏡等,還有與雲計算密切相關的Web伺服器。
上世紀70年代,計算機的快速發展使得數字化數據爆發式增長,「海量」數據管理成了新挑戰。把通用操作系統的文件管理用於數據管理時,無論是擴展性、效率和便利性,都不適應「海量」數據的管理需要,應用軟體被迫內嵌自己設計的數據管理系統。同樣的,「海量」數據管理由每個應用程序自身完成,缺點也是費力、復雜和易錯,難以升級和移植,並且重復工作。
於是一種專門面向「海量」數據管理的通用軟體問世了,那就是資料庫管理系統(DBMS),一種應用系統軟體。DBMS包括了資料庫定義、創建、查詢、更新和管理等功能,這些都是數據管理所必需的,是操作系統的文件管理系統所沒有的。
著名的DBMS有 MySQL、 PostgreSQL、SQLite、Microsoft SQL Server、Microsoft Access、Oracle、Sybase、dBASE、FoxPro和IBM DB2等,都是關系型DBMS.當然還有非關系型No SQL模式的,只是沒那麼流行。
DBMS與字處理軟體等一起,成為單機時代最重要的應用軟體,也成就了一家偉大的應用軟體公司Oracle.大約不足20年前,操作系統和資料庫的技術和市場未來,看起來都那麼可預知。一個是微軟的天下,一個是Oracle的天下。
但互聯網來了,尤其是Web開始流行。
Web伺服器所使用的操作系統,最初面向單機設計,擴展用於區域網范圍內管理多台伺服器還勉強可用。但當互聯網巨頭崛起,需要Web伺服器的操作系統管理數百萬台Web伺服器的時候,傳統操作系統勉為其難,需要「技術革命」了。「革命」的結果就是雲計算。
雲計算大傘下有很多概念,核心技術之一是虛擬化。虛擬化有「1虛N」和「N虛1」兩種模式,前者主要是為了省錢,以Amazon AWS為代表;後者主要是為了大數據處理,以Google GAE為代表。
雲計算的「N虛1」模式,可將多台物理計算機虛擬化為一台超級計算機,向應用程序提供資源池的調度管理服務,與傳統操作系統的功能幾乎完全相同,因此常被稱為「雲計算操作系統」。只是雲計算操作系統的工作范圍,擴大到數據中心甚至整個互聯網范圍內,把每台計算機也當做資源看待和管理。
有了雲計算操作系統,雲應用軟體和硬體(計算機資源)得以分離,各自可以獨立發展。歷史再次重演,雲計算以及SNS、微博、移動互聯網和物聯網等的快速發展,具有3V特點的數據爆發,大數據管理的挑戰也最先到來。同樣,面向計算設計的通用雲計算操作系統,在大數據管理方面的擴展性、效率和便利性,都面臨新挑戰。
歷史上計算機面對「海量」數據的挑戰,將數據應用和數據管理分離,催生了通用的DBMS.現在雲計算面對大數據的挑戰,也必將使大數據應用和大數據管理分離,催生「大資料庫管理系統」,並且逐步走向通用化和平台化。
ATM(非同步傳輸模式)是通信資源稀缺時代的產物,TCP/IP是通信資源富饒時代的產物。類似的,傳統DBMS是IT資源稀缺時代的產物,大數據管理系統是IT資源富饒時代的產物。
計算是工具,可以工業化提供;數據是資源,是個性化的資產。如果說Office、游戲等是PC的殺手鐧應用,瀏覽器、搜索、SNS等是互聯網的殺手鐧應用,那麼大數據等就是雲計算的殺手鐧應用。
3、雲資料庫是什麼?IDC企業有必要開發雲資料庫的業務嗎?
雲資料庫是指被優化或部署到一個虛擬計算環境中的資料庫,可以實現按需付費、按需擴展、高可用性以及存儲整合等優勢。將雲資料庫應用到企業的管理系統中,在很多問題上都能給出較好的解決方案,如資料庫的擴容問題、建設與維護資料庫的成本問題、雲環境下資料庫資源的安全與保密問題等。雲資料庫的開發難度還是比較大的,建議可以使用ZKEYS公有雲管理系統,ZKEYS平台研發了雲資料庫自生產業務模塊,ZKEYS平台提供技術,IDC合作商可利用本地資源進行生產。雲資料庫受控端分別為雲資料庫MySQL和雲資料庫SQL Server兩種,由C++編寫,具有多線程高並發、成熟穩定、安全等特點。網路環境隔離、實例資源隔離、熱備等安全措施保障客戶安全。軟體採用一鍵安裝、自動全套部署環境的方式,省去了環境部署的繁瑣。雲資料庫產品可廣泛應用於網站、電商、游戲、金融等各類應用場景。
4、IDC數據中心是怎麼意思?能否用通俗易懂的語言解釋下,不要太專業……謝謝
你好,我是電信IDC的運維工程師,簡單的給你介紹下吧。
IDC數據中心,說白了就是指大型機房,提供伺服器託管、機櫃租用、帶寬租用業務。。。
至於其他的什麼伺服器租用、資料庫、郵局這些都是由IDC運營商提供的應用服務,IDC數據中心本身不負責這些應用層面上的東西。。。只是中國人喜歡偷換概念,明明是個二房東,你懂的。
在中國網路提供商電信、聯通、移動等幾家,國內是網路壟斷的,所以,所有的IDC機房幾乎都是他們建立的,占目前市場上95%以上。。至於其他公司自建的商用IDC機房,其實也是從他們那裡拿的帶寬。。
至於2樓的回復,一看就是沒進過機房的,IDC機房在接入層,也就是到伺服器,並不是光纖,包括到接入交換機也不是光纖,最少在我去過的N個電信四星級機房裡沒有見過。。機房一般都不是雙線路,因為電信、聯通他們的帶寬在國內本來就是不對等的,各自為政,國內網路運營商官方機房的根本就沒有雙線路。至於我們看到的雙線,一般是由IDC運營商自己拉專線做的網路匯聚,或者是自建機房,而且雙線的帶寬普遍很低,因為專線的價格決定了。。。至於速度方面,並不是絕對因為什麼光纖等傳輸介質問題,而是機房做為電信級的投入,本身就是在國家骨幹網路上,到全國的路由跳數都非常少,加上帶寬上下行對等,帶寬大的原因。
IDC數據中心的存在是非常必要的,因為集中管理,帶寬充足,電源及空調、安防。
5、大數據、IDC和雲計算之間有什麼關系嗎?
大數據是雲計算的殺手鐧應用
大數據與雲計算的關系,引起一些人的困惑。為了便於探討二者的關系,這里從「計算」和「數據」的歷史關系說起。因為雲計算首先是一種「計算」,大數據首先是一種「數據」,而計算機就是用來「計算」「數據」的。
計算機是軟體和硬體分離的,是一種軟體定義的電子產品(可編程)。計算機設計中的一個重要問題是如何有效管理CPU、內存和I/O等硬體資源,以及如何讓應用程序合理使用這些資源。這兩大任務最早內嵌在各種應用程序中,由應用程序自身完成,缺點是費力、復雜和易錯,難以升級和移植,而且重復工作。
上世紀60年代這些共性功能開始從應用中分離出來,逐步形成了一種通用的軟體包,這就是操作系統。操作系統是位於硬體和應用程序之間的「中間件」,讓應用軟體和硬體得以分離並獨立發展,發展成了最核心的計算機系統軟體,也成就了微軟公司的偉大。
以UNIX為始祖的常見現代操作系統有Android、BSD、iOS、Linux、 MacOSX、QNX等,以及原創的微軟Windows、 Windows Phone和IBM的z/OS.操作系統的工作范圍,也從最初的計算機蔓延到手機、游戲控制器、電視機頂盒、智能汽車和智能眼鏡等,還有與雲計算密切相關的Web伺服器。
上世紀70年代,計算機的快速發展使得數字化數據爆發式增長,「海量」數據管理成了新挑戰。把通用操作系統的文件管理用於數據管理時,無論是擴展性、效率和便利性,都不適應「海量」數據的管理需要,應用軟體被迫內嵌自己設計的數據管理系統。同樣的,「海量」數據管理由每個應用程序自身完成,缺點也是費力、復雜和易錯,難以升級和移植,並且重復工作。
於是一種專門面向「海量」數據管理的通用軟體問世了,那就是資料庫管理系統(DBMS),一種應用系統軟體。DBMS包括了資料庫定義、創建、查詢、更新和管理等功能,這些都是數據管理所必需的,是操作系統的文件管理系統所沒有的。
著名的DBMS有 MySQL、 PostgreSQL、SQLite、Microsoft SQL Server、Microsoft Access、Oracle、Sybase、dBASE、FoxPro和IBM DB2等,都是關系型DBMS.當然還有非關系型No SQL模式的,只是沒那麼流行。
DBMS與字處理軟體等一起,成為單機時代最重要的應用軟體,也成就了一家偉大的應用軟體公司Oracle.大約不足20年前,操作系統和資料庫的技術和市場未來,看起來都那麼可預知。一個是微軟的天下,一個是Oracle的天下。
但互聯網來了,尤其是Web開始流行。
Web伺服器所使用的操作系統,最初面向單機設計,擴展用於區域網范圍內管理多台伺服器還勉強可用。但當互聯網巨頭崛起,需要Web伺服器的操作系統管理數百萬台Web伺服器的時候,傳統操作系統勉為其難,需要「技術革命」了。「革命」的結果就是雲計算。
雲計算大傘下有很多概念,核心技術之一是虛擬化。虛擬化有「1虛N」和「N虛1」兩種模式,前者主要是為了省錢,以Amazon AWS為代表;後者主要是為了大數據處理,以Google GAE為代表。
雲計算的「N虛1」模式,可將多台物理計算機虛擬化為一台超級計算機,向應用程序提供資源池的調度管理服務,與傳統操作系統的功能幾乎完全相同,因此常被稱為「雲計算操作系統」。只是雲計算操作系統的工作范圍,擴大到數據中心甚至整個互聯網范圍內,把每台計算機也當做資源看待和管理。
有了雲計算操作系統,雲應用軟體和硬體(計算機資源)得以分離,各自可以獨立發展。歷史再次重演,雲計算以及SNS、微博、移動互聯網和物聯網等的快速發展,具有3V特點的數據爆發,大數據管理的挑戰也最先到來。同樣,面向計算設計的通用雲計算操作系統,在大數據管理方面的擴展性、效率和便利性,都面臨新挑戰。
歷史上計算機面對「海量」數據的挑戰,將數據應用和數據管理分離,催生了通用的DBMS.現在雲計算面對大數據的挑戰,也必將使大數據應用和大數據管理分離,催生「大資料庫管理系統」,並且逐步走向通用化和平台化。
ATM(非同步傳輸模式)是通信資源稀缺時代的產物,TCP/IP是通信資源富饒時代的產物。類似的,傳統DBMS是IT資源稀缺時代的產物,大數據管理系統是IT資源富饒時代的產物。
計算是工具,可以工業化提供;數據是資源,是個性化的資產。如果說Office、游戲等是PC的殺手鐧應用,瀏覽器、搜索、SNS等是互聯網的殺手鐧應用,那麼大數據等就是雲計算的殺手鐧應用。
6、IDC是全稱是什麼?屬於哪行業?
互聯網數據中心(Internet Data Center,簡稱IDC)是指一種擁有完善的設備(包括高速互聯網接入帶寬、高性能區域網絡、安全可靠的機房環境等)、專業化的管理、完善的應用的服務平台。
在這個平台基礎上,IDC服務商為客戶提供互聯網基礎平台服務(伺服器託管、虛擬主機、郵件緩存、虛擬郵件等)以及各種增值服務(場地的租用服務、域名系統服務、負載均衡系統、資料庫系統、數據備份服務等)。
(6)idc資料庫擴展資料
一個優秀的IDC應具備如下特點。
1、具備滿足網站系統託管外包服務需求的基礎設施,這個設施包括穩定可靠的寬頻互聯網接入和安全可靠的電信級機房環境。
2、具備提供高品質的增值服務功能,包括系統維護(如系統配置、軟體安裝、數據備份、故障排除等);管理化服務(如帶寬管理、流量分析、入侵檢測、系統漏洞診斷、數據備份、負載均衡、Cache服務等);支持服務(如技術支持熱線等);集成化服務(如提供數據中心、集成通信與IT專業服務的全面集成化服務等)等。
3、具備提供網路高速互聯的能力,能讓來自任何一個網路的用戶高速訪問其他運營網路。同時,通過提供的高品質服務,基本淡化IDC入住用戶的地域性限制(如位於上海的網站也完全可跨地域地在北京的IDC進行主機託管業務)。
4、使用戶通過IDC的服務,極大地降低其自身的運營成本。
5、與用戶簽訂完善的服務水平協議(SLA)。
參考資料:網路-IDC
7、互聯網數據中心(IDC)有什麼功能?
互聯網數據中心功能:企業可以從事如機位出租、機架出租,伺服器託管、主機託管、機櫃機架出租、網路硬碟、存儲空間、雲計算、雲主機、雲平台、虛擬主機、伺服器租賃等IDC業務。
相關法律法規如下:
1、《電信業務分類目錄》
2、《電信業務經營許可管理辦法》
3、《電信條例》
另外,互聯網數據中心idc指的是以外包出租的方式為用戶的伺服器等互聯網或者其他網路相關設備提供放置、代理維護、系統配置及管理服務,以及提供伺服器設備出租及存儲空間的出租、通信線路和出口帶寬的代理租用和其他應用代理服務。是《電信業務分類目錄》劃分的B11類增值電信業務。另外,根據《電信條例》規定,對電信業務分類實行許可制度,故要求從事互聯網數據中心業務企業需要辦理idc許可證,全稱互聯網數據中心業務經營許可證。
8、常見網站用什麼類型的資料庫?
隨著技術和伺服器硬體的升級,現在的網站居多以MSSQL或者MYSQL作為網站的資料庫,ACCESS 的資料庫網站已經比較少了。IDC商的虛機也會根據資料庫和開發程序的不同分出一些類型,只有了解這些知識,才能找到合適的空間或伺服器。1、Access一般用在小網站上,類似企業站,功能比較簡單,對數據要求不高;2、Mssql是一個比較大的完善的資料庫,在windows上常用,配NET ASP等程序。3、Mysql是一個小型的公開源代碼的免費資料庫,在windows,linux上都常用,和PHP程序組成一對完美搭檔。
9、網路IDC具體包括哪些
隨著IDC這一名詞越來越多地見諸於各媒體和評論,IDC(Internet數據中心)的技術、服務及發展也正被更多的人關注。
IDC的產生和Internet的發展及應用有非常緊密的聯系。網路的普及、網上信息傳遞的便利和電子商務的發展,使網上的應用變得更關鍵,尤其是網路內容提供商、網路服務提供商、應用服務提供商等對自己網站系統的性能、成本、可靠性、可擴展性等的需求非常迫切。滿足這一系列的需求除了要求能夠方便、持續和低成本地獲取高品質的網路帶寬、硬體設備、技術支持和網管維護外,對機房的要求也非常嚴格,一般來說,電力、空調、消防、保安等都要求24小時不間斷。
IDC就是為了滿足用戶的上述需求而出現的。作為一個IDC,首先要建立能夠符合客戶持續發展需求的高品質機房,同時能夠大規模、集中地獲取各種電信資源(光纖、帶寬、中繼線、專線等),擁有豐富的技術資源(各種專業技術人員,如網管工程師、服務支持工程師、新技術應用與研發人員、安全工程師、系統分析專家等),為用戶的網路系統提供24×7的全天候基本服務和技術服務,從而使用戶更專注於自己的核心業務,獲得更多回報。
二、技術構築IDC
在技術上,作為一個IDC服務的提供商,首先要使機房的標准滿足用戶的需求;同時,它要能夠為不同應用的用戶提供相應的網路服務和增值服務,使用戶能夠以較低的投入獲取更多的資源和服務,更加專注於其核心業務,提高競爭力。具體來說,IDC涉及了以下4個方面的技術和服務。
1. 機房建設和運營
符合國際標準的電信級機房是IDC最基礎的設施,機房建設和運營中要考慮的技術問題有:
● 電力供應 大規模機房面積供電容量的計算、n+1的冗餘供電能力、UPS負載能力、電路自動切換能力、電纜的阻燃考慮、開關切換等。
● 溫濕度控制 上千台高密度放置的伺服器在運行中會引起溫度上升,而溫濕度對於伺服器的正常工作和使用壽命都有很大影響,因此採用最合理的送風方式、智能的溫濕度控制和告警都是設計中的關鍵。
● 機櫃和線纜 獨立供電、主/備電源、各種機櫃配件、各種走線(五類線、單模/多模光纜、有線電纜)。
● 消防設施 防火和阻燃材料,溫感和煙感火災監測報警系統,氣體滅火裝置和完善的消防措施。
● 安全設施 能適合不同安全策略的門禁系統,全方位無死角閉路電視監控系統,紅外報警系統,24小時的保安值守和緊急處理措施。
2. 網路建立和維護
各種網路資源和高速帶寬資源是IDC服務能力和服務品質保證的基礎,在網路的建立和維護中,需要最優化的網路設計、路由設計和網管能力保證。
● 網路設計 網路拓撲結構的設計要求達到各層節點完全冗餘,數據傳輸和交換快速無阻塞,網路的擴展性好,整體網路結構合理。
● 各種接入 光纖、DDN、幀中繼、DSL等。
● 路由技術 各種路由策略、動態路由協議。
● 網管技術 網路性能的監控、故障告警、趨勢估計及各交換和路由節點的健康狀況、緊急狀況的用戶自動告警系統等。
3. 用戶網路系統的服務與管理
用戶把部分或全部的伺服器託管在IDC,對於這些系統正常運行的監控和告警是非常重要的。另外,能夠給用戶的技術主管和網路管理工程師更多的網路運行數據會為其在系統維護、故障排除、擴充規劃中提供切實有效的幫助。這些監控具體包括:供電連續性監控、網路聯通監控、流量監控、響應時間監控等。
4. 其他增值服務
對於從事電子商務、提供應用服務的網站來說,高速、不間斷是其服務的根本,數據存儲的安全性是其服務的保障。許多新的技術應運而生,一些傳統的技術也在走向網路。因此,IDC業務內又派生了一些相應的增值服務及技術,如:數據備份、負載均衡、Cache技術、防火牆等。
三、客戶需求驅動IDC
IDC的發展服務方向在很大程度上取決於其客戶需求的進一步提高和發展,分析目前國外和國內較大規模的IDC,其服務主要集中在:
1. 基本服務
此服務以提供高品質的機房環境,有服務品質保證的帶寬和網路資源租用以及現場的技術支持服務為主。大概分為:伺服器託管、整機租用、大型客戶的獨立機房租用、各種專線接入服務。
2. 管理服務
管理服務為用戶提供各種層面的監控和報告服務,以數據備份服務和網站高可用性服務為主。一般來說,有數據備份、網路狀況和應用性能的監控、負載均衡服務。
3. 安全服務
安全服務是IDC向用戶提供的安全防護服務。包括:管理防火牆和虛擬專用網(VPN)。
4. 專家服務
專家服務指的是根據用戶的特別需求,提供從網站設計到託管管理的全面服務,能夠提供此服務的IDC需要有應用、系統和網路各方面的工程師和很強的技術力量,目前在國內能夠真正做到這種全面專家服務的只有少數幾家IDC。
四、IDC的技術趨勢
隨著電子商務的不斷發展,企業對託管業務的進一步了解和國內數據中心的不斷完善,數據中心為客戶提供一攬子可供選擇的服務將很快成為必然。這一攬子服務包括:提供標准機房、伺服器託管、帶寬出租、監控、安全管理、提供應用軟體和資料庫的網路平台,進而為用戶提供完整的網站系統解決方案。
另一方面,各項服務也會面向不同用戶特性進一步細化,用戶可以根據自身的應用特性選擇不同的服務項目和不同的搭配,以實現用戶利益的最大化。從技術方面,應該考慮幾個不同層面的發展:
● 網路品質 不同的網路品質(路由交換等級、帶寬供應能力和最小延遲保證)對應於不同的服務品質保證(SLA),也對應於不同的用戶需求和不同的服務價格。將量化的網路品質應用在提供不同級別的服務上,可以更貼切地服務於用戶。
● 集中的數據存儲和備份 共享昂貴的存儲設備和備份系統無疑是個非常好的方式,但是需要更合理的技術來保證所有的存儲、備份數據的安全性和可靠性,以及高速的數據恢復能力。寬頻的發展可以讓更多的用戶使用異地/遠程數據備份的服務,以達到更高的安全保證。
● CDS技術 內容配送服務(Content Delivery Service)是將多點負載均衡和Cache技術結合起來,利用智能分配技術,將網站內容根據來訪用戶的地點,按照就近訪問的原則分配到多個節點。CDS技術將網站的速度提高30%~50%,並節約大筆建設鏡像站點的費用。
● 網路安全監控 除防火牆外,網路安全掃描、病毒掃描、實時安全監控和各種黑客防範措施都是建立在持續的技術發展基礎上的。
總的來說,在IDC業務中,無論哪方面技術的發展都來源於三個方面:首先,越來越多的用戶使用IDC服務使IDC的服務品種更加細化和層次化,由此需要採用更有創新性的技術;其次,用戶更專注於其核心業務,需要將更多與IDC關聯的工作以外包方式實現,這樣就驅使IDC發展更多的技術來滿足用戶的需求;最後,新技術的出現促使IDC不斷更新自己的技術來保持競爭力