1、数据库和大数据的区别
对于数据库研究人员和从业人员而言,从数据库(DB)到大数据(BD)的转变可以用“池塘捕鱼”到“大海捕鱼”做类比。“池塘捕鱼”代表着传统数据库时代的数据管理方式,而 “大海捕鱼”则是大数据时代的数据管理方式。这些差异主要体现在如下几个方面:
1、数据规模
数据库和大数据最明显的区别就是规模。数据库规模相对较小,即便是先前认为比较大的数据库,比如 VLDB(Very Large Database),和大数据XLDB(Extremely Large Database)比起来还是差很远。
数据库的处理对象一般以 MB 为基本单位,而大数据则是GB、TB、PB 为基本处理单位。
2、数据类型
传统数据库数据种类单一,往往仅仅有一种或少数几种,这些数据又以结构化数据为主。而大数据的种类数以亿计,而这些数据既包括结构化、半结构化以及非结构化的数据,重要的是半结构化和非结构化数据所占份额越来越大。
3.模式(Schema)和数据的关系
传统的数据库都是先有模式,然后才会产生数据。而大数据很多情况下难以预先确定模式,模式只有在数据出现之后才能确定,且模式随着数据量的增长处于不断的演变之中。
4.处理对象
传统数据库数据是其处理的对象。而大数据的处理对象除了是数据以外,还能通过这些数据去预测其他数据出现的可能性,将收集到的数据作为一种资源来辅助解决其他诸多领域的问题。
2、大数据,IDC,云计算之间有什么关系吗?
大数据是云计算的杀手锏应用
大数据与云计算的关系,引起一些人的困惑。为了便于探讨二者的关系,这里从“计算”和“数据”的历史关系说起。因为云计算首先是一种“计算”,大数据首先是一种“数据”,而计算机就是用来“计算”“数据”的。
计算机是软件和硬件分离的,是一种软件定义的电子产品(可编程)。计算机设计中的一个重要问题是如何有效管理CPU、内存和I/O等硬件资源,以及如何让应用程序合理使用这些资源。这两大任务最早内嵌在各种应用程序中,由应用程序自身完成,缺点是费力、复杂和易错,难以升级和移植,而且重复工作。
上世纪60年代这些共性功能开始从应用中分离出来,逐步形成了一种通用的软件包,这就是操作系统。操作系统是位于硬件和应用程序之间的“中间件”,让应用软件和硬件得以分离并独立发展,发展成了最核心的计算机系统软件,也成就了微软公司的伟大。
以UNIX为始祖的常见现代操作系统有Android、BSD、iOS、Linux、 MacOSX、QNX等,以及原创的微软Windows、 Windows Phone和IBM的z/OS.操作系统的工作范围,也从最初的计算机蔓延到手机、游戏控制器、电视机顶盒、智能汽车和智能眼镜等,还有与云计算密切相关的Web服务器。
上世纪70年代,计算机的快速发展使得数字化数据爆发式增长,“海量”数据管理成了新挑战。把通用操作系统的文件管理用于数据管理时,无论是扩展性、效率和便利性,都不适应“海量”数据的管理需要,应用软件被迫内嵌自己设计的数据管理系统。同样的,“海量”数据管理由每个应用程序自身完成,缺点也是费力、复杂和易错,难以升级和移植,并且重复工作。
于是一种专门面向“海量”数据管理的通用软件问世了,那就是数据库管理系统(DBMS),一种应用系统软件。DBMS包括了数据库定义、创建、查询、更新和管理等功能,这些都是数据管理所必需的,是操作系统的文件管理系统所没有的。
著名的DBMS有 MySQL、 PostgreSQL、SQLite、Microsoft SQL Server、Microsoft Access、Oracle、Sybase、dBASE、FoxPro和IBM DB2等,都是关系型DBMS.当然还有非关系型No SQL模式的,只是没那么流行。
DBMS与字处理软件等一起,成为单机时代最重要的应用软件,也成就了一家伟大的应用软件公司Oracle.大约不足20年前,操作系统和数据库的技术和市场未来,看起来都那么可预知。一个是微软的天下,一个是Oracle的天下。
但互联网来了,尤其是Web开始流行。
Web服务器所使用的操作系统,最初面向单机设计,扩展用于局域网范围内管理多台服务器还勉强可用。但当互联网巨头崛起,需要Web服务器的操作系统管理数百万台Web服务器的时候,传统操作系统勉为其难,需要“技术革命”了。“革命”的结果就是云计算。
云计算大伞下有很多概念,核心技术之一是虚拟化。虚拟化有“1虚N”和“N虚1”两种模式,前者主要是为了省钱,以Amazon AWS为代表;后者主要是为了大数据处理,以Google GAE为代表。
云计算的“N虚1”模式,可将多台物理计算机虚拟化为一台超级计算机,向应用程序提供资源池的调度管理服务,与传统操作系统的功能几乎完全相同,因此常被称为“云计算操作系统”。只是云计算操作系统的工作范围,扩大到数据中心甚至整个互联网范围内,把每台计算机也当做资源看待和管理。
有了云计算操作系统,云应用软件和硬件(计算机资源)得以分离,各自可以独立发展。历史再次重演,云计算以及SNS、微博、移动互联网和物联网等的快速发展,具有3V特点的数据爆发,大数据管理的挑战也最先到来。同样,面向计算设计的通用云计算操作系统,在大数据管理方面的扩展性、效率和便利性,都面临新挑战。
历史上计算机面对“海量”数据的挑战,将数据应用和数据管理分离,催生了通用的DBMS.现在云计算面对大数据的挑战,也必将使大数据应用和大数据管理分离,催生“大数据库管理系统”,并且逐步走向通用化和平台化。
ATM(异步传输模式)是通信资源稀缺时代的产物,TCP/IP是通信资源富饶时代的产物。类似的,传统DBMS是IT资源稀缺时代的产物,大数据管理系统是IT资源富饶时代的产物。
计算是工具,可以工业化提供;数据是资源,是个性化的资产。如果说Office、游戏等是PC的杀手锏应用,浏览器、搜索、SNS等是互联网的杀手锏应用,那么大数据等就是云计算的杀手锏应用。
3、云数据库是什么?IDC企业有必要开发云数据库的业务吗?
云数据库是指被优化或部署到一个虚拟计算环境中的数据库,可以实现按需付费、按需扩展、高可用性以及存储整合等优势。将云数据库应用到企业的管理系统中,在很多问题上都能给出较好的解决方案,如数据库的扩容问题、建设与维护数据库的成本问题、云环境下数据库资源的安全与保密问题等。云数据库的开发难度还是比较大的,建议可以使用ZKEYS公有云管理系统,ZKEYS平台研发了云数据库自生产业务模块,ZKEYS平台提供技术,IDC合作商可利用本地资源进行生产。云数据库受控端分别为云数据库MySQL和云数据库SQL Server两种,由C++编写,具有多线程高并发、成熟稳定、安全等特点。网络环境隔离、实例资源隔离、热备等安全措施保障客户安全。软件采用一键安装、自动全套部署环境的方式,省去了环境部署的繁琐。云数据库产品可广泛应用于网站、电商、游戏、金融等各类应用场景。
4、IDC数据中心是怎么意思?能否用通俗易懂的语言解释下,不要太专业……谢谢
你好,我是电信IDC的运维工程师,简单的给你介绍下吧。
IDC数据中心,说白了就是指大型机房,提供服务器托管、机柜租用、带宽租用业务。。。
至于其他的什么服务器租用、数据库、邮局这些都是由IDC运营商提供的应用服务,IDC数据中心本身不负责这些应用层面上的东西。。。只是中国人喜欢偷换概念,明明是个二房东,你懂的。
在中国网络提供商电信、联通、移动等几家,国内是网络垄断的,所以,所有的IDC机房几乎都是他们建立的,占目前市场上95%以上。。至于其他公司自建的商用IDC机房,其实也是从他们那里拿的带宽。。
至于2楼的回复,一看就是没进过机房的,IDC机房在接入层,也就是到服务器,并不是光纤,包括到接入交换机也不是光纤,最少在我去过的N个电信四星级机房里没有见过。。机房一般都不是双线路,因为电信、联通他们的带宽在国内本来就是不对等的,各自为政,国内网络运营商官方机房的根本就没有双线路。至于我们看到的双线,一般是由IDC运营商自己拉专线做的网络汇聚,或者是自建机房,而且双线的带宽普遍很低,因为专线的价格决定了。。。至于速度方面,并不是绝对因为什么光纤等传输介质问题,而是机房做为电信级的投入,本身就是在国家骨干网络上,到全国的路由跳数都非常少,加上带宽上下行对等,带宽大的原因。
IDC数据中心的存在是非常必要的,因为集中管理,带宽充足,电源及空调、安防。
5、大数据、IDC和云计算之间有什么关系吗?
大数据是云计算的杀手锏应用
大数据与云计算的关系,引起一些人的困惑。为了便于探讨二者的关系,这里从“计算”和“数据”的历史关系说起。因为云计算首先是一种“计算”,大数据首先是一种“数据”,而计算机就是用来“计算”“数据”的。
计算机是软件和硬件分离的,是一种软件定义的电子产品(可编程)。计算机设计中的一个重要问题是如何有效管理CPU、内存和I/O等硬件资源,以及如何让应用程序合理使用这些资源。这两大任务最早内嵌在各种应用程序中,由应用程序自身完成,缺点是费力、复杂和易错,难以升级和移植,而且重复工作。
上世纪60年代这些共性功能开始从应用中分离出来,逐步形成了一种通用的软件包,这就是操作系统。操作系统是位于硬件和应用程序之间的“中间件”,让应用软件和硬件得以分离并独立发展,发展成了最核心的计算机系统软件,也成就了微软公司的伟大。
以UNIX为始祖的常见现代操作系统有Android、BSD、iOS、Linux、 MacOSX、QNX等,以及原创的微软Windows、 Windows Phone和IBM的z/OS.操作系统的工作范围,也从最初的计算机蔓延到手机、游戏控制器、电视机顶盒、智能汽车和智能眼镜等,还有与云计算密切相关的Web服务器。
上世纪70年代,计算机的快速发展使得数字化数据爆发式增长,“海量”数据管理成了新挑战。把通用操作系统的文件管理用于数据管理时,无论是扩展性、效率和便利性,都不适应“海量”数据的管理需要,应用软件被迫内嵌自己设计的数据管理系统。同样的,“海量”数据管理由每个应用程序自身完成,缺点也是费力、复杂和易错,难以升级和移植,并且重复工作。
于是一种专门面向“海量”数据管理的通用软件问世了,那就是数据库管理系统(DBMS),一种应用系统软件。DBMS包括了数据库定义、创建、查询、更新和管理等功能,这些都是数据管理所必需的,是操作系统的文件管理系统所没有的。
著名的DBMS有 MySQL、 PostgreSQL、SQLite、Microsoft SQL Server、Microsoft Access、Oracle、Sybase、dBASE、FoxPro和IBM DB2等,都是关系型DBMS.当然还有非关系型No SQL模式的,只是没那么流行。
DBMS与字处理软件等一起,成为单机时代最重要的应用软件,也成就了一家伟大的应用软件公司Oracle.大约不足20年前,操作系统和数据库的技术和市场未来,看起来都那么可预知。一个是微软的天下,一个是Oracle的天下。
但互联网来了,尤其是Web开始流行。
Web服务器所使用的操作系统,最初面向单机设计,扩展用于局域网范围内管理多台服务器还勉强可用。但当互联网巨头崛起,需要Web服务器的操作系统管理数百万台Web服务器的时候,传统操作系统勉为其难,需要“技术革命”了。“革命”的结果就是云计算。
云计算大伞下有很多概念,核心技术之一是虚拟化。虚拟化有“1虚N”和“N虚1”两种模式,前者主要是为了省钱,以Amazon AWS为代表;后者主要是为了大数据处理,以Google GAE为代表。
云计算的“N虚1”模式,可将多台物理计算机虚拟化为一台超级计算机,向应用程序提供资源池的调度管理服务,与传统操作系统的功能几乎完全相同,因此常被称为“云计算操作系统”。只是云计算操作系统的工作范围,扩大到数据中心甚至整个互联网范围内,把每台计算机也当做资源看待和管理。
有了云计算操作系统,云应用软件和硬件(计算机资源)得以分离,各自可以独立发展。历史再次重演,云计算以及SNS、微博、移动互联网和物联网等的快速发展,具有3V特点的数据爆发,大数据管理的挑战也最先到来。同样,面向计算设计的通用云计算操作系统,在大数据管理方面的扩展性、效率和便利性,都面临新挑战。
历史上计算机面对“海量”数据的挑战,将数据应用和数据管理分离,催生了通用的DBMS.现在云计算面对大数据的挑战,也必将使大数据应用和大数据管理分离,催生“大数据库管理系统”,并且逐步走向通用化和平台化。
ATM(异步传输模式)是通信资源稀缺时代的产物,TCP/IP是通信资源富饶时代的产物。类似的,传统DBMS是IT资源稀缺时代的产物,大数据管理系统是IT资源富饶时代的产物。
计算是工具,可以工业化提供;数据是资源,是个性化的资产。如果说Office、游戏等是PC的杀手锏应用,浏览器、搜索、SNS等是互联网的杀手锏应用,那么大数据等就是云计算的杀手锏应用。
6、IDC是全称是什么?属于哪行业?
互联网数据中心(Internet Data Center,简称IDC)是指一种拥有完善的设备(包括高速互联网接入带宽、高性能局域网络、安全可靠的机房环境等)、专业化的管理、完善的应用的服务平台。
在这个平台基础上,IDC服务商为客户提供互联网基础平台服务(服务器托管、虚拟主机、邮件缓存、虚拟邮件等)以及各种增值服务(场地的租用服务、域名系统服务、负载均衡系统、数据库系统、数据备份服务等)。
(6)idc数据库扩展资料
一个优秀的IDC应具备如下特点。
1、具备满足网站系统托管外包服务需求的基础设施,这个设施包括稳定可靠的宽带互联网接入和安全可靠的电信级机房环境。
2、具备提供高品质的增值服务功能,包括系统维护(如系统配置、软件安装、数据备份、故障排除等);管理化服务(如带宽管理、流量分析、入侵检测、系统漏洞诊断、数据备份、负载均衡、Cache服务等);支持服务(如技术支持热线等);集成化服务(如提供数据中心、集成通信与IT专业服务的全面集成化服务等)等。
3、具备提供网络高速互联的能力,能让来自任何一个网络的用户高速访问其他运营网络。同时,通过提供的高品质服务,基本淡化IDC入住用户的地域性限制(如位于上海的网站也完全可跨地域地在北京的IDC进行主机托管业务)。
4、使用户通过IDC的服务,极大地降低其自身的运营成本。
5、与用户签订完善的服务水平协议(SLA)。
参考资料:网络-IDC
7、互联网数据中心(IDC)有什么功能?
互联网数据中心功能:企业可以从事如机位出租、机架出租,服务器托管、主机托管、机柜机架出租、网络硬盘、存储空间、云计算、云主机、云平台、虚拟主机、服务器租赁等IDC业务。
相关法律法规如下:
1、《电信业务分类目录》
2、《电信业务经营许可管理办法》
3、《电信条例》
另外,互联网数据中心idc指的是以外包出租的方式为用户的服务器等互联网或者其他网络相关设备提供放置、代理维护、系统配置及管理服务,以及提供服务器设备出租及存储空间的出租、通信线路和出口带宽的代理租用和其他应用代理服务。是《电信业务分类目录》划分的B11类增值电信业务。另外,根据《电信条例》规定,对电信业务分类实行许可制度,故要求从事互联网数据中心业务企业需要办理idc许可证,全称互联网数据中心业务经营许可证。
8、常见网站用什么类型的数据库?
随着技术和服务器硬件的升级,现在的网站居多以MSSQL或者MYSQL作为网站的数据库,ACCESS 的数据库网站已经比较少了。IDC商的虚机也会根据数据库和开发程序的不同分出一些类型,只有了解这些知识,才能找到合适的空间或服务器。1、Access一般用在小网站上,类似企业站,功能比较简单,对数据要求不高;2、Mssql是一个比较大的完善的数据库,在windows上常用,配NET ASP等程序。3、Mysql是一个小型的公开源代码的免费数据库,在windows,linux上都常用,和PHP程序组成一对完美搭档。
9、网络IDC具体包括哪些
随着IDC这一名词越来越多地见诸于各媒体和评论,IDC(Internet数据中心)的技术、服务及发展也正被更多的人关注。
IDC的产生和Internet的发展及应用有非常紧密的联系。网络的普及、网上信息传递的便利和电子商务的发展,使网上的应用变得更关键,尤其是网络内容提供商、网络服务提供商、应用服务提供商等对自己网站系统的性能、成本、可靠性、可扩展性等的需求非常迫切。满足这一系列的需求除了要求能够方便、持续和低成本地获取高品质的网络带宽、硬件设备、技术支持和网管维护外,对机房的要求也非常严格,一般来说,电力、空调、消防、保安等都要求24小时不间断。
IDC就是为了满足用户的上述需求而出现的。作为一个IDC,首先要建立能够符合客户持续发展需求的高品质机房,同时能够大规模、集中地获取各种电信资源(光纤、带宽、中继线、专线等),拥有丰富的技术资源(各种专业技术人员,如网管工程师、服务支持工程师、新技术应用与研发人员、安全工程师、系统分析专家等),为用户的网络系统提供24×7的全天候基本服务和技术服务,从而使用户更专注于自己的核心业务,获得更多回报。
二、技术构筑IDC
在技术上,作为一个IDC服务的提供商,首先要使机房的标准满足用户的需求;同时,它要能够为不同应用的用户提供相应的网络服务和增值服务,使用户能够以较低的投入获取更多的资源和服务,更加专注于其核心业务,提高竞争力。具体来说,IDC涉及了以下4个方面的技术和服务。
1. 机房建设和运营
符合国际标准的电信级机房是IDC最基础的设施,机房建设和运营中要考虑的技术问题有:
● 电力供应 大规模机房面积供电容量的计算、n+1的冗余供电能力、UPS负载能力、电路自动切换能力、电缆的阻燃考虑、开关切换等。
● 温湿度控制 上千台高密度放置的服务器在运行中会引起温度上升,而温湿度对于服务器的正常工作和使用寿命都有很大影响,因此采用最合理的送风方式、智能的温湿度控制和告警都是设计中的关键。
● 机柜和线缆 独立供电、主/备电源、各种机柜配件、各种走线(五类线、单模/多模光缆、有线电缆)。
● 消防设施 防火和阻燃材料,温感和烟感火灾监测报警系统,气体灭火装置和完善的消防措施。
● 安全设施 能适合不同安全策略的门禁系统,全方位无死角闭路电视监控系统,红外报警系统,24小时的保安值守和紧急处理措施。
2. 网络建立和维护
各种网络资源和高速带宽资源是IDC服务能力和服务品质保证的基础,在网络的建立和维护中,需要最优化的网络设计、路由设计和网管能力保证。
● 网络设计 网络拓扑结构的设计要求达到各层节点完全冗余,数据传输和交换快速无阻塞,网络的扩展性好,整体网络结构合理。
● 各种接入 光纤、DDN、帧中继、DSL等。
● 路由技术 各种路由策略、动态路由协议。
● 网管技术 网络性能的监控、故障告警、趋势估计及各交换和路由节点的健康状况、紧急状况的用户自动告警系统等。
3. 用户网络系统的服务与管理
用户把部分或全部的服务器托管在IDC,对于这些系统正常运行的监控和告警是非常重要的。另外,能够给用户的技术主管和网络管理工程师更多的网络运行数据会为其在系统维护、故障排除、扩充规划中提供切实有效的帮助。这些监控具体包括:供电连续性监控、网络联通监控、流量监控、响应时间监控等。
4. 其他增值服务
对于从事电子商务、提供应用服务的网站来说,高速、不间断是其服务的根本,数据存储的安全性是其服务的保障。许多新的技术应运而生,一些传统的技术也在走向网络。因此,IDC业务内又派生了一些相应的增值服务及技术,如:数据备份、负载均衡、Cache技术、防火墙等。
三、客户需求驱动IDC
IDC的发展服务方向在很大程度上取决于其客户需求的进一步提高和发展,分析目前国外和国内较大规模的IDC,其服务主要集中在:
1. 基本服务
此服务以提供高品质的机房环境,有服务品质保证的带宽和网络资源租用以及现场的技术支持服务为主。大概分为:服务器托管、整机租用、大型客户的独立机房租用、各种专线接入服务。
2. 管理服务
管理服务为用户提供各种层面的监控和报告服务,以数据备份服务和网站高可用性服务为主。一般来说,有数据备份、网络状况和应用性能的监控、负载均衡服务。
3. 安全服务
安全服务是IDC向用户提供的安全防护服务。包括:管理防火墙和虚拟专用网(VPN)。
4. 专家服务
专家服务指的是根据用户的特别需求,提供从网站设计到托管管理的全面服务,能够提供此服务的IDC需要有应用、系统和网络各方面的工程师和很强的技术力量,目前在国内能够真正做到这种全面专家服务的只有少数几家IDC。
四、IDC的技术趋势
随着电子商务的不断发展,企业对托管业务的进一步了解和国内数据中心的不断完善,数据中心为客户提供一揽子可供选择的服务将很快成为必然。这一揽子服务包括:提供标准机房、服务器托管、带宽出租、监控、安全管理、提供应用软件和数据库的网络平台,进而为用户提供完整的网站系统解决方案。
另一方面,各项服务也会面向不同用户特性进一步细化,用户可以根据自身的应用特性选择不同的服务项目和不同的搭配,以实现用户利益的最大化。从技术方面,应该考虑几个不同层面的发展:
● 网络品质 不同的网络品质(路由交换等级、带宽供应能力和最小延迟保证)对应于不同的服务品质保证(SLA),也对应于不同的用户需求和不同的服务价格。将量化的网络品质应用在提供不同级别的服务上,可以更贴切地服务于用户。
● 集中的数据存储和备份 共享昂贵的存储设备和备份系统无疑是个非常好的方式,但是需要更合理的技术来保证所有的存储、备份数据的安全性和可靠性,以及高速的数据恢复能力。宽带的发展可以让更多的用户使用异地/远程数据备份的服务,以达到更高的安全保证。
● CDS技术 内容配送服务(Content Delivery Service)是将多点负载均衡和Cache技术结合起来,利用智能分配技术,将网站内容根据来访用户的地点,按照就近访问的原则分配到多个节点。CDS技术将网站的速度提高30%~50%,并节约大笔建设镜像站点的费用。
● 网络安全监控 除防火墙外,网络安全扫描、病毒扫描、实时安全监控和各种黑客防范措施都是建立在持续的技术发展基础上的。
总的来说,在IDC业务中,无论哪方面技术的发展都来源于三个方面:首先,越来越多的用户使用IDC服务使IDC的服务品种更加细化和层次化,由此需要采用更有创新性的技术;其次,用户更专注于其核心业务,需要将更多与IDC关联的工作以外包方式实现,这样就驱使IDC发展更多的技术来满足用户的需求;最后,新技术的出现促使IDC不断更新自己的技术来保持竞争力