大数据与Hadoop之间是什么关系

大数据与Hadoop之间是什么关系

谢谢邀请！

大数据是一系列技术的统称，经过多年的发展，大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节，这些环节涉及到诸多大数据工作岗位，这些工作岗位与物联网、云计算也都有密切的联系。

大数据自身的岗位包括大数据平台研发、大数据应用开发、大数据分析、大数据运维等，不同的工作岗位有不同的任务要求。比如大数据平台研发主要从事大数据基础性的开发任务，解决大数据分布式存储和分布式计算机的系统级问题，另外还需要考虑并发、安全、事务等内容。

Hadoop本身就是大数据平台研发人员的工作成果，Hadoop是目前比较常见的大数据支撑性平台，Hadoop平台提供了分布式存储（HDFS）、分布式计算（MapReduce）、任务调度（YARN）、对象存储（Ozone）和组件支撑服务（Common）。

大数据开发人员可以通过Hadoop提供的系统级服务支持从而帮助企业完成大数据改造，对于开发人员来说，只需要关注于具体的服务实现就可以了，系统级功能已经由Hadoop提供了实现。所以，Hadoop是大数据开发人员的重要基础。

随着Hadoop的不断发展，基于Hadoop的大数据生态越发完善，目前包括Ambari、Avro、Cassandra、Chukwa、HBase、Hive、Mahout、Pig、Spark、Tez、Zookeeper等组件陆续被开发出来，这些组件极大的丰富了Hadoop自身的应用。随着组件的增多，Hadoop自身也越来越重，因此目前很多大数据工程师更愿意使用Spark，因为Spark更轻，速度也更快一些（基于内存）。

由于Hadoop对硬件的要求并不高，所以很多初学者都是从Hadoop开始学习大数据的，目前很多商用大数据平台也是基于Hadoop的。

作者简介：中国科学院大学计算机专业研究生导师，从事IT行业多年，研究方向包括动态软件体系结构、大数据、人工智能相关领域，有多年的一线研发经验。

欢迎关注作者，欢迎咨询计算机相关问题。

IBM最先进的大型机长什么样

大型机长什么样？我看已经有人答复了。实际上大型机不能只看长相，因为从长相只能看到一堆硬件盒子(除了LOGO，其他跟存储系统，小型机等无异)，更多的应该从功能接口等全面分析。

首先，90%的核心系统都用大型机，大型机中，IBM占据90%的市场份额，也就是说，IBM在大型机市场占统治地位，还有10%市场被Hitachi等其他厂商分享(具体参考下图)。

其次，大型机区别一般服务器或小型机的特性在于：大机接口，专用OS等。目前最主要的大机接口：ESCON和FICON(IBM在解决并行SCSI传输问题，提出了独有的ESCON和FICON两种接口方法，今天，之所以给大家分享这两个老技术，主要是因为在金融等行业客户数据中心还看到其应用)。

ESCON (Enterprise Systems Connection)基于光纤介质，传输距离达到3～10 KM。ESCON允许外围设备跨大园区和城域分布。与铜基并行总线相比，ESCON提供更高的速度并使用串行接口通讯。ESCON定向器是中心和外围的连接装置，提供8~16个端口(模式1)或28～60个端口(模式2)。

FICON (Fiber Connector)借鉴了FC (Fiber Channel)另一种基于光纤的主机信道，它对ESCON进行了修改，并提升了传输速率和距离。将ESCON的半双工传输率提高到了全双工传输。在传输速率上，每条FICON通道最高可相当于8条ESCON通道。 所以，ESCON技术已经逐渐被FICON技术所替代。

ESCON和FICON都是IBM私有的协议接口，任何厂商使用该接口互联都必须经过IBM的严格测试，这在一定程度上限制了ESCON和FICON的推广，这在一定程度上也成了FC诞生的催化剂，目前很多传统、初创存储厂商都不再支持。

目前，ESCON和FICON接口技术主要在IBM大型机(Mainframes)被支持。例如IBM z900/z800主机和9672 G5/G6主机。在其他Mainframes系统中，也有部分支持该接口，如Hitachi Mainframes: GX 8000。

支持大型机ESCON技术和接口的存储厂商，如下所示(信息以具体存储产品为准)：

EMC Symmetrix，DMX和VMAX系列。

Hewlett Packard Enterprise XP Storage系列。

Hitachi数据系统Lightning

IBM Enterprise Storage Server（Shark）

IBM Storage DS8000

Sun StorageTek SVA

支持大型机FICON技术和接口连接的厂商和磁盘存储产品，如下所示(信息以具体存储产品为准)：

EMC Symmetrix/DMX和VMAX系列

Hewlett Packard Enterprise XP Storage系列

日立数据系统Lightning

日立数据系统VSP

日立数据系统USP

IBM Enterprise Storage Server(Shark)

IBM Storage DS6000和DS8000

INFINIDAT InfiniBox

StorageTek FlexLine V2Xf/V2X4f SVA

EMC MAS和MDL虚拟磁带库

IBM 3584 UltraScalable磁带库(TS 3500)

IBM TS 7680G ProtecTier重复数据删除网关

IBM虚拟磁带服务器(VTS)

Luminex 大型机虚拟磁带(MVT)和CGX

Oracle StorageTek SL3000和SL8500磁带库

Oracle StorageTek虚拟存储管理器

博科DCX系列

博科M系列(McDATA)

Cisco MDS 9000系列

EMC Connectrix系列(Brocade或Cisco制造)

IBM i操作系统可以运行在Pure Systems，小机Power和中型机是AS400上，IBMI起初在AS/400名为OS/400，之后重命名为I5/OS，接着在Power系统上命名为IBM i。

这里提到的Pure Systems可以允许四种操作系统(AIX、IBM i、Linux、Windows)，五种服务器虚拟化软件(Hyper-V、KVM、PowerVM、VMware、Xen)和支持两种硬件指令架构(Power和x86)。

这里提到的PowerVM具体服务器虚拟化软件为Virtual IO Server (VIOS)，他支持两种虚拟化实现，一是Virtual SCSI Target Adapter (vSCSI)，另一种是Virtual Fibre Channel Adapter (NPIV) 。

IBM i操作系统的存储对接方式，主要包括接连/交换机连接，VIOS (vSCSI)，VIOS (NPIV)和SVC Attach (通过SVC相连)。目前全支持这四种方式的厂商主要是IBM和EMC(高端存储)。因为与IBM i 通信，需开发存储SCSI部分私有页以及修改LUN部分属性，需要支持 IBM i OS 多路径和其他高级特性。

IBM的IBM LinuxONE大型机和中型机IBM i/AS400主要支持FCP接口。IBM LinuxONE和z Systems大型机硬件里面的OS主要是Z/Linux、Z/vm和 Z/OS(如OS390)。

LinuxONE是IBM z Systems的演进，但相比Z要开放一些， Z/OS主要用的协议是FICON协议，Z/Linux和Z/vm主要采用的是FCP协议(FICON接口一般通用，可支持FCP协议)。