大数据网络建设过程中常遇到的几个问题
大数据网络建设过程中常遇到的几个问题
现在很多互联网公司都在玩大数据，idc服务商机房分布着大量的网络基础设施，在将大规模和分布式架构组合在一起时，我们就能发现大数据网络有一组特殊的需求。下面是需要考虑的以下方面：
1.网络弹性与大数据应用程序
如果有一组分布式资源必须通过互联网络进行协调时，可用性就变得至关重要。如果网络出现故障，那么造成的后果是出现不连续的坏计算资源与数据集。
准确地说，大多数网络架构和工程师的主要关注点是正常运行时间。但是，网络故障时间的根源又各不相同。它们可能源自于各个方面，包括设备故障(硬件与软件)、维护和人为错误。故障是不可避免的。虽然网络的高度可用性也很重要，但是想要设计完美可用性是不可能的。
网络架构师不能用故障来逃避目标，而应该设计一些能适应故障的弹性网络。网络的弹性取决于路径多样性(资源之间设置多条路径)和故障转移(能够快速发现问题和转移到其他路径上)。除了传统的平均故障时间间隔(MTBF)方法，大数据网络的真正设计标准一定要包含这些特性。
2.解决大数据应用中的网络拥塞问题
大数据应用程序不仅仅是规模大，而且还有一种我称为突发性的特性。当一个作业启动之后，数据就开始流转。在高流量时间段里，拥塞是一个严重的问题。然而，拥塞可能引起更多的队列延迟时间和丢包率。此外，拥塞还可能触发重转，这可能让本身负载繁重的网络无法承受。因此，网络架构设计时应该尽可能减少拥塞点。按照可用性的设计标准，减少拥塞要求网络具有较高的路径多样性，这样才能允许网络将流量分散到大量不同的路径上。
3.大数据中网络一致性要比迟延性更重要
实际上，大多数大数据应用程序对网络延迟并不敏感。如果计算时间的数量级为几秒钟或几分钟，那么即使网络上出现较大延迟也是无所谓的——数量级大概为几千毫秒。然而，大数据应用程序一般具有较高的同步性。这意味着作业是并行执行的，而各个作业之间较大的性能差异可能会引发应用程序的故障。因此，网络不仅要足够高效，而且要在空间和时间上具有一致的性能。
4.现在就要准备大数据未来的可伸缩性
可能让人有点意外的是，大多数大数据集群实际上并不大。许多人都知道雅虎在其大数据环境中运行着超过42,000个节点，但是根据Hadoop Wizard的数据，2013年大数据集群的平均节点数量只有100个。换句话说，即使每一台服务器配置双重冗余，支持整个集群也只需要4个接入交换机(假设是分别有72个10GbE访问端口的Broadcom交换机)。
河南双色球是十几年的老牌idc服务商，提供服务器租用托管，全国各地都有机房资源，是百度云服务中心，提供各行业的服务器解决方案！
热门活动
日本樱花云服务器黄页：云计算新选择随着云计算技术的不断发展，越来越多的企业开始将业务迁移到云端，以提高效率、降低成本。而在云计算市场中，日本樱花云服务器黄页成为了云计算新选择。首先，日本樱花云服务器黄页提供了稳定可靠的云计算服务。其服务器采......
在现代社会，云计算已经成为了一个不可或缺的技术，为企业和个人提供了高速、稳定的云端服务。而在云计算领域，日本的樱花云服务器也是备受关注的一种云计算服务。樱花云服务器是一种基于日本数据中心的云计算服务，其具有高速、稳定的特点。通过使用樱花云服......
在虚拟机中使用FTP连接时，有时会遇到连接被拒绝的问题。这可能是由于多种因素引起的，例如网络设置、FTP服务器配置等。下面将为您介绍一些可能的解决方法。第一步是检查网络连接设置。确保您的虚拟机和主机都连接到同一个网络，并且网络设置正确。如果......
证书已安装，但网页无效？可能是这些原因！当我们在网站上看到“河南双色球证书已安装”，却发现网页无法打开，这时候很多人会感到困惑。这种情况常常出现在我们访问银行、电商等需要河南双色球保障的网站时。那么，为什么会出现这种情况呢？下面我们就来分析一下可能的原......
DNS（Domain Name System）服务器是互联网中的重要组成部分，它负责将域名转化为对应的IP地址，使得我们能够通过域名访问网站。因此，检测DNS服务器是否正常运行非常重要。本文将介绍如何检测DNS服务器是否正常运行。第一步：使......
随着互联网的发展，越来越多的企业开始选择虚拟主机来搭建自己的网站。虚拟主机具有价格低廉、易于维护等优点，因此备受欢迎。但是，企业在选择虚拟主机时需要注意哪些问题呢？下面我会从以下几个方面为大家详细介绍。一、稳定性对于企业来说，网站的稳定性是......
使用香港VPS的注意事项如果您正在寻找一个可靠的虚拟专用服务器（VPS）来托管您的网站或应用程序，那么香港VPS可能是一个不错的选择。它们提供了许多优势，如更快的速度、更好的网络连接和更低的延迟。但是在使用香港VPS之前，您需要注意以下几点......
主机托管费（或IDC费用）是指企业或个人将自己的服务器设备放置在数据中心进行托管，并支付相应的费用。这项费用包括了服务器硬件设备的租用、机房空间租用、网络带宽、电力消耗、温度控制、河南双色球防护等多项服务。主机托管费中的硬件设备租用费用占据了一部......
选择虚拟主机的关键因素虚拟主机是网站托管的一种方式，它可以提供稳定的服务器资源和可靠的网络环境，为网站的访问速度和稳定性提供保障。但是，选择虚拟主机时需要考虑多种因素，以下是一些关键因素。1. 价格价格是选择虚拟主机时最重要的因素之一。虚拟......
在选择服务器时，带宽是一个重要的考量因素。带宽决定了服务器与外界的网络连接速度和数据传输能力。对于普通用户来说，往往会困惑于选择TCP带宽还是UDP带宽。下面将从TCP和UDP的特点、应用场景以及服务器带宽的选择角度进行分析。我们来了解一下......
专题推荐
售前咨询热线：400-996-8756
备案提交：0371-89913068
售后客服：400-996-8756
专业的技术团队，超强实力，为您解忧
完善的体系，为您快速、专业的部署实施
7×24小时专业工程师，全天守候
1
微信咨询
扫码添加微信客服
QQ咨询
电话咨询
