彭胀生成式AI：欺诈Kubernetes措置运营挑战体育游戏app平台

要道字: [Amazon Web Services re:Invent 2024， 亚马逊云科技， 生成式AI， Spot Ocean， Scaling Generative Ai， Kubernetes Operational Challenges， Ai Inference Workloads， Gpu Resource Management， Kubernetes Auto-Scaling Strategies]

导读

跟着通用东谈主工智能更动的伸开，各组织必须粗野在云霄彭胀GPU职责负载的运营挑战。在AI推理（即AI奈何分析新数据并得出论断）方面，Kubernetes提供了一个既有招引力又具挑战性的措置决议。优化AI推理职责负载需要对Kubernetes和AI模子有久了的领略。为容器开发允洽的资源请乞降适度，尤其是对AI职责负载而言，是一项辣手的任务。不正确的开发会导致资本超支和/或资源欺诈效果低下。在本次会议中，您将了解奈何欺诈Kubernetes与亚马逊云科技和NetApp的力量来克服优化GPU基础设施的挑战。本演讲由亚马逊云科技和谐伙伴NetApp为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华。

在快速发展的东谈主工智能范围中，Zach Herbedion强调了对GPU资源日益增长的依赖性，并冷漠了这么一个问题:“淌若你无法得到这些GPU资源来相沿这些应用设施，会产生什么影响?这对你的业务会有什么影响?”他通过一个直不雅的可视化展示了GPU资源的要道性，超过了它们无法得到时对业务的潜在影响。

此外，Herbedion强调了探讨云霄出口用渡过头对决策过程的影响的垂死性，例如是在土产货已经在亚马逊云科技上开动职责负载。他冷漠了一种情况，即东谈主工智能职责负载和GPU处理器严重依赖于数据出动，从而激发了这么一个问题:“这会奈何影响咱们的云存储资本?我是否应该出动一些东西?我是否应该回到土产货?”这种情况突显了组织需要仔细评估云中数据出动和存储的资本影响。

久了探讨东谈主工智能推理，Herbedion讲解说，它发生在模子历练之后，是将新数据引入现存模子的一种表情。他例如证据了聊天机器东谈主应用设施，用户与已历练模子进行交互，超过了东谈主工智能推理在面向客户的应用设施中的执行用例。

Herbedion随后探讨了Kubernetes在东谈主工智能推理中的上风，强调了它通过微职业见识的可彭胀性以及Docker容器跨多个集群和云的可移植性。这种活泼性使组织大略无缝地跨不同环境转化其东谈主工智能职责负载，从而终了更大的敏捷性和得当性。

在照应操作化彭胀模子时，Herbedion先容了基于CPU欺诈率或方向欺诈率等方向界说彭胀计谋的Horizontal Pod Autoscaler(HPA)。这一功能使组织大略笔据预界说的限定自动彭胀其东谈主工智能职责负载，确保高效欺诈资源并反应握住变化的需求。

Vertical Pod Autoscaler(VPA)优化资源请乞降适度，通过诊治过度配置的资源，可能会裁减资本。这一功能匡助组织合理调配其东谈主工智能职责负载，幸免无须要的过度配置，优化资源欺诈率，从而揆情审势资本。

Cluster Autoscaler笔据待处理的pod添加或删除节点来管制基础设施彭胀。这一功能确保组织领有处理其东谈主工智能职责负载所需的基础设施容量，动态诊治底层资源以温存握住变化的需求。

Herbedion承认Kubernetes在资源管制方面存在挑战，因为它无法原生领略分数GPU分派。他冷漠了这么一个问题:“我是否确实使用了一个齐全的GPU，或者执行欺诈率可能唯有一半GPU，仅举个例子?”这一挑战突显了组织需要久了了解其GPU欺诈格式并大略相应优化资源分派的必要性。

强调GPU资源的稀缺性，他提到一些公司濒临着获取更多GPU的积压，以及公有云中供需动态，在特定可用区域可能无法得到GPU实例。这种情况突显了制定一个健全的计谋来获取和管制GPU资源的垂死性，以及跨多个可用区域散布职责负载以终了弹性的才气。

Herbedion强调GPU实例的崇高资本，他说:“GPU实例是你不错开动的一些最崇高的实例。”他训导不要对突发性推理职责负载领受保留实例或揆情审势筹办的典型作念法，因为客户可能会陡然在他们无法充分欺诈的甘愿上的资金。这一建议突显了组织需要仔细评估其使用格式，并聘请允洽的订价模子来优化其东谈主工智能职责负载的资本。

在措置存储挑战方面，Herbedion提到需要灵验管制高大的历练数据集，温存在短时刻内需要1TB数据的高性能推测需求，同期探讨出口用度和高性能数据的可用性，并彭胀底层基础设施。这些挑战突显了领有一个健壮且可彭胀的存储基础设施来相沿东谈主工智能职责负载的巨大数据需求的垂死性。

为了粗野这些挑战，Herbedion先容了资源请乞降适度等计谋，强调了它们在潜在资本纵情方面的要道作用。他建议每天或通过自动化措置决议对容器进行允洽诊治，使组织大略抓续优化资源欺诈率并减少无须要的过度配置。

对于GPU欺诈率，他冷漠了解执行欺诈率(可能唯有一半GPU)，并欺诈为东谈主工智能和机器学习职责负载打算的自界说Kubernetes更动设施来灵验地对节点进行bin-pack操作。这种要领使组织大略最大限定地欺诈其GPU资源，优化其基础设施占用空间，从而可能揆情审势资本。

Herbedion久了探讨了GPU分割时刻，例如时刻分享，它将单个GPU凭空化为多个凭空GPU，允许pod肯求GPU的一部分。这种时刻使组织大略在多个职责负载之间分享GPU资源，升迁资源欺诈率，并可能裁减资本。

他提到了多实例GPU(MIG)，它将一个GPU物理分割为多达7个较小的GPU，提供物理隔断和一致的性能。这种要领适用于需要专用性能和隔断的职责负载，例如历练职责负载或高性能推测(HPC)应用设施。

多程度职业GPU(MPS)使多个程度大略并发分享单个GPU，从而升迁合座GPU欺诈率，在统一硬件上开动多个任务。这种时刻相称适用于不需要专用性能或物理隔断的应用设施，使组织大略最大限定地欺诈其GPU资源。

可是，Herbedion承认存在一些复杂性，包括监控及时GPU欺诈率以细目分数肯求、管制集群自动彭胀时刻(因为集群自动彭胀器不了解分数组件)以及确保现存监控器具中对分数GPU肯求的资源可见性。这些挑战突显了组织需要领有健壮的监控和管制器具，以灵验欺诈GPU分割时刻。

Herbedion先容了NetApp的Spot Ocean器具，这是一个无职业器推测引擎，可抓续优化Kubernetes环境，每60秒监控和彭胀基础设施、开动更动模拟，并开箱即用相沿时刻分享GPU分割。该器具为组织提供了一个笼统措置决议，用于管制和优化Kubernetes上的东谈主工智能职责负载，终了高效的资源欺诈和资本优化。

Spot Ocean在容器级别提供资本可见性，详尽地暴露推测、存储和汇集资本。这一功能使组织大略久了了解其东谈主工智能职责负载的的确资本，从而作念出理智的决策并制定资本优化计谋。

它还提供自动诊治大小功能，笔据执行欺诈情况在预界说的限定和界限内诊治资源肯求。这一功能有助于组织抓续优化资源分派，确保不会过度配置或配置不及资源，从而可能揆情审势资本并升迁性能。

Herbedion讲解了Spot Ocean奈何欺诈Kubernetes彭胀资源来领略分数GPU界说，从而终了自动彭胀和bin-pack。他举了一个例子:“这种实例类型对我来说等于X个副本，而这种实例类型将是Y个副本或Y个GPU。”这一功能使组织大略界说和管制分数GPU分派，从而终了高效的资源欺诈和资本优化。

在照应资本优化选项时，Herbedion提到了按需实例、保留实例和揆情审势筹办，它们提供扣头四肢甘愿的交换，但可能不允洽突发性应用设施。他强调了Spot Ocean使用的现货实例，通过欺诈亚马逊云科技的多余容量，不错比按需资本揆情审势高达90%的资本，尽管有2分钟的回收见知。这种要领使组织大略大幅裁减东谈主工智能职责负载的推测资本，同期还提供了一种粗野潜在中断的机制。

Spot Ocean领受机器学习算法在高可用性和具有资本效益的可用区域和市集结启动现货基础设施，探讨中断数据、实例类型以及系数可用区域和地区的及时订价。这种智能要领确保组织大略欺诈现货实例，同期最大限定地裁减中断风险并笔据及时市集情状优化资本。

临了，Herbedion荧惑DevOps团队欺诈NetApp的措置决议来优化GPU欺诈率、彭胀才气和资本效果，要点是无缝管制分数GPU、确保稀缺GPU资源的可用性，并为粗野东谈主工智能运营挑战提供无缝体验。这些措置决议使组织大略灵验管制和优化其东谈主工智能职责负载，终了高效的资源欺诈、资本优化和运营迥殊。

底下是一些演讲现场的精彩霎时：

演讲者为照应基础设施环境和东谈主工智能推理(与历练不同)的挑战奠定了基础。

强调了为东谈主工智能/机器学习职责负载诊治容器大小、监控GPU欺诈率以及使用自界说Kubernetes更动设施进行高效资源分派的垂死性。

讲解了GPU分区奈何允很多个职责负载分享单个GPU，为CI/CD管谈和小批量处理等任务优化基础设施资本。

演讲者讲解了多实例GPU分区奈何通过将GPU差别为单独的GPU，使多个GPU实例大略并发开动，为推理、历练和高性能推测等多样职责负载提供物理隔断和一致的性能。

了解分数资源请乞降集群自动彭胀时刻对于在Kubernetes环境中终了高效自动彭胀和资本优化至关垂死。

亚马逊云科技和NetApp提供措置决议来粗野东谈主工智能通盘人命周期中的挑战，从数据准备和数据湖到高性能推测和模子历练。

亚马逊旨在为DevOps团队提供无缝体验，以粗野当代软件开发的复杂性。

追念

在这个别有洞天的论说中，咱们探索了在Kubernetes上彭胀生成式AI职责负载的范围，连系了运营挑战和创新措置决议，匡助企业充分欺诈这种变革性时刻的后劲。

跟着AI应用设施在咱们的闲居职责经过中越来越普及，确保GPU资源的可用性成为一个要道优先事项。可是，这些资源的稀缺性和关系资本组成了舛误扯后腿。导航云霄出口用度、数据管制和性能条件的复杂性进一步加重了挑战。

Kubernetes四肢一个执意的盟友出现，为AI推理职责负载提供了可彭胀性、资源优化和可移植性。欺诈Horizontal Pod Autoscalers、Vertical Pod Autoscalers和Cluster Autoscalers等器具，组织不错动态管制其基础设施和职责负载，确保高效欺诈资源和优化资本。

可是，这一旅程并非一帆风顺。资源管制、GPU分割和运营复杂性需要深厚的专科学问和量身定制的措置决议。这等于NetApp的Spot Ocean大显神通的地点，它提供了一个无职业器推测引擎，抓续优化基础设施、自动彭胀，并终了无缝GPU时刻分享和分割。

将来愈加光明，有一个无缝GPU管制、不隔断可用性和DevOps团队通顺体验的愿景。在咱们探索这个令东谈主昂然的前沿时，行为号令是明确的:拥抱生成式AI的力量，同期欺诈解锁其一谈后劲的器具和计谋，为创新与运营迥殊并行的将来铺平谈路。

亚马逊云科技（Amazon Web Services）是大家云推测的创始者和引颈者。提供200多类世俗而久了的云职业体育游戏app平台，职业大家245个国度和地区的数百万客户。作念为大家生成式AI前行者，亚马逊云科技正在联袂世俗的客户和和谐伙伴，建立可见的买卖价值 – 汇集大家40余款大模子，亚马逊云科技为10万家大家企业提供AI及机器学习职业，看管3/4中国企业出海。