NVIDIA AI Enterprise与Azure机器学习集成,提供端到端云平台,供开发者构建、部署和管理大型语言模型的AI应用
通过Azure机器学习上集成的NVIDIA AI Enterprise,用户能够访问高性能的NVIDIA加速计算资源,以加快AI模型的训练和推理。要知道,在“全民AI”的今天,加速类的硬件资源较为缺乏,与NVIDIA的合作将让微软Azure机器学习的用户获得有力的基础算力支持。借助Azure机器学习,开发人员可以轻松扩展应用——从测试到大规模部署,同时使用Azure机器学习的数据加密、访问控制和合规认证可满足安全要求并符合其组织策略要求。借助安全、生产就绪的AI功能,NVIDIA AI Enterprise与Azure机器学习形成互补,并且获得NVIDIA专家的帮助和支持。
在NVIDIA AI Enterprise中,包含100多个框架、预训练模型和开发工具,例如用于加速数据科学负载的NVIDIA RAPIDS,NVIDIA Metropolis可加速视觉AI模型开发,而NVIDIA Triton Inference Server则支持企业实现标准化的模型部署和执行。此外,NVIDIA Omniverse Cloud平台即服务现已在Microsoft Azure上提供面向企业的私有版本,Omniverse Cloud为开发者和企业提供了一个全栈云环境,用于大规模设计、开发、部署和管理工业元宇宙应用。
目前,NVIDIA AI Enterprise与Azure机器学习的集成为有限技术预览版,可以在NVIDIA社区中注册获得。NVIDIA AI Enterprise还可以在Azure Marketplace上使用,为全球企业提供了一个全面安全和完全支持的AI开发和部署的新选项。
不仅如此,NVIDIA和微软还将生成式AI推向了广阔的桌面级市场,展示了一系列搭载NVIDIA RTX GPU的Windows 11 PC和工作站的成果,包括用于在Windows PC上开发AI的工具、优化和部署AI的框架,以及驱动性能和能效提升,将使开发人员能够以生成式AI为核心来构建下一代Windows应用。有超过400款应用和游戏已采用AI技术,通过RTX GPU上的专用处理器Tensor Core进行加速。
开发人员能够轻松地在Windows 11上训练并部署先进的AI模型,并在配备RTX的PC和工作站上提供节能的推理
要知道,AI开发通常在Linux上进行,需要开发人员启动双系统,或是使用多台PC在AI开发操作系统中进行工作,过去的几年中,微软一直致力于让Linux直接在Windows操作系统上运行,也就是适用于Linux的Windows子系统(WSL)。为此,NVIDIA与微软密切合作,为WSL内部的整个NVIDIA AI软件堆栈提供了GPU加速和支持,如今,开发人员可以使用Windows PC满足所有本地AI开发需求,并支持GPU加速的WSL深度学习框架。
NVIDIA RTX GPU在台式机工作站中提供了48GB的显存,使得开发人员可以在Windows上处理以前只能在服务器上处理的模型,大显存还提高了AI模型本地微调的性能和质量,使设计师能够根据自己的风格或内容进行定制。由于NVIDIA数据中心GPU也运行相同的NVIDIA AI软件堆栈,开发人员也可以将模型推送到微软Azure云上进行大规模训练。
为了帮助开发人员针对目标设备优化和部署 AI,微软还发布了Microsoft Olive工具链,用于优化PyTorch模型并将其转换到ONNX,使开发人员能够自动利用RTX Tensor Core等GPU硬件加速。开发人员可以通过Olive和ONNX优化模型,并将Tensor Core加速的模型部署到PC或云端。微软将继续投资,使PyTorch及相关工具和框架与WSL无缝协作,提供更好的AI模型开发体验。
生成式AI更注重逻辑层的效果,因此不同于加速时对训练要求,其对于推理的性能更加看重,RTX Tensor Core为AI推理提供了1400的Tensor TFLOPS(万亿次浮点运算)。NVIDIA会在532.03版驱动中发布最新的优化,与Olive优化的模型相结合,大幅提升AI性能。使用Olive优化版Stable Diffusion文本-图像转换器以及受欢迎的Automatic1111发行版,新驱动程序的性能提高两倍以上。
使用Automatic1111和文本-图像转换功能,在GeForce RTX 4090上测试Stable Diffusion的性能
NVIDIA还将推出新的Max-Q低功耗推理,用于RTX GPU上的纯AI工作负载,在优化TensorCore性能的同时,可以尽可能地降低GPU的功耗,延长电池续航时间,并使系统保持较好的散热和降噪表现。根据负载需要,GPU可以动态扩展,以提供更高的AI性能。
NVIDIA和微软还为开发人员提供了一些资源,以便在Windows PC上测试主要的生成式AI模型,在Hugging Face上提供了一个Olive优化版的Dolly 2.0大语言模型。此外,用于对话式AI的NVIDIA NeMo大型语言模型的PC优化版也即将在Hugging Face上线。开发人员还可以通过NVIDIA开发者网站上的AI加速应用页面,学习如何端到端地优化应用程序以充分利用GPU加速。
而更早之前,在戴尔科技集团全球大会上,戴尔科技集团与NVIDIA也宣布了一个合作项目,旨在让企业更方便在本地构建和使用生成式AI模型,从而实现快速、安全交付更好的客户服务、市场情报、企业搜索等各种功能。ProjectHelix会提供一系列包含技术专长和预构建工具的全栈式解决方案,基于戴尔和NVIDIA的基础设施与软件打造。
通过戴尔提供的经过测试和优化的软硬件产品组合,Project Helix可以简化企业生成式AI 的部署,支持从基础设施配置、建模、训练、微调、应用开发和部署一直到部署推理和精简结果等整个生成式AI的生命周期。在产品端,
Dell PowerEdge服务器为提升生成式AI训练和AI推理性能进行了优化,例如PowerEdge XE9680和PowerEdge R760xa,搭载了NVIDIA H100 Tensor Core GPU和NVIDIA Networking组成了这些工作负载的基础设施主干。客户可以将该基础架构与Dell PowerScale和Dell ECS Enterprise Object Storage等具有弹性、可扩展的非结构化数据存储搭配使用。利用Dell Validated Designs,客户可以使用戴尔服务器和存储软件中的企业功能,以及Dell CloudIQ软件提供的可观测能力。Project Helix包含NVIDIA AI Enterprise软件,为客户提供了用于整个AI生命周期的工具,还可以将安全和隐私功能内置在基础组件中,如Secured Component Verification。在本地保护数据可以降低固有风险,帮助企业满足监管要求。自2023年7月起,基于ProjectHelix项目的Dell Validated Designs将通过传统渠道和APEX的消费选项提供。
可以看到,NVIDIA正在构筑一个面向智能世界的生成式AI生态,通过软硬融合创新的方式满足来自云、边缘、本地的多元化场景需求,为企业探索基于AI的业务创新提供了坚持基础,以及丰富的平台和工具。
(8186583)
相关教程
2023-05-24
2024-09-25
2023-05-18
2023-06-03
2023-05-24
2023-05-29
2023-05-30
2023-05-26
2024-11-18
2024-11-18
2024-11-16
2024-11-16
2024-11-15
2024-11-14