GMI Cloud King Cui：AI应用落地全球化加速，AI推理从单点爆发到全球扩容丨GenA...

正文

请到「今天看啥」查看全文

我们推出了“Cluster Engine自研云平台”，专注于为从事大语言模型、文生图、文生视频模型的公司提供训练云平台的支持。同时，因为GMI Cloud相信，未来的AI应用将快速遍布全球，未来将是一个全新的“推理世界”，Token changes the world，因此GMI Cloud面向全球打造了AI推理引擎平台“Inference Engine”。

(上图）从技术架构来看，GMI Cloud提供从底层GPU硬件到支持应用层的全栈服务：

第一，底层提供NVIDIA生态体系内最新、最强的GPU云资源，同时也提供适合AI存储的云服务，支持NVMe高速存储和普通存储，适配不同场景的存储介质，提供不同的云服务。在网络层面，我们提供高速带宽的数据通道，确保AI应用的高效运行。再往上就是MaaS( Model as a Service)模型的推理，同时我们集成了大量已经开源的大模型，并且基于自己的技术自研了InferenceEngine推理引擎平台。

第二，GMI Cloud研发了一套计算存储网络，具备laaS能力。在计算资源方面，提供裸金属服务器、云主机、K8s云服务等多种计算形态。

第三，MaaS（Model as a Service）层集成了大量开源大模型，并基于Inference Engine自研推理引擎平台，将英伟达H100、H200或更先进的B200进行适配，以提升模型的token吞吐速度。同时，我们具备端到端的监控能力，帮助企业快速发现、定位和解决问题。

第四，应用层得益于各行业企业的实践。特别强调的是，IaaS层和MaaS层均为GMI Cloud自主研发，MaaS层还支持所有B2B服务企业接入，以MarketPlace的方式为企业提供更好的MaaS服务。

02 .

AI 应用全球化服务趋势下

推理服务及时性、扩展性、稳定性

成核心挑战

自2022年底OpenAI发布ChatGPT以来，AI产业在算力和模型方面投入巨大，每隔三到六个月，大模型能力便提升一个台阶。

如今，多模态大模型的生成内容质量更高，同时，如今的大模型对物理世界的理解及生成质量的可控性也更强，而且许多公司都已经具备这些能力，在产业层面，这为应用层的爆发提供了很大基础。可以说，AI的应用爆发具备了技术条件。

请到「今天看啥」查看全文