AI 计算软件栈

软件栈框架

多层级交付

进迭时空AI计算软件栈提供多层级交付产物，以满足AI生态上的多类用户多样化的需求

端到端模型推理

• OnnxRuntime

  基于ONNXRuntime的SpacemiT推理引擎，通过使用SpaceMITExecutionProvider获得极致推理性能

• XSlim

  模型量化精简工具链，支持多种量化格式与量化调优策略

• Llama.cpp

  轻量大模型推理引擎，完全开源并同步社区

• vLLM

  热门的高性能大语言模型推理与服务框架，支持原生部署大模型

AI算子加速库

• TBD

AI编程语言

• Triton

  提供Python交互的高性能AI算子编程体验

示例

• QuickStart
• ModelZoo