Stardog发布由NVIDIA加速的“SKATHE”

Stardog宣布推出SKATHE，这是一个由NVIDIA加速的新型私有GPU云设施，位于弗吉尼亚州阿什本。{ width=60% }

---

SKATHE提供了专门用于处理GPU计算的解决方案，旨在增强该公司的100%无幻觉AI数据助手Stardog Voicebox的性能。

SKATHE提供了一个混合云基础架构，通过在AWS和Azure中保留CPU处理器，平衡GPU和CPU工作负载。此举在企业重新评估云操作的成本效益平衡时，尤其是在过去二十年间进行的重大投资和近期财富1000强企业对云支出的抵制之后，显得尤为重要。

“我们投资于SKATHE，因为我们有责任为客户提供世界一流的用户体验，同时也为自己建立世界一流的单元经济” Stardog的创始人兼首席执行官Kendall Clark说道。“SKATHE可以通过为我们提供灵活性和利润性来实现这两点。”

SKATHE采用NVIDIA Triton推理服务器搭配NVIDIA TensorRT-LLM，配备NVIDIA GH200 Grace Hopper Superchips的服务器支持。与NVIDIA完整堆栈加速软件和计算的集成，使得在各种深度学习和机器学习框架中部署Voicebox的集合AI模型变得简单快捷。

TensorRT-LLM库可以提升NVIDIA GPU上的推理性能，具有动态飞行批处理和遮罩多头注意力等先进优化功能，以实现卓越的延迟和吞吐量。GH200 Grace Hopper Superchip集成了一个NVIDIA H200 Tensor Core GPU和一个72核Grace CPU，相比于NVIDIA A100 Tensor Core GPU，推断速度快了最高6倍，确保高性能和稳定性。

为了迅速增长，Stardog预计将SKATHE设施扩展到战略市场，包括纽约市、旧金山湾区、德克萨斯州、伦敦和德国。该公司将全球扩展其基础设施，并增加计算能力，以支持额外的GPU密集型任务，如知识图问题回答、图神经网络（GNN）、向量嵌入、连续微调和模型训练。

“随着我们全球推广SKATHE，我们正在关注地理和计算扩展方面的机会” Clark补充说。“我们看到将SKATHE扩展为一个全球私有GPU云，包括超越模型推理的新计算服务的增长机会。”

---

---

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。