Trellis Data突破性技术降低AI成本和碳足迹

Trellis Data公司在改进LLMs速度和减少计算功率需求方面取得世界首创性突破
领先的机器学习和人工智能专家Trellis Data今天宣布了大语言模型（LLM）解码器领域的一项开创性创新，该创新使输出产生速度提高了三倍以上。{ width=60% }

---

Trellis的动态深度解码（D3）技术利用推理解码来实现平均速度增加44%，相比之前最快的解码器，它是当今世界上最快的解码器。
LLMs是AI系统背后的架构，D3使它们以约3.16倍的速度生成文本，而不会影响准确性。
世界经济论坛估计，维持全球AI增长所需的计算功率每100天就会翻一番。随着AI系统为全球组织创造越来越多价值，能够在成本和能源需求方面创造效率并缓解环境影响的方法变得备受追捧。
根据Trellis Data提交进行全球同行评审的研究，D3带来的速度改进导致计算功率要求的估计减少了68.4%，从而降低了运行LLMs时的成本和碳排放量。
Trellis Data首席执行官Michael Gately表示：“任何AI系统成功的关键部分有三个组成要素：信任、速度和性能。速度是一个关键领域，因为它与成本和环境影响之间有直接关联。
“D3使我们能够解决速度的一个关键瓶颈 - 解码器，为客户提供了在运行AI服务器成本和减少碳足迹方面的降低。”
“Trellis Data处于快速发展的AI领域的前沿，我们很高兴能够在我们的平台上提供D3。D3将为使用我们的语音管理和知识管理功能的客户带来直接的好处，包括增强的用户体验和更大的扩展能力。”
D3可广泛适用于生成式AI用例，包括聊天机器人、文本摘要、翻译、转录和内容生成。此外，降低的计算成本和碳排放为客户带来了竞争优势，特别是随着LLM的规模和使用量不断增长。
Trellis Data使用广泛的人工智能技术，包括生成式AI、转录、翻译和计算机视觉，专门设计用来节省时间和降低成本。D3的开发是Trellis Data战略的又一个关键里程碑，该战略旨在解决与新人工智能技术采用相关的重要问题，因为它们提供了与现有业务系统无缝集成的安全、脱机AI应用程序。
总部位于堪培拉的Trellis Data拥有一个超过40名员工的不断增长团队，年度重复收入（ARR）增长预计将超过100%。该公司还在阿德莱德、悉尼和美国阿灵顿设有办事处，并计划立即扩大到中东和东南亚地区。
Trellis Data为各种客户提供人工智能解决方案，包括政府机构、国防和执法部门、培训和供应链企业，以及金融和法律等高安全领域的公司。
Michael Gately将于2024年11月12日在堪培拉举行的MilCIS 2024大会上发表演讲，并入围2024年AmCham Alliance Awards的人工智能类别，获奖者将于11月14日在悉尼举行的晚宴上公布。

---

---

感谢阅读！如果您对AI的更多资讯感兴趣，可以查看更多AI文章：GPTNB。