Databricks宣布推出DBRX，这是一款强大的新开源大型语言模型，据称它通过在行业基准测试中超越了像GPT-3.5这样的既定选项，为开放模型设定了新的标准。
该公司表示，具有1320亿参数的DBRX模型在语言理解、编程和数学任务上超越了流行的开源LLM，如LLaMA 2 70B、Mixtral和Grok-1。它甚至在某些基准测试中超过了Anthropic的闭源模型Claude。
DBRX在编码任务中展示了开放模型中的最先进性能，即使作为一个通用LLM，也击败了像CodeLLaMA这样的专业模型。它在几乎所有评估的基准测试中匹配或超过了GPT-3.5。
这种最先进的能力得益于更高效的专家混合架构，使DBRX的推理速度比LLaMA 2 70B快达2倍，尽管活跃参数更少。Databricks声称训练该模型的计算效率也比密集型替代品高出约2倍。
“DBRX为开源LLM设定了一个新标准——它为企业提供了一个平台，基于他们自己的数据构建定制化的推理能力，”Databricks联合创始人兼CEO Ali Ghodsi表示。
DBRX在预训练上使用了大约12万亿个“精心策划”的文本和代码数据，挑选这些数据是为了提高质量。它在预训练期间利用了旋转位置编码和课程学习等技术。
客户可以通过API与DBRX交互，或使用公司的工具在其专有数据上微调模型。它已经开始整合到Databricks的AI产品中。
“我们的研究显示，企业计划将一半的AI预算用于生成式AI，”Ventana Research的执行董事Dave Menninger表示，Ventana Research是ISG的一部分。“他们面临的前三大挑战之一是数据安全和隐私。
“通过端到端的数据智能平台和DBRX的引入，Databricks使企业能够构建受管控、安全且根据其业务背景定制的生成式AI应用程序，同时在整个过程中保持对其知识产权的控制和所有权。”
包括埃森哲、Block、纳斯达克、Prosus、Replit和Zoom在内的合作伙伴称赞DBRX有助于加速企业采用开放、定制化的大型语言模型。分析师表示，这可能促使从闭源向开源转变，因为经过微调的开放模型达到了专有性能。
纳斯达克的AI和数据服务负责人Mike O’Rourke评论道：“Databricks是纳斯达克在一些最重要的数据系统上的关键合作伙伴。他们继续处于管理数据和利用AI行业的前沿，我们对DBRX的发布感到兴奋。
“强大的模型性能和有利的服务经济学是我们在纳斯达克增长我们对生成式AI使用时所寻求的那种创新。”
你可以在Hugging Face上找到DBRX的基础和微调模型。项目的GitHub还有更多资源和代码示例。
