现在， Azure 国际版AI模型目录中已经引入 Meta Llama 3模型。
Meta-Llama-3 - 8B -Instruct 、Meta-Llama-3-70B-Instruct 预训练和指令微调模型是下一代Meta Llama 大语言模型，现已在 Azure 国际版 AI 模型目录上提供。
根据 Meta 的报告显示，在 Azure 国际版上使用 Meta Llama 3 模型对大量预训练数据进行训练后，开发人员明显可以感受到整体性能得到显著的提升。微软很高兴能成为 Meta 的启动合作伙伴，这意味着，当企业和开发人员在 Azure 国际版上使用 Meta Llama 3构建模型时，也将得到 Azure AI 提示流和 LangChain 等热门的大语言模型（LLM）开发工具的支持。
目前建议企业通过微软官方合作伙伴获取服务，可以合规、稳定地提供企业用户使用Meta Llama 3、ChatGPT的可能，满足国内发票需求，同时也能解决连接不稳定/响应速度慢/并发配额低等问题。
参考链接：
微软 Azure OpenAI 申请
#01
Meta Llama 3有哪些新功能？
Meta Llama 3包含预训练和指令微调语言模型，旨在处理各种用例。正如 Meta 公司称，Meta-Llama-3-8B、Meta-Llama-70B、Meta-Llama-3-8B-Instruct 和 Meta-Llama-3-70B-Instruct 模型在行业标准基准和高级功能方面都有显著改进，例如改进了推理能力。此外，模型对后训练过程进行了重大改进，从而大大降低了错误拒绝率，并提高了模型响应的一致性和多样性。Meta 公司称，Llama 3 不仅保留了其仅用于解码器的转换器架构，还包含了一个更高效的标记器，这也使得它的整体性能得到了显著提高。根据 Meta 的描述，这些模型的训练组合涉及数据并行化、模型并行化和流水线并行化，横跨两个专属设计的 24K GPU 集群，未来还计划扩展到可容纳 350K H100 GPU。
Meta Llama 3的特点
● 显著增加的训练tokens (15T) 允许 Meta Llama 3 模型能够更好地理解语言的复杂性。
● 扩展的上下文窗口（8K）使 Llama 2 的容量翻倍，使模型能够从长篇文章中获取更多信息，以进行明智的决策。
● 使用基于 Tiktoken 、词汇量为 128K 个tokens 的新标记器，可支持每个 token 编码更多字符。Meta 在英语和多语言基准测试中表现更好，巩固了其强大的多语言能力。
了解有关新型 Llama 3 型号的更多信息。
🔗 https://ai.meta.com/blog/meta-llama-3/
应用场景
● 推荐在计算资源有限的情况下使用 Meta-Llama-3-8B 预训练和指令微调模型，可提供更快的训练时间（适用于边缘设备）。它适用于文本摘要、分类、情感分析和翻译等用例。
● Meta-Llama-3-70B 预训练和指令微调模型针对内容创作和对话式人工智能，为更加细致的任务提供了更深层次的语言理解能力，例如那些需要细致的文本摘要、分类、语言建模、对话系统、代码生成和指令跟踪的研发和企业应用。
#02
扩展视野：Meta Llama 3现已作为 Azure 国际版 AI 模型即服务正式可用
2023年11月，我们在 Azure 国际版 AI 模型目录上推出了 Meta Llama 2模型，标志着我们首次尝试提供模型即服务（MaaS）。随着对我们不断扩展的模型即服务产品的需求日益增长，企业和中小企业的众多 Azure 客户已在其组织内迅速开发、部署和运行了企业级生成式人工智能应用。
Llama 3的发布表明了我们的坚定承诺，即利用 Azure 国际版 AI 优化基础设施的规模、实现从开源到专有模型的全方位功能，并增强企业利用生成式 AI 技术构建未来的能力。
Azure 国际版 AI 提供各种先进且用户友好的模型，使客户能够基于应用需求选择最切合的。在过去的六个月中，我们通过与领先的生成式人工智能模型提供商合作，并发布了 Microsoft Research 的 Phi-2，将模型目录扩展了七倍。Azure 国际版 AI 模型目录允许开发人员从 1,600 多个基础模型中进行选择，包括来自 Meta、Cohere、Databricks、Deci AI、Hugging Face、Microsoft Research、Mistral AI、NVIDIA、OpenAI 和 Stability AI 等行业领导者的 LLMs 和 SLMs 模型。如此丰富的选择可确保 Azure 客户在 Azure 国际版 AI 模型目录上找到最适合其用例的模型。
#03
在 Azure 国际版 AI 模型即服务中使用 Meta Llama 3D 的优势是什么？
使用 Meta Llama 3模型的开发人员可以与 Azure AI Studio 国际版中的工具无缝配合，例如 Azure AI Content Safety、Azure AI 搜索和提示流，以增强道德和有效的 AI 实践。以下是 Meta Llama 3 与 Azure、Azure 国际版 AI 和模型即服务（Models as a Service）顺利集成和强大支持系统的一些主要优势：
● 增强的安全性和合规性：Azure 非常重视数据隐私和安全性，采用微软的全面安全协议来保护客户数据。通过在 Azure AI Studio 国际版上使用 Meta Llama 3，企业可以放心运营，因为他们知道自己的数据始终运行在 Azure 云的安全范围内，从而提高了隐私保护和运营效率。
● 内容安全集成：客户可以将 Meta Llama 3 模型与 Azure AI Content Safety 提供的内容安全功能集成，从而实现更多负责任的人工智能实践。这种集成有助于开发更安全的 AI 应用，确保生成或处理的内容符合合规性和道德标准。
● 简化 LLM 流程评估：Azure 国际版 AI 的提示流允许评估流，这有助于开发人员通过计算指标来衡量 LLM 的输出与给定标准和目标的匹配程度。该功能对使用 Llama 3 创建的工作流非常有用；它可以使用 groundedness（基础性）等指标进行综合评估，该指标可以衡量模型在使用检索增强生成（RAG）模式时根据输入源做出响应的相关性和准确性。
● 客户端集成：您可以在各种客户端中使用 API 和密钥。在大语言模型（LLM）工具中使用提供的 API，如prompt flow、OpenAI、LangChain、LiteLLM、使用 curl 的 CLI 和 Python 网络请求。
● 简化部署和推理：开发人员可以通过带有按需付费推理 API 的模型即服务部署 Meta 模型，从而利用 Llama 3 的强大功能，而无需管理 Azure 环境中的底层基础设施。您可以在 Azure Marketplace 上查看 Meta-Llama-3-8B-Instruct 和 Meta-Llama-3-70B-Instruct 模型基于输入和输出 token 用量的定价。
这些功能表明，Azure 致力于提供一个环境，让企业能够高效、负责任地利用 Llama 3 等人工智能技术的全部潜力，在推动创新的同时保持高标准的安全性和合规性。
#04
立即在 Azure 国际版 AI 模型即服务上使用 Meta Llama 3
要开始使用 Azure AI Studio 国际版并部署您的第一个模型，请按照以下详细步骤进行：
●熟悉环境：如果您是第一次使用 Azure AI Studio 国际版，请先阅读此文档，了解基础知识。
🔗 https://learn.microsoft.com/zh-cn/azure/ai-studio/what-is-ai-studio?tabs=home
● 查找模型：使用过滤器选择 Meta 集合，或单击模型即服务公告卡上的“查看模型”按钮。
● 选择模型：从列表中打开Meta-Llama-3-70B文本模型。
● 部署模型：点击“部署”并选择按需付费（PAYG）的部署选项。
● 订阅并访问：订阅该服务以获得对模型的访问权限（需支付使用费），然后继续部署。
● 探索 Playground：部署后，您将自动重定向到Playground。在这里，您可以探索模型的功能。
● 自定义设置：调整上下文或推理参数，以微调模型的预测以满足您的需求。
● 程序化访问：单击“查看代码”按钮获取API、密钥和代码片段。这样，您就能以编程方式访问和集成模型。
● 与工具集成：在大语言模型（LLM）工具中使用提供的 API，如 prompt flow、Semantic Kernel、LangChain 或其他任何支持 REST API 的工具，利用基于密钥的身份验证进行推断。
#05
展望未来
最新 Meta Llama 3 模型的推出了坚定了我们扩展人工智能的使命。随着我们不断创新和扩展模型目录，我们承诺提供易于访问、功能强大且高效的人工智能解决方案，通过从开源到专有的全系列模型选项，为开发人员和企业赋能。
#06
在 Azure 国际版上构建 Meta Llma 3
我们诚挚的邀请您，在 Azure 国际版 AI 模型目录中使用最新的 Meta Llama 3模型，并尝试将最先进的人工智能技术集成到您的应用中。
#07
常见问题解答
在 Azure 国际版上使用 Meta Llama 3模型的费用是多少？
您需要根据提示（prompt）和完成令牌（completions tokens）的数量付费。部署模型时，您可以在市场（Marketplace）报价详细信息信息中查看 Cohere 报价。您还可以在 Azure Marketplace 上找到定价：
● Meta-Llama-3-8B-Instruct
🔗 https://aka.ms/azure-marketplace-offer-llama-3-8b-chat
● Meta-Llama-3-70B-Instruct
🔗 https://aka.ms/azure-marketplace-offer-llama-3-70b-chat
在单个端点后纵向扩展/缩减使用Llama 3模型需要 Azure 订阅中的 GPU 容量吗
不需要，Llama 3模型是作为 API 提供的。
Llama 3 已在 Azure Marketplace 上发布。我可以直接从 Azure Marketplace 购买和使用 Llama 3 吗？
Azure Marketplace 支持 Llama 3 的购买和计费，但购买体验只能通过模型目录访问。尝试从Marketplace 购买 Llama 3模型将重定向您到 Azure AI Studio 国际版。
鉴于 Llama 3 是通过 Azure Marketplace 计费的，它是否会计入我的Azure消费承诺（也称为MACC）？
是的，Llama 3 是“符合 Azure 权益”的市场产品，具备 MACC 资格。
● 了解有关 MACC 的更多信息
🔗 https://learn.microsoft.com/zhcn/marketplace/azure-consumption-commitment-benefit
我的推理数据是否与 Meta 共享？
不会，微软不会与 Meta 共享任何推理请求或响应数据的内容。
Azure 国际版上的 Meta 模型有速率限制吗？
Meta 模型每分钟最多支持200,000个令牌和每分钟最多支持1,000个请求的限制。如果这不够，请联系Azure 客户支持。
Meta模型是否针对特定区域？
可以在 AI Studio 国际版项目中创建 Meta 模型 API 端点，并将其连接到 EastUS2 中的 Azure 机器学习工作区。基本上，只要在 EastUS2 中创建了 API，就可以在任何 Azure 区域使用它。
我可以微调 Meta Llama 3 模型吗？
暂时还不能。
