0
点赞
收藏
分享

微信扫一扫

litellm 配置embedding 模型

大南瓜鸭 2024-09-03 阅读 52

litellm 对于embedding模型的配置实际与普通模式的配置是一样的,embedding 有特定的,同时chat 模型也都有embedding 能力

参考配置

通过proxy 模式

model_list:
  - model_name: text-embedding-ada-002
    litellm_params: 
      model: ollama/michaelborck/refuled
      api_base: http://localhost:11434
      api_key: demo

- model_name: text-embedding-ada-002

说明

目前ollama 官方也提供了不少专用embedding 模型,详细的可以参考链接

参考资料

https://litellm.vercel.app/docs/embedding/supported_embedding
https://ollama.com/blog/embedding-models
https://ollama.com/library/nomic-embed-text

举报

相关推荐

LiteLLM

Embedding

0 条评论