您的当前位置:首页正文

Qwen2.5-3B-Instruct-GGUF部署

2023-06-01 来源:帮我找美食网

注册账号:

 

 等一会:

部署好了:

立即使用:

您部署的服务提供OpenAI API接口,可通过OpenAI SDK进行调用。请确保您的服务处于正常运行状态,并预先安装OpenAI SDK:

pip install openai

在本地新建一个py文件:

from openai import OpenAI

model_id = 'Qwen/Qwen2.5-3B-Instruct-GGUF'

client = OpenAI(
    base_url='https://hangzhou.fcapp.run/v1',
    api_key='ollama'
)

response=client.chat.completions.create(
    model=model_id,
    messages=[{"role":"user", "content":"你好,能帮我介绍一下杭州吗?"}],
    stream=True
)

for chunk in response:
    print(chunk.choices[0].delta.content, end='')

运行py文件之后就可以输出message相应的回答啦:

相关文章:

因篇幅问题不能全部显示,请点此查看更多更全内容

热门图文

Top