5.十分钟在本地实现Deepseek R1 70B免费对话

我们需要使用Groq的免费APIKey.Groq是一家专注于AI芯片和高性能计算的公司,服务于云计算厂商,部署有很多开源模型,并在官网上提供免费的APIKEY可供调用,其中就包括最近大火的deepseek模型.目前deepseek的服务经常出现问题,硅基流动提供的高版本deepseek也是收费的,groq提供的deepseek是70B版本,虽然不是最高版,但是也足够平常使用,且groq本身是提供高性能服务的,它部署的deepseek返回速度也比其他厂商的更快.

在《1.十分钟实现免费本地大模型对话框》这篇文章中,介绍利用google的
apikey实现大模型对话的本地部署.这里只需要将大模型的连接方式更改下就可以

原来的google api连接方式

from langchain_google_genai import ChatGoogleGenerativeAI
llm = ChatGoogleGenerativeAI(model="gemini-1.5-flash", google_api_key=google_api_key,transport="rest")

改为

from langchain_groq import ChatGroq
llm = ChatGroq(model="deepseek-r1-distill-llama-70b")