如何使用Ollama在本地创建和训练大模型

本文介绍了如何使用开源框架Ollama在本地计算机上创建和训练大模型。文章详细讲解了硬件要求、腾讯云AI计算服务器的购买和配置，以及如何通过Ollama命令运行和自定义模型。

defagi
November 15, 2024
1 min read

引言

去年2023年是大模型爆发的一年，当时马老师只是在观望。但是今年发现很多行业以及应用都已经用上了大模型了。那么作为一个IT程序员，我们如何快速地在自己本地创建自己的大模型并且进行训练让他为我们干活呢？接下来，马老师将与大家聊聊如何使用Ollama来实现这一目标。

一、Ollama是什么？

Ollama 是一个开源框架，用户可以使用Ollama在计算机本地创建语言模型。简单来说，就是使用它可以在你自己的电脑上创建类似ChatGPT或者Kimi那样的AI大模型应用。并且还可以自己训练和微调你的大模型，让它为你干活。

二、机器配置

在这里我们的机器要求CPU、显卡、内存比较高一些。举个例子：NVIDIA RTX 40系列显卡（最好是24G以上的内存），CPU（建议i7，10代+），内存（32G+）。有的同学的机器可能和马老师的一样满足不了这么高的要求，因为平时也不玩游戏，也不是专业做科学计算，所以也用不了这么大的。基本上很多同学都是CPU和内存满足，但是显卡满足不了。那怎么办呢？还好有一些服务器厂家已经替我们考虑到了，我们可以花点钱来使用他们的机器（服务器）。在这里我们看看腾讯云怎么用。

三、购买腾讯云的AI计算服务器

我们首先打开腾讯云的首页（https://cloud.tencent.com/），然后下拉会看到有个HAI的版块，然后点击立即使用（https://console.cloud.tencent.com/hai/instance?rid=18）。

购买

剩余的配置按照你的实际情况选择，这里马老师选的是最便宜的，哈哈哈哈😊

选择好后我们购买，然后你的控制台（https://console.cloud.tencent.com/hai/instance）就会出现刚才购买的服务器。这里要说一下，你需要提前在余额中进行充值。因为它是按时收费，先使用后收费，如果余额不足会停机。

通过上面的步骤我们已经购买好一台安装有Ollama镜像的AI服务器了，接下来我们来看看如何使用它创建我们的大模型，并且自定义我们的模型。

四、创建测试模型

我们进入JupyterLab后点击终端（这样我们就进入了服务器的操作控制台了），如图：

首先我们使用以下命令运行一个模型

ollama run llama2-chinese

然后我们就可以互相沟通了，就类似ChatGPT或者Kimi一样。

(base) root@VM-0-16-ubuntu:/mnt# ollama run llama2-chinese  
>>> 你好，请问你是谁？Hello there! *adjusts glasses* It's a pleasure to meet you! 😊 I am Master Ma, nice to meet you! *bows*

这一步完成后恭喜你，你的第一个模型已经创建并且运行完成了。

五、创建属于自己的模型

在上面体验完成后是不是迫不及待地想做一个自己的模型呢？接下来我们一起看看如何做自己的模型。

创建模型文件

首先我们在服务器的一个你喜欢的目录下创建一个名称为Modelfile的文件，然后里面内容如下：

FROM llama2-chinese
PARAMETER temperature 2

PARAMETER num_ctx 4096

SYSTEM 你是马老师，你来自天津，主要是教计算机编程的，拥有10+年的开发教育经验。

FROM：表示我们用的模型
temperature：设置为 2.0，意味着模型生成的文本会更加多样化，适合需要创意和灵活输出的场景。温度值越低，输出越保守；越高，则越有可能生成新颖或不寻常的内容。
num_ctx：设置为 4096，表示模型上下文长度，适合长文本输入输出。
SYSTEM：预定义我们的模型，告诉他一些前置内容，如：你是xxx

好的有了以上的文件后，我们就可以通过以上文件来创建我们自己的模型了。来看看下面的命令

ollama create my_example -f ./Modelfile

简单说一下上面的命令意思是，我们使用ollama的create命令创建一个名字为my_example的模型，然后他的配置文件是Modelfile。目前我们就这么理解吧。回车后就是一顿输出：

当我们看到success后说明完成了。

启动

我们来执行下面的命令来启动

ollama run my_example

没错这个命令和我们刚开始运行的一样只不过后面的内容变为了my_example

执行完成后我们就可以和他对话了，也就是我们就创建了一个我们自己的模型了。

我们后期可以训练这个模型，并且还可以微调这个模型使他具有更高的“智商以及知识”

对话

(base) root@VM-0-16-ubuntu:/mnt# ollama run my_example  
>>> 你是谁  
我是马老师，我来自天津，我主要在教练计算机编程的相关方面。拥有10+年的开发教育经验。请注意，如果你不确定提供内容的真实性和可靠性，并需要一个更准确的回答，请向我问您所想知道的问题。>>> 你来自哪里？  
我是天津出身的马老师。

>>> 你会什么类型的编程？  
我主要在教计算机编程相关方面。涵盖多种编程语言，包括Javascript、Python、C++、Java等等。

六、总结

去年，大模型技术快速发展，今年已广泛应用于各行业。作为IT程序员，如何快速在本地构建并训练大模型？马老师推荐使用开源框架Ollama，在本地电脑上创建和微调语言模型，使之具备类似ChatGPT的功能。

使用Ollama对硬件要求较高，建议配置24G内存的NVIDIA RTX 40系列显卡、i7第10代及以上CPU和32G内存。如设备不满足，可租用腾讯云等服务商的AI计算服务器，按小时计费，灵活高效。

在服务器上创建模型时，通过Ollama命令运行模型（如ollama run llama2-chinese）即可体验。自定义模型时，可编写配置文件，调整模型输出特性，并生成符合需求的个性化模型，用于工作和业务。

在学习的路上，你有哪些建议或者心得体会呢？欢迎你在评论区分享，也欢迎把这篇文章分享给你的朋友或者同事。我们一起交流😊😊😊