有一块RX 5600,想用来做一些AI方面的小实验,但是ollama官方默认不支持老款AMD显卡,不过还要有一些民间改版可以用。
分享一下win10系统下具体的实操过程以及一些坑。
废话不多说,以下是具体步骤:
1、运行ollama后,先右键图标,view log一下。
查看server.log文件,找到大约第八行,有一条msg“amdgpu is not supported”,这就代表当前显卡不被支持。然后再看后边具体的显卡型号,比如我的是gpu_type=gfx1010:xnack- 。ok,记下来即可。
2、退出ollama,然后到github找到“ollama-for-amd”这个项目(https://github.com/likelovewant/ollama-for-amd),直接去release里找到最新的版本下载。
下载安装版或者压缩版都可以,就是一个覆盖过程。我下载的是解压版。找到ollama具体的安装目录,然后把压缩包里的东西直接覆盖到安装目录下即可。
3、然后再到github找“ROCmLibs-for-gfx1103-AMD780M-APU”这个项目(https://github.com/likelovewant/ROCmLibs-for-gfx1103-AMD780M-APU),到release中下载最新版。
当然,最好看一下具体支撑自己gpu type的版本。我的最新版有支持,所以直接下最新的。下载完毕后解压,找到ollama安装目录,直接将解压文件copy至对应的目录下。
4、重新运行ollama,再看下server.log文件。
还是第八行,如果有看到name参数后有自己显卡的具体名称,则代表已经支撑了。
然后随便运行一个模型,然后用ollama ps命令看一下,如果有看到processor有类似“39%/61% CPU/GPU”,那就确定GPU有参与到运行了。如果还是100%CPU,那就是失败,再找原因吧~
好了,至此可以跑下具体模型,观察下gpu占用情况了。
有一些使用上的感受/坑,记录下。
1、整体速度上有变快,但显卡整体还是拉胯,能有多明显也谈不上,跑一下小模型(比如:deepseek14b)可能还能看出来,跑稍微大一些的(如:openai的oss20b)那还是挺慢的。
2、大模型一定要装在ssd中!机械硬盘的载入速度太慢了!
3、如果ollama有升级,建议不要更新!当然,这个比较难。目前没有特别好的办法。
方法1:将ollama目录设置为只读。不过这会影响日志写入,并产生其它问题。
方法2:防火墙层面断掉ollama的互联网链接。这个问题就是载入模型后无法联网了。不过如果纯本地模型的话,这个倒也OK。
总之,如果有更新导致amd显卡支持问题,那就按照上述办法覆盖一遍吧。
4、整体来说AMD显卡——尤其老显卡的模型运行效率不太行,玩儿AI的话,还是建议换N卡吧~