买过树莓派和香橙派,用来试验LLM效果,供参考。

树莓派

型号:树莓派5,8G内存版,ubuntu 22.04系统

树莓派5的CPU信息(lscpu)

使用llama.cpp运行qwen2.5的模型,使用OPENBLAS编译,效果如下:

  • 使用qwen2.5-3b模型,q5_k_m量化
  • 使用qwen2.5-1.5b模型,q8_0量化
  • 使用qwen2.5-0.5b模型,q8_0量化

香橙派

型号:香橙派Zero 2W,4G内存版,ubuntu 22.04系统

香橙派zero w2的CPU信息(lscpu)

使用llama.cpp运行qwen2.5的模型,未使用OPENBLAS编译(主要是没成功安装OpenBLAS库),效果如下:

  • 使用qwen2.5-3b模型,q5_k_m量化
  • 使用qwen2.5-1.5b模型,q8_0量化
  • 使用qwen2.5-0.5b模型,q8_0量化

其他

  • 按道理应该用树莓派zero 2w对比香橙派zero 2w,但是树莓派zero 2w只用512M内存,跑不起来,就算了。
  • 按道理对比树莓派5的,应该是香橙派5 pro,但是还在纠结买多大内存的,毕竟香橙派可以选择4G、8G还有16G,所以暂时还没出手。

作者:Super璐璐
链接:https://www.zhihu.com/question/275307174/answer/39630275073
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。