因此，我们推出了“AI in Action”专栏，该专栏为 AI 提供了一个直观、有趣且简洁的用例，以解释如何使用 AI 并激发人们思考。
我们也欢迎读者可以自己做的创新用例。
4 月 18 日，Meta 发布了 Llama 3，它被称为“迄今为止最强大的开源模型”。根据 Meta 的数据，Llama 3 在几个关键基准测试中的表现优于行业领先的同行，在代码生成等任务中全面领先。该模型能够进行复杂的推理，更多地遵循指令，能够将想法可视化并解决许多微妙的问题。
这
开源 Llama 3 系列模型包括 8B（80 亿个参数）和 70B（700 亿个参数）参数大小的版本。作为开源社区的“全村希望”，《骆驼3》一经发布就吸引了众多网友参与“试驾”活动。今天，我们将推出一款令人印象深刻的应用程序——在 Raspberry Pi 5 上运行 Llama 5 3B，价格不到 100 美元！
Raspberry Pi 系列是世界上最知名的紧凑但功能强大的迷你 PC，具有更强大的第 5 代版本和新的定制芯片。X 网友@adamcohenhillel发现 Llama3 8B 在 Raspberry Pi 5 上可以以每秒 1.89 个代币的速度运行，这太疯狂了！支持 8K 上下文窗口。
让 Llama3 向世界问好，Llama3 迅速回应：“嘿，世界！今天大家过得怎么样？“，在短短11.6秒内。对于在 Raspberry Pi 等设备上运行大型模型，对于某些实时应用程序来说，这已经是一个很好的响应时间。
视频链接：
@adamcohenhillel没有给出如何在 Raspberry Pi 5 上运行 Llama 3 8B 的详细步骤，但他推荐了在 Raspberry Pi 7 上运行 Mistral 5B 的操作指南。
需要注意的是，由于移动设备、嵌入式系统或边缘计算设备的硬件资源有限，4 位量化可以显著降低模型的大小和计算要求，从而可以在这些设备上运行大型模型。该用户还使用了 4 位定量推理 Llama3 8B。
以下是在 Raspberry Pi 5 上运行大型语言模型 Mistral 7B 的方法。
首先，确保您拥有至少 5GB RAM 和 8GB SD 卡的 Raspberry Pi 32。接下来，我们需要在硬件上安装操作系统。从官网下载树莓派操作系统，运行后会看到以下画面：
请选择设备 Raspberry Pi 5，选择最新的操作系统映像（推荐 64 位版本），然后选择要存储的 SD 卡。单击“下一步”，系统将询问您是否要编辑设置，请单击“编辑设置”。
通过启用主机名并将其设置为 raspberrypi.local，设置您将记住且稍后需要的用户名和密码，启用“配置 Wi-Fi 网络”并添加您的 Wi-Fi 名称和密码来配置设置。保存设置并继续，等待操作系统写入 SD 卡
将 SD 卡插入 Raspberry Pi 并将其连接到电源。使用 SSH（Secure Shell）协议远程连接并登录 Raspberry Pi 设备
ssh ssh @raspberrypi.local
好了，现在你已经在Raspberry Pi上构建了一个适合运行大型语言模型的环境，是时候把它们加载进去了！如何加载？作者提供了两种方法。
一种是使用 Ollama 运行大型语言模型。Ollama 是一个开源工具，它提供简单的安装说明和命令行界面，可以更轻松、更快速地在本地运行大型语言模型。
另一种是使用 llama.cpp 运行，这是一种用 C++ 编写的高效推理工具，用于在 CPU 上运行 Meta AI 的 Llama。
让我们从第一个选项开始。使用 Ollama 运行大型语言模型只需两个步骤。
步骤 1：安装 Ollama 并运行以下命令：
卷曲 -fsSL | sh
该命令从 Ollama 官网下载安装脚本，并执行该脚本以在 Raspberry Pi 上安装 Ollama。
第 2 步：下载并运行 Mistral 模型。使用命令 ollama run mistral 下载并启动 Mistral 7B 模型。结束。
第二种方法使用 llama.cpp 来运行大型语言模型，比第一种方法复杂一些。
第 1 步：安装必要的软件包。打开命令行工具并输入以下命令以更新软件包列表并安装一些所需的编程工具和库
sudo apt update && sudo apt install git git g++ wget build-essential
第 2 步：下载llama.cpp。使用 Git 控件工具下载llama.cpp代码库，该代码库旨在运行大型语言模型。命令为：
git 克隆
光盘llama.cpp
将代码从 GitHub 克隆到本地并切换到下载的目录。
第 3 步：编译llama.cpp。
输入 make -j 可让 make 工具自动将源代码转换为可执行程序。
第 4 步：查找并下载 Mistral 7B 模型。命令为：
CD型号
WGET的
第 5 步：回到代码库的根目录并运行模型，现在您可以让它回答“怎么了？”等等。就是这样，结束了。
光盘 ..
./main -m models/mistral-7b-v0.1.Q4_K_S.gguf -p “Whatsup？” -n 400 -e
未来，我们将通过新栏目带来更多的AIGC案例演示，也欢迎大家留言，提出改进建议。
