职贝云数AI新零售门户

标题: 每天一个AI大模型——Llama [打印本页]

---

作者: WYW6u9    时间: 昨天 18:26
标题: 每天一个AI大模型——Llama

假如说有一个大模型彻底改变了AI范畴的开放生态，那非Llama莫属。由Meta（原Facebook）公司推出的Llama系列，以其完全开源、功能杰出的特性，成为全球开发者、研讨人员构建AI运用的首选基石，被誉为大模型界的Linux。

Llama是Meta AI发布的一系列开源大型言语模型。Llama这个名字风趣又好记，但它的影响力远不止于此。

出身名门：由顶尖的科技巨头Meta孵化，享有弱小的算力、数据和研讨支持，确保了其技术的前沿性。开源革命者：从第一代末尾，Meta就选择了完全开源的道路。这意味着其模型权重（即模型的知识）对学术研讨和商业运用收费开放（需遵守特定答应协议）。这极大地降低了AI研讨和运用的门槛。生态核心：正因如此，Llama成为了整个开源AI生态的母模型。有数优秀的衍生模型（如中文优化的、医学专业的、代码公用的）都是在Llama的基础上微调而来，构成了一个繁荣的Llama家族生态。

从Llama 1到Llama 3


Llama家族在疾速迭代中不断打破功能极限。

模型版本	次要特点与历史意义
Llama 1 (2023.2)	开启开源新时代。初次证明，在精心清洗的高质量数据上训练，较小规模的模型（如130亿参数）也能媲美甚至超越更大规模闭源模型的才能，引发行业震动。
Llama 2 (2023.7)	走向成熟与适用。模型规模扩展至70B，上下文长度提升至4K，并收费开放用于商业用途。同时推出了与人类价值观对齐的对话微调版本 Llama-2-Chat，适用性大增。
Llama 3 (2024.4)	确立顶级竞争力。发布了8B和70B两个参数版本，功能完成宏大飞跃。在推理、代码、指令遵照等核心基准测试中，片面比肩甚至超越GPT-3.5、Claude 3 Sonnet等同时代顶级闭源模型，将开源模型推向了新的高度。

Llama 3


Llama 3是目前相对的主力，了解它就了解了当下开源模型的最强实力。
模型规格与功能


Llama 3提供了不同尺寸的模型以顺应多样化的需求。

特性	Llama 3 8B	Llama 3 70B
参数量	80亿	700亿
定位	效率王者	功能旗舰
关键优势	在较小模型中提供了惊人的功能，可在消费级GPU（如RTX 4090）上高效运转，呼应速度快。	具有顶尖的推理、知识和复杂义务处理才能，在各项评测中与第一梯队闭源模型并驾齐驱。
适用场景	终端设备部署、疾速原型验证、对延迟敏感的运用、个人开发者与研讨。	高功能服务器部署、复杂的知识问答、深度代码生成与逻辑推理。

次要技术特征


Llama 3的成功源于一系列扎实的技术创新：

高质量数据与规模化的训练：运用了超过15万亿token的庞大训练数据，全部来自公开来源，并经过极其精细的过滤和清洗，数据质量是此前模型的7倍。优化的模型架构：

采用了更高效的 Grouped Query Attention，在保持功能的同时分明降低了计算开支。将上下文长度扩展到8,192个token，并计划推出更长的版本，以处理更长的文档和对话。运用了 RoPE地位编码 的改进版本，更好地了解长文本中的地位关系。

指令精调与安全对齐：基于超过1000万条人类标注数据停止了监督微调和基于人类反馈的强化学习，使模型能更好地遵照指令、生成有用且安全的回复。

如何获取与运用Llama？

次要获取渠道

官方渠道：访问 Meta AI官网 或 Hugging Face模型库，在赞同答应协议后，即可直接下载模型权重文件。托管平台：经过 Replicate、Together AI 等在线平台直接调用API，无需本人部署硬件。本地工具：运用 Ollama、LM Studio 等傻瓜式桌面工具，可以一键在本地电脑（包括Mac）下载和运转Llama模型，并停止对话。

基础运用示例：经过Hugging Face Transformers库


对于开发者，运用以下Python代码可以疾速加载并运转Llama 3的8B模型（需先安装transformers, torch, accelerate库）：
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 加载模型和分词器
model_id = "meta-llama/Meta-Llama-3-8B-Instruct"# 运用指令精调版
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,  # 运用BF16精度节省显存
    device_map="auto",           # 自动分配模型层到可用GPU/CPU
)

# 预备对话提示词，遵照Llama 3特定的聊天格式
messages = [
    {"role": "system", "content": "你是一个乐于助人的AI助手。"},
    {"role": "user", "content": "用简单的言语解释一下什么是大言语模型。"}
]
input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

# 生成回复
terminators = [tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")]
outputs = model.generate(
    input_ids,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
response = outputs[0][input_ids.shape[-1]:]  # 提取重生成的回复部分
print(tokenizer.decode(response, skip_special_tokens=True))

Llama不只仅是一个弱小的AI模型，更是一场开源运动的旗帜。 它证明了开放的协作形式可以催生世界顶级的技术，极大地加速了全球AI创新的进程。无论是研讨者、开发者还是企业，都可以站在Llama这个巨人的肩膀上，构建属于本人的AI将来。

---

本期的分享就到这里啦，假如觉得上述内容有用，记得点赞关注哦～后面还会分享更多AI知识！

---

欢迎光临 职贝云数AI新零售门户 (https://www.taojin168.com/cloud/)

Powered by Discuz! X3.5