要加载一个微调后的模型，而不是从头加载预训练的模型，你可以直接加载微调模型的参数（通常保存在一个 .pth 或 .pt 文件中）。假设你已经有一个微调后的模型文件，例如 consolidated.00.pth，以下是如何加载微调模型的步骤和示例代码。

步骤概述

1. 定义模型架构:

   • 在加载微调模型之前，你需要定义与你微调时使用的架构相同的模型实例。

2. 加载微调模型权重:

   • 使用 torch.load() 加载模型的状态字典。
   • 将加载的状态字典应用到模型实例中。

示例代码

import torch  
from transformers import LlamaForCausalLM, LlamaTokenizer  
# 模型和分词器的路径  
model_path = "/root/.llama/checkpoints/Llama3.2-3B-Instruct/"  
model_file = "consolidated.00.pth"  
# 初始化分词器  
# 确保 `tokenizer.model` 文件路径正确  
tokenizer = LlamaTokenizer.from_pretrained(model_path)  
# 初始化模型：根据你的模型架构实例化模型  
model = LlamaForCausalLM.from_pretrained('llama-init-checkpoint', config=...) # 请用实际的初始检查点替换  
# 加载微调的模型权重  
state_dict = torch.load(f"{model_path}{model_file}")  
# 加载权重到模型中  
model.load_state_dict(state_dict)  
# 确保模型设置为评估模式  
model.eval()  
# 模型准备与推断  
input_text = "你的输入文本"  
inputs = tokenizer(input_text, return_tensors="pt")  
output = model.generate(**inputs)  
# 解码生成的结果  
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)  
print(generated_text)  

详细说明

• 初始化模型架构:

  • 你需要因为微调是在某个预定义的模型架构上进行的，所以需要用相同的架构来实例化模型。这通常需要知道微调时的具体模型结构。

• 加载分词器:

  • 确保你的分词器能正确处理输入文本，可以从微调过程中使用的路径或模型配置加载。

• 评估模式:

  • model.eval()设置模型为评估模式，关闭 dropout 和 BatchNorm 的训练行为，以确保结果的确定性。

• 存储路径一致性:

  • 确保模型文件和路径在代码中一致地指定。

这段代码假设你有微调模型的权重文件和分词器模型文件。请根据具体情况调整路径、模型配置和其他相关参数。当使用 transformers 库时，调整模型加载过程以适应特定的模型和任务需求是常见的实践。