大模型整理（large language models survey）

基座大模型

GPT系列

2022年底，ChatGPT开启了大模型时代的序章。

  • GPT-4 Technical Report:具备更强的推理能力，且能够融合图像信息。
  • InstructGPT
  • ChatGPT: ChatGPT是InstructGPT的姊妹模型，只是在数据收集和基座模型上有轻微差异。

LLaMA

LLaMA只使用开源数据预训练，在较小的模型参数下取得了相近的效果。
LLaMA 拥有7B, 13B, 33B and 65B 4种模型参数，模型开源但不可商用。