跳转至

LLM Model

导言

Foudation Models(One4All): General pre-training model

LLM path ，generative-ai-for-beginners

LLM Research path

1

to read: https://wandb.ai/vincenttu/blog_posts/reports/A-Survey-of-Large-Language-Models--VmlldzozOTY2MDM1

https://www.linkedin.com/pulse/evolution-generative-ai-deep-dive-life-cycle-training-aritra-ghosh

https://medium.com/predict/chatgpt-gpt-4-gpt-5-and-llm-b32c3d03275e

LLM Parameters Size

7B，70B to GPU memory?

B是10亿的单位，全精度是32位，也就是4字节。More in detail.

\[ 7B * 4 Byte = 28 * 10^9 Byte = 28 GB\]

Tranformer

LLM News

GPT-3（自回归模型）

gpt iterative evolution

  • GPT的全称是Generative Pre-Trained Transformer。
    • 2017年，OpenAI(2015年成立)提出GPT论文
      • 2018.6 推出GPT1 1.2亿
      • 2019.11 推出GPT2 15亿 。这时OpenAI没钱了，非盈利组织变收益封顶的盈利组织，微软注资10亿美元
      • 2020.6 推出GPT3 1750亿，这时没有人工反馈，导致参数量再增大，效果也无法提升了。
      • 2022.3 推出GPT3.5
      • 2022.11 推出ChatGPT
      • 2023.4 推出GPT-4, 虽然诞生于22年8月，OpenAI经过8个月的时间来确保对齐后才发布。
  • GPT核心原理：根据前面输入的语句，推测下一个字是什么
    • GPT 拥有一张包含了五万个单词的词汇表，它会基于互联网上的海量文本，大致了解每个单词后面可能会跟着哪些单词，并给出相应的出现概率。
  • GPT模型的生成过程核心是
    • 先通过无标签的文本去训练（无监督学习）生成语言模型，
    • 再根据具体的NLP任务（如文本蕴涵、QA、文本分类等），来通过有标签的数据对模型进行fine-tuning微调（有监督学习、人工反馈的强化学习）。
  • 它与ELMO一样，仍然是用语言模型进行无监督训练的，但是它用了特征提取能力更强的Transformer，并且是单向的Transformer。

GPT-3 模型的参数量达到 1750 亿，即便拥有 1024 张 80GB A100， 那么完整训练 GPT-3 的时长都需要 1 个月。

2021年1月，OpenAI官宣了120亿参数的GPT-3变体DALL-E。 多模态可以实现语言到图像的转化。

ChatGPT

  • 使用了GPT-3.5大规模语言模型（LLM，Large Language Model），
  • 并在该模型的基础上引入强化学习来Fine-turn预训练的语言模型。这里的强化学习采用的是RLHF（Reinforcement Learning from Human Feedback），

  • 即采用人工标注的方式。目的是通过其奖励惩罚机制（reward）让LLM模型学会理解各种NLP任务并学会判断什么样的答案是优质的（helpfulness、honest、harmless三个维度）。

  • 部分有趣的原理：关于token和无法反转字符

  • 意义

    • chatGPT貌似打通了机器理解人类自然语言的屏障，表面上能理解人们的意思。
    • 如果机器能直接理解人类的目的，就不需要编程人员来实现我们的想法，可以让chatGPT理解并自主实现，AutoGPT的出现就是如此，去掉了对目的实现方式的深究，直接获得AI结果的方式。就是AIGC的核心。
    • 这也激发了人们对AGI的畅想，期待着会自主思考(思维链CoT与常识)并学习进化的AI。
  • 带来的思考
    • 记忆力特别好，会找规律，但是不明白自己在说什么的小孩。(数学逻辑欠缺，如何修正？)
      • 不理解真实世界，没有真正在“回答”问题，只是在模仿人类的语言行为
    • 大力出奇迹，以及NLP+强化学习的方式能够取得很好的表现。
    • 当无监督学习的数据量增大到一定到程度，有监督学习就算变少也不会影响模型效果。
      • 到了GPT-3，当参数到达了1750亿以后，更是突然出现了诸如思维链等特性。
  • 缺点
    • 准确度(胡说 （人工标注强化学习过。过于专业或者网上缺少的知识，chatgpt难以回答
    • 据对齐和伦理性
    • AI 生成的东西会污染网络
    • transform 绝对不是AGI的基础模型，不是未来。
  • 关于最佳模型的讨论 - 2023北京智源AI大会
    • Transformer不会是超强AI的模型架构，大语言模型（LLM）不理解世界运转逻辑，更强的AI模型应具备对现实世界的无监督学习能力
    • 自回归模型”(Auto-regressive model)没有关于基础现实的知识，既缺乏常识也没法规划答案

如何使用LLM：

  1. (L)借助庞大的数据库： 头脑风暴
  2. (LM)语言模型
    1. 办公辅助，生成书信论文格式，谦卑语气的检讨书
  3. 整合版本的搜索引擎
    1. 快速入门概念：不熟悉的领域的基本操作( 如何写简单前端，关于这一点的准确性，由于是入门的问题，也能精确解决
  4. 模板或者格式化的工作 ，不再只限于重复工作
    1. 如何使用新编程语言，如何爬虫。

GPT-5 / 6

OpenAI 已经在尝试用AI训练(面临崩溃问题)和解释AI，并且直接从世界中学习

世界模型？

论文： A Path Towards Autonomous Machine Intelligence

通过世界模型，AI可以真正理解这个世界、能预测和规划未来。通过成本核算模块，结合一个简单的需求（按照最节约行动成本的逻辑去规划未来），它就可以杜绝一切潜在的毒害和不可靠性

这个未来如何实现？世界模型如何学习？杨立昆只给了一些规划性的想法，比如还是采用自监督模型去训练，比如一定要建立多层级的思维模式。他介绍了联合嵌入预测架构（JEPA），系统性地介绍了这一实现推理和规划的关键

参考文献

  1. Harnessing the Power of LLMs in Practice A Survey on ChatGPT and Beyond ↩

评论