最强的开源大语言模型Llama3已经发布，一些用户询问是否AirLLM可以支持在本地仅使用4GB显存运行Llama3 70B模型。答案是肯定的。 让我们开始吧。

此外，Llama3的表现与GPT-4相比如何？Llama3使用了哪些关键的前沿技术使其变得如此强大？**Llama3的突破是否意味着开源模型已经正式超越了闭源模型？**今天，我们也将给出我们的解读。

如何仅使用4GB内存的单GPU运行Llama3 70B

Llama3的模型架构没有改变，所以AirLLM实际上已经可以完美运行Llama3 70B了！ 甚至可以在MacBook上运行。

首先，安装AirLLM：

    pip install airllm

然后你只需要几行代码：

    from airllm import AutoModel  
    MAX_LENGTH = 128  
    model = AutoModel.from_pretrained("v2ray/Llama-3-70B")  
    input_text = [          
      '美国的首都是哪里?'      
    ]  
    input_tokens = model.tokenizer(input_text,      
      return_tensors="pt",       
      return_attention_mask=False,       
      truncation=True,       
      max_length=MAX_LENGTH,       
      padding=False)  
      
    generation_output = model.generate(      
      input_tokens['input_ids'].cuda(),       
      max_new_tokens=20,      
      use_cache=True,      
      return_dict_in_generate=True)  
      
    output = model.tokenizer.decode(generation_output.sequences[0])  
    print(output)

参见我们 GitHub 仓库的更多详细信息 这里。

请注意：它不是为像聊天这样的实时交互场景设计的，更适合用于数据处理和其他离线异步场景。

与GPT4相比如何？

根据官方评估数据和最新的lmsys排行榜，Llama3 70B与GPT4和Claude3 Opus非常接近。

官方评估结果：

官方评估指标

lmsys排行榜结果：

撰写本文时的lmsys排行榜

当然，更合理的比较应该是将同样规模的400B模型与GPT4和Claude3 Opus进行比较：

与仍在训练中的400B进行比较

Llama3 400B 已经非常接近 GPT4 和 Claude3 的最强版本，而且它仍在训练中。

Llama3的核心改进是什么？

Llama3的架构没有改变；在训练方法上有一些技术改进，例如基于DPO的模型对齐训练。

DPO 已经基本上成为所有顶级排行榜上大型模型的标准训练方法——它确实有效！ 我们之前写过详细介绍 DPO 的文章，并且所有代码都开源了 here。

当然，Llama3的主要关键秘诀在于其训练数据的数量和质量有了巨大的提升。 从Llama2的2T增加到了15T！AI就是关于数据！

数据的改进不仅在于数量，还在于质量。Meta 进行了大量的数据质量过滤、去重等操作。并且很多工作都是基于使用大型模型如 Llama2 来筛选和选择数据。

请注意：这个15T是在经过严格过滤和清理之后的数据量。在过滤之前，数据量可能超过100T。

训练AI模型的核心是数据。要训练一个好的AI模型，关键不在于拥有许多花哨的训练技术，而在于扎实、细致地做好基础工作。尤其是那些不那么吸引人、繁琐且枯燥的数据质量工作——这些实际上是非常重要的。

我一直很看好Meta AI的能力。从早期使用变压器的判别式AI开始，Meta AI就以其坚实的数据处理基础而闻名，推出了许多长期处于SOTA（最先进水平）的经典模型，比如我们长期使用的Roberta和Roberta XLM。

Llama3的成功是否预示着开源模型的崛起？

开源与闭源之间的较量可能还远未结束，还有很多戏剧性的情节即将上演。

无论开源还是闭源，训练大型模型都已经成为一场烧钱的游戏。15T的数据和4000亿参数的模型已经不是小玩家能够承受得起的了。我认为在接下来的六个月内，许多从事大型模型开发的小公司将会消失。

说到烧钱竞赛，真正比拼的是长期变现能力和效率。 实际上，时至今日，真正实现盈利的AI LLM应用仍然很少。很难说谁能持续投入，又将以何种方式实现。

从纯粹的技术角度来看，我们一直认为开放文化对于AI至关重要。近年来AI的快速发展离不开AI社区的开放和共享文化。即使在公司内部，是否能够维持一个开放共享的环境，并持续进行透明开放的思想交流，是其AI发展的重要因素。一个对外界非常封闭的公司，内部也很可能不够开放透明，这最终会阻碍其AI技术的快速发展，也无法真正建立一支顶尖团队。

我们将继续关注最新和最酷的AI技术，并继续分享开源工作。欢迎关注我们，敬请期待！