GPT-4 信息遭到泄露，2200 亿个参数的专家模型，斥资6300万美元

7月12日报道丨7月11日，OpenAI 旗下的 GPT-4 大量模型架构、训练成本、数据集等大量信息被泄露。SemiAnalysis 发布了一篇付费订阅的内容，揭秘了有关 GPT-4 的更多信息。文章称，他们从许多来源收集了大量有关 GPT-4 的信息，包括模型架构、训练基础设施、推理基础设施、参数量、训练数据集组成、token 量、层数、并行策略、多模态视觉适应、不同工程权衡背后的思维过程、独特的实现技术以及如何减轻与巨型模型推理有关的瓶颈等。

一直以来，大家都对 GPT-4 的信息非常好奇。奈何 OpenAI 嘴太严，很长时间以来，大家也都只是猜测这些数据。而在不久之前，天才黑客乔治・霍兹（George Hotz）在接受一家名为 Latent Space 的 AI 技术播客采访时透露出一个小道消息，称 GPT-4 是由 8 个混合专家模型组成的集成系统，每个专家模型都有 2200 亿个参数（比 GPT-3 的 1750 亿参数量略多一些），并且这些模型经过了针对不同数据和任务分布的训练。

注意到他的发言向我们透露出一个重要信息：GPT-4架构他们的构建的信息是可复制的，Google、Meta、Anthropic、Inflection、Character、腾讯、字节跳动、百度等在短期内都将拥有与GPT-4一样强大的模型。

不过这并非官方确认的数据，准确性有待考量。会为大家持续关注报道。