来源:AICG工具箱 责编:网络 时间:2025-06-08 07:24:40
6月8日报道 |AI模型的计算成本
生成式AI模型的推理和训练成本取决于模型的大小和类型。大部分流行的模型采用了基于transformer架构的设计,例如GPT-3、GPT-J和BERT等。尽管transformer的具体推理和训练操作数量是特定于每个模型的,但可以通过一个相对准确的经验法则来估算,该法则仅取决于模型的参数数量、输入和输出令牌的数量。
令牌是短序列,通常对应于单词或单词的一部分。通过使用在线令牌生成器,可以很好地了解令牌的概念。以GPT-3为例,平均令牌长度为4个字符。
对于具有p个输入参数和每个长度为n个标记的输出序列的模型,前向传递(推理)大约需要2np浮点运算(FLOPs)¹。同一模型的训练每个标记大约需要6*p FLOPs(即,额外的向后传递需要另外四次操作²)。通过将此乘以训练数据中的标记数量,可以估算出总训练成本。
此外,transformer的内存要求也取决于模型的大小。对于推理,需要p个模型参数来适应内存。而对于训练,需要为每个参数存储额外的中间值。通过使用更短的浮点数,如16位浮点数,可以优化推理和训练的内存需求。
以下是几种流行模型的大小和计算成本示例。以GPT-3为例,它具有约1750亿个参数,对于输入和输出的1024个令牌,计算成本约为350万亿次浮点运算(即Teraflops或TFLOPs)。像GPT-3这样的模型的训练大约需要3.14*10^23次浮点运算。
计算资源挑战与优化
AI基础设施非常昂贵,因为底层算法问题在计算上非常困难。与使用GPT-3生成单个单词相比,对拥有数百万条目的数据库进行排序,其复杂性微不足道。在选择模型时,需要选择能够满足用途的最小模型。
好消息是,对于transformer,可以很容易地估计特定大小的模型将消耗多少计算和内存资源。因此,在选择硬件时,需要仔细考虑。
AI公司面临的计算资源挑战以及计算成本高的原因。AI模型的计算成本取决于模型的大小和类型,而生成式AI模型的推理和训练成本是关键因素。了解这些挑战和优化策略有助于更好地理解AI领域的计算资源问题,并为AI公司的发展提供指导。
本地SD部署速度一直被大家诟病,本次视频就给大家分享Tensorrt插件是如何秒变“5090”,让你的显卡生图速度提升4倍!
近日,谷歌又摊上了美国社会最敏感的「种族政治正确」问题,这一次,追求多元性的谷歌,没有惹恼有色人种,而是惹到了白人族群。Gemini 1 5生成历史人物的图像,竟然诞生了一个平行时空的荒诞感十足的新宇宙。?
在这个时代里,不是模型越大越好,而是更加贴合实际应用场景的小型化、定制化模型正在成为主流。
DeepL 发布了新一代面向翻译和编辑应用的大型语言模型。据 DeepL 官方称,该模型在翻译质量和流畅度方面均优于当前市场上的其他竞争对手。
TensorRT插件安装_TensorRT插件怎么提升SD生图速度_stable diffusion插件
阿里“通义听悟”升级:支持6小时超长视频内容解析提问,还可一键生成巨幅思维导图
MJ怎么批量出图_怎么用MJ批量生图
苹果与OpenAI合作,发布新版Siri与生成式AI功能丨马斯克宣布将禁用iPhone丨OpenAI百万年薪挖角谷歌芯片人才
快手APP上线首个AI社交技能:「AI小快」聊天机器人,成为评论区的欢乐喜剧人
华为HDC 2024大会将发布盘古大模型5.0丨谷歌Gemini手机版将迎来多项功能更新丨马斯克xAI计划融资60亿美元
苹果WWDC定档6月10日将发布AI战略丨中国时报:苹果与百度尚未达成AI合作丨抖音发布AI数字人治理公告
OpenAI CEO奥特曼最新讲话汇总,再次曝光GPT-5细节:性能飞跃超乎想象,低估它的人都会被吓傻
李开复:最好的AI大模型已经达到人类平均智商的三倍,“杀手级应用”已经出现
重磅!英伟达正式官宣「AI核弹级」芯片B100,性能比H100强两倍的H200将于2024年第二季度出货