OpenAI开源模型,需要16GB存储

2025-08-07
阅读量 1432

据闪德资讯获悉,OpenAI在8月5日宣布两款开源推理模型,包括gpt-oss-120b与gpt-oss-20b,其中gpt-oss-120b可在80GB的GPU执行,而gpt-oss-20b需16GB存储,能在边缘设备顺利执行,并有趋近OpenAI 03-mini的表现。

高通宣布Snapdragon旗舰平台能够执行gpt-oss-20b,并强调可通过Ollama轻量级开源LLM框架与Snapdragon平台,开发者与企业可在搭载Snapdragon平台设备端执行包括网页搜索等创新应用。

图片

开发者通过Hugging与Ollama等热门AI平台,搭载高通Snapdragon旗舰平台的设备存取与执行gpt-oss-20b,同时在Qualcomm AI Hub公布更多相关信息。

通过对gpt-oss-20b的Early-Access,以及与Qualcomm AI Engine、Qualcomm AI Hub的整合测试,虽然gpt-oss-20b仅有20B级参数,但依靠专家混合模型架构,展现出色的设备端思维链路推理,也意味着能更进一步实现设备端具有丰富功能的AI助手,并具备隐私与低延迟优势。

gpt-oss-20b是属于专家混合(MoE)技术,降低执行所需参数的Transformer架构模型,gpt-oss-20b实质上为21B参数,并由32种模型整合而来,实际字元启动参数仅使用当中的3.6B参数,但系统仍需要具备可载入21B参数的存储。

目前高通并未列出能够执行gpt-oss-20b的Snapdragon平台,但从OpenAI所公布的要求,显示需要搭配16GB存储的设备才能执行,意味着当前仅有12GB存储的平台可能无法执行。

点击此处关注获取最新资讯!

f328f6db93164f84bb23c090c28e7db.png88c1a0acd98aa6023fcbfa1f2ebf421.png


1.本文整理自网络,如有侵权,请联系删除。

2.所刊内容仅代表作者观点,非闪德资讯立场。

我的评论

登录后评论

最新评论

渠道报价
查看更多

D4/32G-DDR 4

  • 一年
  • 半年
  • 三个月
  • 一个月

微信订阅

APP下载

存储未来,赢得先机

18126200184

Copyright©2008-2025 闪德资讯 版权所有 粤ICP备18080549号-1

粤公网安备 44030402002744号