PokerStars扑克官网

中国企业初次实现ChatGPT级模型端侧部署 手机离线也能用AI

一家国产AI芯片企业今日颁布了业界首个在手机端本地运行的ChatGPT级大模型规划。该规划能够在不联网的情况下,在手机上运行130亿参数的大说话模型,响应速度达到每秒30个token。

这一突破依赖于两方面的技术创新:一是高效的模型压缩技术,将正本必要数十GB显存的模型压缩到4GB以内且机能损失不超过5% ;二是专用的AI加快芯片,提供了壮大的端侧推理算力。

端侧大模型的最大优势是隐衷 ;。用户的对话数据齐全在本地处置,不会上传到云端服务器。这对于涉及贸易机密、医疗隐衷等敏感场景尤为沉要。

多家手机厂商已确认将鄙人一代旗舰机当选取该规划。分析师预测,端侧AI将成为2027年智能手机的主题卖点,推着手机行业的新一轮换机潮。

免责申明:本内容来自腾讯平台创作者,不代表腾讯新闻或腾讯网的概想和态度。

有关推荐

热点利用推荐

腾讯新闻·电脑版
全网热点早知路

精选视频

前海自贸试验区两项试点政策执行 首单业务落地

作者其他文章

?
顶部
【网站地图】