2024中国生成式AI大会丨云天励飞如何打破大模型应用的“三角约束”

导读 小枫来为解答以上问题。2024中国生成式AI大会丨云天励飞如何打破大模型应用的“三角约束”,这个很多人还不知道,现在让我们一起来看看吧~.~...

小枫来为解答以上问题。2024中国生成式AI大会丨云天励飞如何打破大模型应用的“三角约束”,这个很多人还不知道,现在让我们一起来看看吧~.~!

  4月18日至19日,由智东西联和智猩猩发起主办的2024中国生成式AI大会在北京JW万豪酒店召开。

  云天励飞“云天天书”大模型技术负责人余晓填博士受邀出席18日下午大模型专场论坛,并发表主题演讲《多模态大模型演进与落地应用探索》。

  会上,余晓填博士从人工智能的演进历程为切入点,介绍国内外大模型技术的发展概况,以及大模型技术落地的三个阶段和六大挑战。以算法芯片化平台为基础,云天励飞推出了自主研发的大模型“云天天书”,以及AI边缘训推芯片DeepEdge10。上个月,云天励飞正式推出边缘训推一体产品“深目”AI模盒,致力于大模型在场景落地最后一公里问题。

  “算法芯片化”突破技术应用的“三角约束”

  从2022年ChatGPT问世以来,国内外大模型项目“井喷式”发展,创新应用层出不穷。伴随着大模型产业规模的快速增长,探索商业化路径,成为当下重点。

  余晓填博士在演讲中提到,大模型技术落地面临着“三角约束”——精度、成本、效率。

  通过“算法芯片化”的核心技术,云天励飞突破了“三角约束”。在算法芯片化平台支撑之下,云天励飞实现了四大创新:

  1. 自研的Space推理引擎,提升了推理速度50%以上。

  2. 分布式自适应稀疏缓存解码,减少了GPU需求50%。

  3. 可伸缩的大模型训练技术:通过深度和宽度扩展,训练效率翻倍,成本降低50%。

  4. 神经网络处理器与推理芯片:适配多种深度学习架构,Chiplet技术解决了工艺对算力掣肘的问题。

  通过这四大创新技术,云天励飞自研大模型“云天天书”不仅在各类榜单中屡获第一,并且在应用中也取得良好表现。目前,“云天天书”已在政务民意速办、公文智写、警务视频语义检索、城市道路CT巡检、企业员工培训等领域落地应用。

  致力于推动大模型“平民化”

  上个月,云天励飞还推出了边缘训推一体盒子——“深目”AI模盒,可实现“3个90%”,即覆盖场景超过90%、算法精度超过90%、使用成本降低90%,解决了大模型在落地场景的最后一公里问题。让人人都能够根据自身场景需求,利用大模型能力,训练出可实战应用的算法,让大模型唾手可得。

  未来,云天励飞将以更大力度投入到多模态大模型的技术和应用创新中,为更多行业带来更便捷、高效、低成本的大模型体验。

来源:云天励飞

以上就是关于【2024中国生成式AI大会丨云天励飞如何打破大模型应用的“三角约束”】的相关内容,希望对大家有帮助!

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除,多谢。