EdgeAIGC新突破:TD3算法助力边缘缓存命中率大幅提升41%以上

   发布时间:2025-07-29 03:08 作者:沈瑾瑜

近年来,随着ChatGPT、Sora、Stable Diffusion等人工智能生成内容(AIGC)工具的兴起,算力需求急剧攀升,全球推理请求量持续增长,云端延迟问题日益凸显。

面对这一挑战,一个创新的解决方案应运而生。广州大学、清华大学与浪潮集团携手,提出了一种将大型AIGC模型切割成“模块化组件”的新方法,利用TD3算法实现实时组装,旨在优化计算需求的同时,确保服务质量不受影响。

该研究的重点在于,在边缘计算的有限存储空间、带宽和计算资源条件下,如何减少用户模型服务请求的响应时间与成本。这一创新框架被命名为EdgeAIGC,并于2025年7月4日在《Digital Communications and Networks》期刊上发表。

EdgeAIGC框架由云服务中心、边缘服务层和用户层构成。云服务中心配备高性能云服务器,存储了多种预训练的AIGC模型,如文本转语音、文本转换等,虽能满足所有用户推理服务请求,但成本和时间消耗较高。

为解决这一问题,研究者设计了包含云服务器(CS)和边缘服务器(ES)的网络架构,其中CS与ES的计算资源以A800 GPU数量表示。考虑到用户关注的效率与成本,以及运营商的成本利润,研究者致力于优化所有请求服务的平均响应时间与成本。

为了实现这一目标,研究者引入了TD3算法。在资源分配中,带宽、计算资源等均为连续变量,TD3算法擅长处理连续动作空间问题,并对高维状态空间具有良好的适应性。通过学习最优连续动作策略,TD3算法能够确定最佳缓存决策和资源分配方案,同时引入延迟更新策略网络机制,确保策略网络更新稳定。

在研究中,问题被形式化为马尔可夫决策过程(MDP),包括状态空间、动作空间和奖励。TD3算法架构包含六个神经网络,通过Actor和Critic网络抑制Q值过估,延迟更新策略网络防止震荡。实验表明,TD3算法对学习率的设置要求较高,但通过双评论家网络和延迟更新策略,显著提高了学习效率和稳定性,相比DDPG算法,在奖励优化方面提高了约1.72%。

随着用户数量的增加,模型命中率也随之提升。在此过程中,TD3算法的模型命中率始终优于其他基准算法,与DDPG、GCRAS、PCRAS相比,最大改善率分别为41.06%、50.93%、57.85%。

EdgeAIGC框架结合动态模型流行度,实现了边缘服务器的模型缓存决策及带宽和计算资源的协调分配。这一创新方法不仅提高了模型命中率,还为边缘计算与AIGC的融合提供了新的思路,有望在未来推动相关技术的发展与应用。

 
 
更多>同类内容
全站最新
热门内容
本栏最新