基于规划学习的视觉故事生成模型

  

近年来,视觉故事生成受到越来越多的计算机视觉和自然语言处理领域学者的关注。现有模型大多侧重于增强图像表示,例如引入外部知识、场景图等,虽然取得了一些进展,但生成的故事仍存在内容重复使用和细节描述少的问题。针对上述问题,提出了基于规划学习的视觉故事生成模型¹⁾,引入规划学习方法,从主题、对象、动作、地点、推理、预测6个维度设定对应的问题,利用视觉问答预训练语言模型生成答案,完成规划设计,引导视觉故事生成。模型分为4阶段:第一阶段从图片中提取视觉信息;第二阶段通过概念生成器抽取并选择相关概念;第三阶段利用预训练语言模型引导规划信息生成;第四阶段融合前3个阶段生成的视觉、概念和规划信息,完成视觉故事生成任务。在公开数据集VIST上验证所提模型的效果,与现有模型COVS相比,其在BLEU-1,BLEU-2,ROUGE_L,Distinct-3,Distinct-4和TTR指标上提升了1.58百个分点、2.7百个分点、0.4百个分点、2.2百个分点、3.6百个分点和5.6百个分点。… …   相似文献

王元龙;张宁倩;张虎 《计算机科学》2025,52(9):269-275

应用于边缘端视觉感知系统的低功耗片上缓冲存储器

下载全文  

视觉感知系统通过算法提取信息,但其能效受限于感知过程中数据转换与搬移的功耗开销。采用片上缓存实现边缘端系统中数据的存储与交互,通过减少对冗余信息的传输与搬运过程中的功耗,可有效降低系统的整体功耗。该研究提出了一种面向边缘计算的低功耗片上缓冲存储器(Cache)设计方案。该方案基于… …   相似文献

陈漠  张静  王艳蓉  麦麦提·那扎买提  乔飞 《电子与信息学报》2025,47(9):3116-3125

面向实时电力系统仿真的可扩展中央处理器-现场可编程门阵列异构集群

下载全文  

高频开关器件的大量接入,以及可再生能源与电压源型变流器(VSCs)的深度融合,使电力系统仿真面临微秒级暂态分析和亚微秒步长仿真的挑战。现有仿真器在应对包含数百个电力电子开关的系统时,普遍存在计算扩展性不足、通信延迟偏高的问题。为此,该文提出一种面向实时电力系统仿真的中央处理器-现… …   相似文献

杨航宇  汤勇明  刘济源  曹阳  邹德虎  许明旺  袁晓冬  韩华春  顾伟  李鹤 《电子与信息学报》2025,47(9):3353-3362

联合数据增强的语义对比聚类

下载全文  

随着数据采集与数据存储技术的飞速发展,各行业收集并存储了大量无标记的表格数据. 聚类分析是挖掘这类数据潜在分组结构的重要方法. 目前,处理表格数据的聚类方法多数仍然是传统聚类算法. 深度学习技术和大模型技术主要用于处理非结构化的图像、文本、语音等数据类型,其强大的表示能力和推理能… …   相似文献

李培文  李飞江  王婕婷  钱宇华 《计算机研究与发展》2025,59(9):2139-2151

基于工艺相关建模方法的三维结构快闪存储器残余应力不对称性分析及缓解策略

下载全文  

为进一步提升三维结构快闪存储器(3D NAND)架构的性能表现,行业内涌现出一系列水平与垂直微缩设计思路。这些创新设计方案在突破存储密度瓶颈的同时,也带来了新的集成挑战,其中制造过程中的热机械应力影响尤为突出,制约器件生产的良率及性能表现。该文基于局部代表性体积单元(RVE)有限… …   相似文献

崔翰文  高彦泽  张坤  王诗兆  田志强  郭宇铮  夏志良  张召富  霍宗亮  刘胜 《电子与信息学报》2025,47(9):3070-3080

面向长尾异构数据的个性化联邦学习框架

  

针对数据长尾分布和异构性引起的联邦学习模型性能下降的问题,提出了一种新的个性化联邦学习框架——平衡的个性化联邦学习(Balanced Personalized Federated Learning,BPFed),将整个联邦学习过程分为基于个性化联邦学习的表示学习和基于全局特征增强… …   相似文献

吴家皋;易婧;周泽辉;刘林峰 《计算机科学》2025,52(9):232-240

基于答案感知的BERT自回归藏文问题生成方法

  

问题生成(QG)是自然语言处理中一个具有挑战性的任务,其目标是根据不同类型的数据,生成语法正确且语义相关的问题。目前,融合答案信息的问题生成方法主要采用序列到序列的神经网络模型,但这些方法存在以下问题：(1)对RNN模型的依赖性高;(2)欠缺捕捉输入文本的语义信息;(3)缺乏对少… …   相似文献

杨毛加;柔特;才智杰;官却才让;才让加 《中文信息学报》2025,39(9):53-61

一种基于BRAM分段同步查表的测试向量编解码方案

下载全文  

基于ATE的集成电路制造测试是芯片产业链的重要一环,而逻辑测试向量的编解码及应用效率,对芯片的测试成本有着重要影响。因此,结合现代FPGA内集成高速BRAM的特点,该文提出一种基于分量统计的测试向量编码方案,用于将被测芯片的全部测试向量生成分量编码表文件。与此同时,设计了一种BR… …   相似文献

易茂祥  张佳桐  鲁迎春  梁华国  马利祥 《电子与信息学报》2025,47(9):3374-3384

基于交叉耦合结构的低开销高安全性PUF电路

下载全文  

物理不可克隆函数(PUF)作为芯片的唯一身份标识,在资源受限的物联网设备中应用前景广阔,但面临着硬件成本过高和其自身易受攻击而导致安全性不足的问题。该文基于双稳态电路的物理特性,提出一种交叉耦合结构的低开销、高安全性强PUF电路。首先,同时激活多个双稳态单元字线,指数级提升激励响应对数量;然后,利用异或树结构混淆多路PUF,提高PUF均匀性与抗攻击能力;最后,利用Virtuoso软件在TSMC 28 nm工艺下仿真验证,并分析其抗机器学习攻击能力与统计特性。实验结果表明,当机器学习训练集激励响应对数量达10⁴时,逻辑回归、支持向量机、人工神经网络等经典机器学习算法预测率均接近50%的随机猜测,且PUF电路的随机性、唯一性和可靠性等性能均表现良好,硬件开销低于传统仲裁器PUF(APUF),适合应用在低成本的物联网设备认证场景。… …   相似文献

汪鹏君  任明泽  陈博  胡双 《电子与信息学报》2025,47(9):3093-3103

一种基于近似陷门采样的可搜索加密方案

下载全文  

格上的公钥可搜索加密在确保外包数据的隐私性、机密性和灵活性方面发挥着重要作用,同时能够抵抗量子攻击. 大多数格上的公钥可搜索加密受限于底层原像采样算法,存在高存储开销或低效率的问题. 为了解决上述问题,首先提出了一种优化的公钥可搜索加密方案. 方案使用一种新的近似陷门采样算法提高… …   相似文献

戚丽君;庄金成 《计算机研究与发展》2025,62(9):2315-2329