深度学习周报(6.22~6.28)

目录

摘要

Abstract

1 《Toward Large-Scale Distributed Quantum Long Short-Term Memory with Modular Quantum Computers》

1.1 研究背景

1.2 方法

1.3 创新点

1.4 实验结果及总结

2 总结


摘要

本周主要阅读了《Toward Large-Scale Distributed Quantum Long Short-Term Memory with Modular Quantum Computers》这篇文献,学习了解了分布式的量子神经网络结构、模块化的电路设计和阻尼振子实验等。

Abstract

This week, I mainly read the paper titled"Toward Large-Scale Distributed Quantum Long Short-Term Memory with Modular Quantum Computers", learning about distributed quantum neural network architectures, modular circuit design, and damped oscillator experiments, among other topics.

1 《Toward Large-Scale Distributed Quantum Long Short-Term Memory with Modular Quantum Computers》

1.1 研究背景

这篇论文的背景主要围绕 VQC/QLSTM 很有表达能力,但受限于硬件规模,无法扩展到大规模序列建模任务这个核心问题展开,主要表现为两部分。

一是序列建模的挑战。传统序列模型主要依赖 RNN 与 LSTM,但它们存在长序列依赖难以建模(梯度消失/爆炸)、计算复杂度随序列长度增长等问题,在复杂动力系统(如混沌系统)中表现有限。

二是随着 NISQ 设备发展,量子叠加与纠缠可能提升复杂函数拟合能力,并开始用于分类、生成模型、强化学习等任务,逐渐成为主流方法,但 NISQ 噪声严重,难以扩展到大模型。

1.2 方法

本文提出的核心方法是分布式量子 LSTM(Distributed Quantum LSTM),主要在经典 LSTM 的基础上做了以下几点变动。

首先,将经典 LSTM 的线性层替换为了 VQC,这一部分方法和之前那个卷积的差不多,就是替换的东西不一样,其中 VQC 先将输入进行编码,再进行量子变换,最后测量输出。

其次,是分布式量子架构,这也是最核心的部分。由于单个 VQC 的维度太大,容易导致电路深度爆炸,故论文将输入进行拆分,每一块输入都输入到一个在独立 QPU 上运行的小 VQC,最后再将输出结果进行融合。

对于训练,则采用经典加量子混合训练。

1.3 创新点

根据研究方法,可总结出它的创新点在以下几个方面。

第一,首次提出分布式量子 LSTM 结构;

第二,进行了模块化量子电路设计,由多个小 VQC 模块拼接而成,在降低电路深度的同时可以适配 NISQ;

第三,提出了多 QPU 并行架构。

1.4 实验结果及总结

论文主要做了两个任务。

第一个是阻尼振子,判断模型能不能学习连续的物理动态。发现普通的quantum LSTM 效果和收敛速度不稳定,而分布式 QLSTM 训练稳定、收敛快、同时预测很准。

第二个是NARMA序列,判断模型能不能学习长记忆与非线性复杂系统。发现单个量子 LSTM 表现波动很大,不稳定,而分布式 QLSTM 表现中等但稳定,不容易崩。

2 总结

本周主要看了一篇论文,都得也不算深入,感觉主要收获有两点,一是模块化的量子电路,二是实验部分的两个新实验,感觉后续可以学习一下。另外由于这两周期末周,各种考试所以复现一直耽误,希望下周不要再立flag了。