Wireless sensing and communication for space exploration in areas inaccessible to human often suffer from severe performance degradation due to the cryogenic effects on the transmitters’ circuits. To survive extreme temperatures, programmable radio frequency (RF) power amplifiers (PA) can be built into the transmitter, and intelligent PA controllers need to be integrated into the system to interact with the environment and restore the PA’s functionalities. This problem can be modeled as the controller acts (control the PA) in an environment to maximize the reward (signal quality), and it is most suitable to use reinforcement learning as a solution. This paper presents a cryogenic and energy-efficient reinforcement learning (RL) module on Field Programmable Gate Arrays (FPGA) that can directly program the PA. By characterizing a self-healing PA in a liquid nitrogen environment, we generated an RF signal data set and built an interactive RL environment to model the PA’s behaviors across its configurations and cryogenic temperatures down to −197°C. We developed a deep RL model with a high generalization capability introduced by the neural networks to control the PA and restore its performance. The RL model with fixed-point training and inference is implemented on FPGA to survive the cryogenic conditions and carry out fast and low-power training and inference for PA control. All functionalities of the programmed FPGA operate correctly in the cryogenic testing environment.

中文翻译：

---

用于自愈低温功率放大器控制的 FPGA 深度强化学习

由于发射机电路的低温效应，在人类无法到达的区域进行太空探索的无线传感和通信常常会遭受严重的性能下降。为了承受极端温度，可以将可编程射频 (RF) 功率放大器 (PA) 内置到发射机中，并且需要将智能 PA 控制器集成到系统中，以与环境交互并恢复 PA 的功能。这个问题可以建模为控制器在环境中行动（控制 PA）以最大化奖励（信号质量），并且最适合使用强化学习作为解决方案。本文提出了一种基于现场可编程门阵列 (FPGA) 的低温节能强化学习 (RL) 模块，可直接对 PA 进行编程。通过表征液氮环境中的自愈 PA，我们生成了 RF 信号数据集并构建了交互式 RL 环境，以对 PA 在其配置和低至 −197°C 的低温下的行为进行建模。我们开发了一种具有高泛化能力的深度强化学习模型，通过神经网络引入来控制 PA 并恢复其性能。在 FPGA 上实现具有定点训练和推理功能的 RL 模型，以适应低温条件，并为 PA 控制进行快速、低功耗的训练和推理。已编程 FPGA 的所有功能在低温测试环境中都能正常运行。我们生成了 RF 信号数据集并构建了交互式 RL 环境，以对 PA 在其配置和低至 −197°C 的低温下的行为进行建模。我们开发了一种具有高泛化能力的深度强化学习模型，通过神经网络引入来控制 PA 并恢复其性能。在 FPGA 上实现具有定点训练和推理功能的 RL 模型，以适应低温条件，并为 PA 控制进行快速、低功耗的训练和推理。已编程 FPGA 的所有功能在低温测试环境中都能正常运行。我们生成了 RF 信号数据集并构建了交互式 RL 环境，以对 PA 在其配置和低至 −197°C 的低温下的行为进行建模。我们开发了一种具有高泛化能力的深度强化学习模型，通过神经网络引入来控制 PA 并恢复其性能。在 FPGA 上实现具有定点训练和推理功能的 RL 模型，以适应低温条件，并为 PA 控制进行快速、低功耗的训练和推理。已编程 FPGA 的所有功能在低温测试环境中都能正常运行。在 FPGA 上实现具有定点训练和推理功能的 RL 模型，以适应低温条件，并为 PA 控制进行快速、低功耗的训练和推理。已编程 FPGA 的所有功能在低温测试环境中都能正常运行。在 FPGA 上实现具有定点训练和推理功能的 RL 模型，以适应低温条件，并为 PA 控制进行快速、低功耗的训练和推理。已编程 FPGA 的所有功能在低温测试环境中都能正常运行。