防不胜防:AI几米外隔空窥屏:HDMI线把信号泄露到空气里了

通过显示器数据线泄露的电磁信号，黑客竟能远程窃取屏幕上的内容，令人防不胜防。

具体来说，HDMI数据线的电磁辐射会将部分显示信号泄漏到周围空气中。原本问题不大，但结合AI技术就能逆向还原出原始画面。

乌拉圭共和国大学工程学院的研究团队提出了一种端到端模型，专注于文本恢复，能够将从泄露信号（如HDMI）中还原的字符错误率（CER）降至约30%。

比如对照下方图片，最右为原始屏幕内容，中间为模型最终输出结果。

与模拟信号（如VGA）相比，数字信号（如HDMI）更难恢复，因为10位编码导致带宽增大，信号与像素强度之间呈非线性映射。

而降至这一水平后，原文内容基本能够被解密。

为更直观地理解，来看团队演示的其中一种攻击方法。

简而言之，团队使用天线拦截HDMI电磁信号，再借助AI尝试“复原”原始数据。

好家伙，最后的还原度简直令人心惊！

01 用上了AI模型

具体是如何实现的？相关研究论文已发表在arXiv上。

首先，团队用天线捕捉HDMI电缆和连接器发出的电磁波。

接下来，利用SDR（软件定义无线电）设备接收这些电磁信号，并将其转换成数字样本。这些样本包含原始视频信号的信息，但同时也可能混入噪声和失真。

然后，使用gr-temest等软件工具对SDR捕获的信号进一步处理，提取出图像数据。

此步骤包括滤波、采样率调整等操作，旨在尽可能恢复图像的原始形态。

最后，将处理后的信号输入一个AI模型，该模型能够识别并增强图像中的关键特征，从而提升清晰度和可读性。

概括而言，整个过程包括捕获电磁信号、使用开源软件处理信号、利用端到端模型进一步优化。

可见，这项研究的关键提升在于最后引入了深度学习技术。

团队采用深度残差UNet（DRUNet），这是一种编码器-解码器结构的卷积神经网络，适用于图像恢复任务。

通过优化网络结构与训练过程，DRUNet显著提升了图像恢复质量，尤其在文本可读性方面。

02 错误率下降约60%

那么，这一端到端模型的具体表现如何？

为进行测试，他们构建了一个包含约3500个样本的数据集，其中约1300个为真实捕获信号，其余为模拟信号。

真实样本通过实验设置获得，模拟样本则基于分析模型使用GNU Radio模拟器生成，这些数据用于训练和评估模型。

研究显示，在真实数据集上，使用复数样本的Pure Model在所有评估指标（PSNR、SSIM、CER）上均表现最佳。

具体而言，使用原始图像幅度的传统gr-tempest方法在真实数据集上的CER超过90%，而Pure Model（使用复数样本）的CER降至35.3%。

同时，在合成数据上训练的模型在真实数据上可能会遇到性能下降问题。

不过，通过模型微调（Fine-Tuning），即便只用10%的真实样本，也能达到与使用全部真实样本训练的Pure Model相近的性能。

为验证鲁棒性，模型采用了不同采样率和显示器分辨率，结果表明部分配置变化可能导致性能显著下降。

虽然团队用新模型大幅提高了HDMI“破解率”，但为预防风险，他们同时提出了相应对策。

通过在显示器图像上添加低级噪声或使用背景渐变，可以有效降低攻击成功率。

为防范此类攻击，研究团队建议在显示器图像上添加低级噪声或使用背景渐变，相关开源数据可供进一步研究。

参考链接：

[1]https://www.tomshardware.com/tech-industry/cyber-security/ai-can-snoop-on-your-computer-screen-using-signals-leaking-from-hdmi-cables

[2]https://x.com/papers_anon/status/1813145993334100015