Paper Digest: DP-SSL
DP-SSL: Towards Robust Semi-supervised Learning with A Few Labeled Samples
💡 巧妙融合数据编程（Data Programming）与半监督学习，攻克了极低资源下模型崩溃的难题，仅凭个位数标注样本即可实现极具鲁棒性的 SOTA 分类性能。
🚨 1. The Problem: 半监督学习的“确认偏差”
半监督学习（SSL）的初衷是为了节省标注成本。但现有的主流 SSL 框架（如 FixMatch 等）都有一个致命的前提：它们仍然需要“适量”的初始黄金标注样本来冷启动。
核心痛点：脆弱的自我欺骗
当初始标注样本“极度稀缺”（例如每个类别只有 2-4 个样本）时，SSL 极易产生“确认偏差（Confirmation Bias）”。模型早期预测产生的错误伪标签会被后续的迭代不断放大，导致整个模型朝着错误的方向狂奔，最终彻底崩溃。
当初始标注样本“极度稀缺”（例如每个类别只有 2-4 个样本）时，SSL 极易产生“确认偏差（Confirmation Bias）”。模型早期预测产生的错误伪标签会被后续的迭代不断放大，导致整个模型朝着错误的方向狂奔，最终彻底崩溃。
🚀 2. The Breakthrough: DP 与 SSL 的强强联合
为了给容易“跑偏”的 SSL 加装一道强有力的护栏，我们提出了 DP-SSL 架构：
- 数据编程生成软标签: 引入数据编程（Data Programming, DP）机制，利用启发式规则、字典匹配等廉价弱信号源，自动为无标签数据生成初始的概率标签，极大扩充了可用监督信号的绝对基数。
- 鲁棒的一致性正则化: 设计了一套高度抗噪的半监督训练引擎。它能够智能甄别 DP 软标签的置信度，过滤噪音，并结合自监督一致性学习，稳步提升特征提取层的表达能力。
📈 3. Key Results: 业务与实验价值
极限资源下的王者表现：
在极低资源设置下（例如每类仅有 4 个标注样本，共几十个样本的极限情况），DP-SSL 展现了极其惊艳的鲁棒性，彻底碾压了传统的纯 SSL 基线。这项工作为“弱监督专家知识如何系统性纠偏深度学习”提供了重要的学术见解。
在极低资源设置下（例如每类仅有 4 个标注样本，共几十个样本的极限情况），DP-SSL 展现了极其惊艳的鲁棒性，彻底碾压了传统的纯 SSL 基线。这项工作为“弱监督专家知识如何系统性纠偏深度学习”提供了重要的学术见解。