小米发布结构化数据大模型Xiaomi-TabLDM：开启表格数据Scaling Law
小米技术 · 软件开发
小米技术 2026-09-05 10:00 北京 今日，小米正式发布 Xiaomi-TabLDM：通用表格数据基础 大模型 。 Xiaomi-TabLDM 以 单一 预训练 模型、统一默认配置 直接适配不同表格数据集，无需针对每个任务重新训练、调参或后置集成，即可完成分类与回归预测。 长期以来，金融、医疗、制造、物流等领域的大量核心数据，都以表格形式存在。但传统表格机器学习通常需要针对 每一个新数据集重新训练、调参甚至集成模型 。存在需多次训练，不同版本管理等繁重的生产和部署代价。Xiaomi-TabLDM 希望将“一次预训练、跨任务使用”的基础模型范式进一步带入结构化数据。 基于此，Xiaomi-TabLDM 从 大规模 合成数据 预训练 、高效模型 Scaling 和 Test-Time Scaling 三个方向推进表格基础模型能力。让一个模型能够充分地利用不同数据集中的上下文信息，在控制实际计算开销的同时扩展模型容量，并进一步通过增加推理计算持续提升预测性能。 在四大公开基准上， Xiaomi-TabLDM 均跻身第一梯队。在回归与 二分类 任务上表现尤为突出 ：TALENT 二分类排名第一；OpenML-CTR23 回归榜排名第一； BCCO 总体排名第二；在 TabArena 回归任务排第二，并超过 TabPFN-3、AutoGluon 1.5 extreme、TabPFN-2.6、TabICL-v2 等强基线 在保持预测性能的同时，Xiaomi-TabLDM 也展现出良好的性能—效率权衡。 回归任务在四大公开基准的排名 目前， Xiaomi-TabLDM 相关模型权重与代码已正式开源 ，相关代码及模型权重： 代码： https://github.com/xiaomi-research/xiaomi-tabldm 权重： https://huggingface.co/occams/Xiaomi-TabLDM 技术报告： https://arxiv.org/abs/2609.03880 01 从“一表一模型”到“一次 预训练 、跨任务使用” 金融、医疗、制造、物流等大量真实世界场景中的核心数据，都以表格形式存在。长期以来，表格预测主要依赖 XGBoost、LightGBM、CatBoost 等传统机器学习方法，面对一个新的数据集，通常需要重新训练模型、调节超参数，甚至进行模型集成。 而表格数据基础模型正在推动这一范式发生变化：通过在大规模任务分布上进行预训练，一个模型可以直接利用新数据集中的标注样本作为上下文，理解当前任务并完成预测，而无需重新训练模型参数 。 这意味着，表格预测正在从过去的： “一个数据集，训练一个模型” 逐步走向： “一次预训练，一个模型适配不同数据集”。 Xiaomi-TabLDM团队希望进一步探索：表格数据能否像语言一样，通过 基础模型 获得跨数据集迁移能力，并随着模型、数据和推理计算的扩展，持续提升预测能力？ 02 三个方向，进一步扩展表格基础模型能力 Xiaomi-TabLDM 主要从三个方向进一步推进： 更大规模、更丰富的 合成数据 预训练 ，更高效的模型容量扩展，以及 Test-Time Scaling。 更丰富的 合成数据 预训练 。 Xiaomi-TabLDM 完全基于合成表格任务进行预训练，通过结构化生成不同的数据规模、变量类型、依赖关系和函数关系，扩大预训练数据所覆盖的任务分布，让模型提前接触更加多样的表格结构。 更高效的模型 Scaling。 Xiaomi-TabLDM 引入双流 Feature Group、轻量级 Attention Residual 和 Sparse Mixture-of-Experts：从不同粒度建模特征关系，在更深网络中选择性复用历史信息，并通过稀疏专家扩大模型容量，使性能提升不必伴随计算量同比增长。 进一步探索 Test-Time Scaling。 在保持预训练模型参数不变的情况下，Xiaomi-TabLDM 可以通过增加推理阶段的计算，利用不同特征排列、数据变换和预测视角产生互补结果，并根据当前数据集自适应选择和组合，从而进一步提升预测性能。 03 多任务、多规模覆盖， 四 大公开基准第一梯队 Xiaomi-TabLDM 在 TALENT、TabArena、BCCO、OpenML 四套公开 benchmark 上进行了系统评测，覆盖二分类、多分类和回归任务，以及从小规模到 10 万级样本的多种数据规模。 在四大公开基准的系统评测中，Xiaomi-TabLDM 展现出稳定的第一梯队性能。 回归能力尤为突出 ：在 OpenML-CTR23 上排名第一，在 TALENT、TabArena 和 BCCO Regression 上均排名第二。 Xiaomi-T