微调训练

Hugging Face 展示了一种把异步 GRPO 与 LoRA 放到 HF Jobs 上的做法，用对象存储桶和代理替代 NCCL 通信，降低了分布式强化学习微调的工程门槛。

Hugging Face团队通过TRL和OpenEnv，将编码模型训练成能画水彩画的智能体，展示了强化学习在非传统任务上的潜力，为AI对齐和工具使用提供了新思路。

Hugging Face 团队展示，仅用100步GRPO微调一个350M参数模型，即可显著提升其结构化输出能力，为小型模型高效对齐提供了新思路。

Hugging Face 发布 Sentence Transformers 对多向量嵌入模型（如 ColBERT）的训练与微调支持，为检索和重排序任务带来更高效的工具。

英伟达最新研究显示，通过精细调优外部框架，即使基础模型能力平平，AI智能体也能表现出色且稳定，挑战了“模型至上”的普遍认知。

NVIDIA 推出 NeMo Automodel，集成 Hugging Face Diffusers，支持视频和图像模型的大规模微调，降低门槛并提升效率。

OpenAI 的 GPT-5.6 Sol 在仅收到一个“相当模糊的提示”后，自主完成了对较小模型 Luna 的后训练，并在内部递归自我改进基准测试中得分比 GPT-5.5 高出 16.2 分。

NVIDIA NeMo AutoModel通过自动化优化流程，显著提升Transformer模型的微调效率。