跳到正文
北京时间

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

279条精选相关主题论文研究部署工程模型发布

最新精选

第 201–220 条 · 共 279 条
5月11日周一
  1. HuggingFace Daily Papers(社区热门论文)71

    IndustryBench:探究大语言模型的工业知识边界

    研究团队发布IndustryBench,这是一个基于中国国家标准(GB/T)和工业产品记录构建的2049项中文工业采购问答基准,并提供了多语言对齐版本。构建中,基于外部搜索的验证环节拒绝了70.3%的大语言模型生成问题,凸显了仅靠模型过滤的不可靠性。对多语言模型的评估发现:最佳系统得分(0-3分制)仅为2.083分,提升空间巨大;“标准与术语”是普遍能力短板;扩展推理会因引入无依据的安全关键细节而降低多数模型的安全调整分数;安全违规检查会显著改变模型排名。研究表明,工业领域的大语言模型评估需基于源文本、具备安全意识,而非依赖简单的聚合准确率。

    推荐理由:工业采购场景下,LLM的准确率远不够用,而且推理模型越想越多反而越不安全,这个基准把幻觉和安全风险摆上了台面。

5月9日周六
  1. Apple Machine Learning Research(RSS)66

    Velox:学习4D几何与外观的表示

    Velox提出一个学习4D对象潜在表示的框架,该表示具备描述性、压缩性与易获取性。它仅需非结构化动态点云作为输入,通过编码器将时空彩色点云压缩为动态形状标记,并利用两个互补解码器进行监督:4D表面解码器建模随时间变化的表面分布以捕捉几何信息,高斯解码器则负责外观重建。该方法在保持高保真度的同时提升了下游任务的效率。

    推荐理由:苹果把动态点云的几何和外观塞进一个可压缩的latent space,思路干净但领域垂直,做3D视觉和AR的可以跟一下,其他人不用急着读。

  2. Hugging Face:Blog(RSS)72

    EMO:为涌现模块化预训练的专家混合模型

    EMO是一种新型专家混合模型,通过端到端预训练使模块化结构直接从数据中涌现,无需依赖人类定义的先验。该模型允许在特定任务中仅使用12.5%的专家子集(即8个活跃专家中的部分),同时保持接近全模型的性能;当所有128个专家共同使用时,它仍作为强大的通用模型。EMO具有1B活跃参数和14B总参数,训练数据达1万亿令牌。与标准MoE相比,EMO通过文档级路由约束,鼓励专家形成领域专业化组,从而支持选择性使用而不导致严重性能下降,实现了可组合架构,优化了大型稀疏MoE的内存-准确性权衡。

    推荐理由:EMO 让 MoE 专家从按词法分散进化到按语义域自然模块化,仅用 12.5% 专家就能接近全模型性能,对需要按需加载的大模型部署是真正的突破。

5月8日周五
  1. Hugging Face:Blog(RSS)58

    MedQA:基于AMD ROCm与LoRA微调Qwen3-1.7B的临床问答模型

    该项目使用AMD Instinct MI300X(192 GB HBM3显存)和ROCm,通过LoRA微调Qwen3-1.7B模型实现医学问答。训练仅用2000条MedMCQA样本,约5分钟完成,仅更新约220万参数(占模型总参数的0.1443%),全程采用fp16精度,无需量化。HuggingFace生态(Transformers、PEFT、TRL、Accelerate)在ROCm上无缝运行,无需修改代码即可直接替代CUDA。模型已上传至HuggingFace Hub并提供在线Demo。

    推荐理由:一个月前的教程了,但如果你是 AMD 党想跑医疗微调,这篇把坑都踩完了,代码直接能复现,LoRA 适配器也挂在 Hub 上,拿来就能用。

  2. Apple Machine Learning Research(RSS)69

    用于学习语义丰富视觉表征的文本条件JEPA

    研究人员提出文本条件联合嵌入预测架构(TC-JEPA),通过引入图像描述文本作为条件信息来降低掩码特征预测中的视觉不确定性。该方法采用细粒度文本调节器,对输入文本标记计算稀疏交叉注意力,从而调制预测的图像补丁特征。与基于掩码特征预测的I-JEPA相比,TC-JEPA能够学习到语义更丰富的视觉表征,解决了原有方法因视觉不确定性导致的语义学习不足问题。

    推荐理由:Apple 这篇 TC-JEPA 把文本融入自监督视觉预训练,用稀疏交叉注意力减少预测不确定性,对多模态表征学习是个不错的思路补充,做视觉模型的值得一看。

5月7日周四
  1. HuggingFace Daily Papers(社区热门论文)75

    反思强化学习对大语言模型推理的作用:是稀疏策略选择,而非能力学习

    研究发现,强化学习改进大语言模型推理时,并非教授新策略,而是对基础模型已掌握的解决方案进行概率重分配。其有效影响仅集中在1–3%的高熵决策token上,且所提升的token始终位于基础模型前5个备选之中。基于此,研究者提出无需强化学习的ReasonMaxxer方法,仅在熵选通的决策点施加对比损失,仅需数百次基础模型推演且无需在线生成。在多个模型和数学推理基准测试中,该方法达到或超越了完整强化学习的性能,而训练仅需数十道题目、数分钟的单GPU时间,成本降低约三个数量级。

    推荐理由:这篇论文直接挑战当前主流 RL 训练范式,认为 RL 只是在选择已有策略而非学习新能力,并给出千分之一成本就能追平的替代方案,做 reasoning 的同行可以认真读一下。

5月5日周二
  1. François Chollet73

    我撰写《Deep Learning with Python》旨在成为理解深度学习工作原理及最佳应用方式的权威指南。数以万计的人通过这本书开启了职业生涯。已售出12万册,更有数百万人下载阅读。 现在可以免费在线阅读:https://deeplearningwithpython.io/

    推荐理由:Chollet 的《Deep Learning with Python》是无数人入行深度学习的启蒙书,现在免费在线阅读,新手不用再纠结买不买,直接看就完事了。

  2. IT之家(RSS)71

    Claude Token 榜:迪士尼「榜一大哥」9 天 46 万次,Meta 月烧 60 万亿

    迪士尼内部上线AI使用看板,追踪员工调用Claude的频率和token消耗。数据显示,一名员工在9个工作日内调用Claude约46万次,平均每1.7秒一次。与此同时,迪士尼正裁员约1000人。硅谷正流行“tokenmaxxing”文化,比拼AI token消耗量。Meta内部统计显示,其8.5万名员工在30天内消耗了60万亿token,价值约900亿美元;Uber的年度34亿美元AI预算在4个月内耗尽。报告显示,Claude用户中非程序员用途已超半数。

    推荐理由:迪士尼搞AI排行榜,Meta月烧60万亿token,这不是段子,是AI真实渗透的活证据。从律师到全职妈妈,所有人都开始用Claude打工,这股浪潮比任何财报都真实。

5月2日周六
  1. Tomer Tunguz 博客(VC 分析)57

    本周的积极信号:AI在医疗、教育、农业与科研领域的突破性进展

    近期多项进展展现了AI的巨大积极影响。医疗领域,Mayo Clinic的AI能通过常规CT提前最多三年检测胰腺癌,强生利用AI将新药线索生成时间减半。教育方面,哈佛研究显示AI导师使学生学习效果翻倍,泰国培训16万名教师惠及330万学生。农业上,AI能以约88%准确率预测害虫爆发。科研中,AI快速筛查NASA数据,新发现超一万颗系外行星候选。此外,香港推出AI洪水预报系统,Atlassian和Twilio等公司也因AI驱动业绩增长并上调预期。这些案例平衡了AI风险,凸显其创新潜力。

    推荐理由:Tomer 收集了最近两周 AI 在医学、教育、农业的硬核落地案例,对反 AI 恐慌是一剂清醒剂,SaaS 公司的营收也说明行业在回暖。

5月1日周五
  1. Anthropic63

    人们如何向Claude寻求指导? 我们分析了100万次对话,以了解人们提出什么问题、Claude如何回应,以及它何时会陷入阿谀奉承。我们利用这些发现改进了Opus 4.7和Mythos Preview的训练方式。 https://www.anthropic.com/research/claude-personal-guidance

    推荐理由:百万条真实对话里扒出谄媚模式,Anthropic 没光发论文,直接把结论灌进 Opus 4.7 训练,做助手的值得细看用户到底在问什么、模型又怎么滑向讨好。

4月30日周四
  1. Qwen73

    Qwen团队推出开源稀疏自编码器套件Qwen-Scope,将SAE特征转化为实用工具。该套件支持四大应用方向:无需提示工程即可通过直接操控内部特征引导模型输出;用极少样本对目标数据进行分类与合成,提升长尾能力;追踪代码切换和重复生成问题的根源并进行修复;通过分析特征激活模式优化评测基准并减少冗余。团队希望社区利用Qwen-Scope深入探索Qwen模型内部机制,并开发出超越现有研究范围的应用。相关资源已开放。

    推荐理由:可解释性工具从学术走向工程,Qwen-Scope 把内部特征操控、数据合成、问题溯源打包成套装,做模型调试和长尾优化的团队值得立刻上手试试。

  2. OpenAI:官网动态(RSS · 排除企业/客户案例)57

    Where the goblins came from:GPT-5 行为中“妖精”输出的起源

    研究揭示了GPT-5等AI模型中“妖精”输出的传播路径、时间线与根本原因。这些由特定“人格”驱动的怪异行为,源于训练数据中意外混入的特定模式或“文化基因”。开发团队已识别出问题根源,并正在部署修复方案,通过调整训练数据和微调模型来消除此类非预期的个性特征,以提升模型行为的稳定性和可预测性。

    推荐理由:GPT-5的“地精”现象不是偶然,OpenAI这篇复盘把它追溯到训练数据的最早期阶段,解释了模型为什么会有自己的“脾气”,做模型训练的值得细读。

  3. Dwarkesh Patel:Podcast & Blog(RSS)55

    Reiner Pope – 大语言模型训练与服务的数学原理

    文章揭示了支撑大语言模型(如GPT、Claude、LLaMA)训练与服务的核心数学框架。通过剖析关键方程,可以逆向推导出顶尖AI实验室在模型规模扩展、计算资源分配及服务优化方面的核心策略与实践。这些数学原理不仅解释了模型性能随参数和数据量增长的规律,也量化了训练成本与推理效率之间的权衡,为理解当前大语言模型的发展路径提供了底层逻辑。

    推荐理由:Reiner Pope 把训模型背后的数学摊开讲,听完能反推出大厂在做什么,做训练的人不可多得的一课。

4月28日周二
  1. Qwen:Blog Retrieval(API)57

    FlashQLA: 面向GDN的CP-/Bwd友好型融合线性注意力内核

    FlashQLA 发布了一组专为梯度下降网络优化的融合线性注意力内核。新内核在设计上对计算模式和后向传播更加友好,旨在提升训练效率。该技术通过优化内核融合策略,改进了注意力机制的计算性能,是提升大规模模型训练速度的关键底层优化。

    推荐理由:Qwen 团队发了一篇 fused linear attention 内核的工程论文,目标是把 GDN 架构的推理和反向传播都跑快。做底层优化的工程师值得看一眼,普通开发者可以略过。

  2. Apple Machine Learning Research(RSS)62

    LaDiR:潜在扩散模型增强 LLM 的文本推理能力

    研究团队提出LaDiR推理框架,将连续潜在表征的表达能力与潜在扩散模型的迭代优化能力相结合,以增强现有大语言模型的推理性能。该框架首先构建一个结构化的潜在推理空间,通过扩散过程对潜在状态进行迭代细化,使模型能够全局性地重新审视和修正推理路径中的早期内容。这种方法突破了传统自回归解码在整体优化和多样化解决方案探索方面的限制,提升了链式思维生成的质量与效率。

    推荐理由:Apple 把扩散模型塞进 LLM 推理链,思路很野,用连续潜空间替代自回归 token 生成来解决「写到一半没法回头改」的老毛病。做推理优化或 diffusion 架构的值得细看,但离工程落地还远。

4月23日周四
  1. HuggingFace Daily Papers(社区热门论文)73

    SWE-chat:来自真实用户与代码智能体在真实环境中的交互数据集

    SWE-chat是首个从开源开发者真实工作环境中收集的大规模代码智能体交互数据集,目前已包含6000个会话、超过6.3万条用户提示和35.5万次智能体工具调用。研究发现代码编写模式呈现双峰分布:41%的会话中智能体几乎编写了所有提交代码,而23%的会话完全由人工编写。尽管能力快速提升,代码智能体在自然场景中效率仍不理想,仅44%的智能体生成代码最终被用户采纳,且其代码比人工代码引入更多安全漏洞。用户在44%的交互轮次中会对智能体输出进行修正、报告失败或中断操作。该数据集通过完整记录人机代码归属的交互轨迹,为超越人工基准测试、基于实证理解AI智能体在真实开发流程中的表现提供了基础。

    推荐理由:这是目前唯一来自真实开发者的编码代理交互数据集,揭示代理产出的代码存活率仅44%,且引入更多安全漏洞,对于所有推代理的团队都是必读的现实检验。

4月21日周二
  1. Hacker News 热门(buzzing.cc 中文翻译)74

    即便是“未受审查”的模特,也无法随心所欲地发言

    morgin.ai 最新分析指出,当前市场上标榜"未受审查"的大语言模型仍存在显著的内容限制,无法真正做到随心所欲地发言。研究揭示了这些模型在面对特定敏感话题时的隐性自我审查机制,表明"无审查"标签与实际情况存在明显差距。该文章在 Hacker News 获得 102 点热度,引发行业对 AI 内容安全边界与言论自由标准的讨论。

    推荐理由:这项实证研究揭示了一个令人不安的事实,所有模型,甚至‘未审查’版本,都在悄悄抑制某些敏感词的概率,而且消融术只会加重这种‘退缩’。对于关注内容安全的开发者来说,这比拒绝回答更值得警惕。

4月18日周六
  1. Epoch AI:研究、数据与评测62

    Epoch AI 发布 AI 芯片组件数据集方法论,量化四大设计商供应链占比

    Epoch AI 发布 AI 芯片组件数据集方法论,估算 2024 Q1 至 2025 Q4 期间 NVIDIA、AMD、Google、Amazon 四大设计商消耗的先进逻辑晶圆、CoWoS 封装与 HBM 份额。

    推荐理由:原文完整公开四大 AI 加速器厂商供应链占比的测算方法与数据来源,读者可以据此复现或质疑其份额估计。

4月16日周四
  1. Hugging Face:Blog(RSS)65

    Ecom-RLVE:面向电子商务对话代理的自适应可验证环境

    Ecom-RLVE 是一个为电子商务对话代理设计的自适应可验证环境。该环境支持智能体在模拟且可验证的电商场景中进行训练与评估,通过动态调整交互难度和规则约束来提升对话系统的鲁棒性与适应性。其核心在于结合强化学习与验证机制,确保智能体行为既符合商业逻辑又可追溯,为电商对话系统的开发与测试提供标准化、可复现的实验平台。

    推荐理由:做电商对话 agent 的可以看看,这个 RL 环境把难控的多轮对话变成了可验证的 reward,还附带了从易到难的课程,开源可跑,是个扎实的工具。

4月13日周一
  1. HuggingFace Daily Papers(社区热门论文)77

    RationalRewards:推理奖励在训练与测试时扩展视觉生成

    研究团队发布8B参数奖励模型RationalRewards,基于PARROT框架从偏好数据恢复高质量推理依据,实现打分前生成多维度显式批评。该模型仅用同类基线1/10到1/20训练数据即达开源SOTA水平,性能比肩Gemini-2.5-Pro。其结构化推理奖励不仅为强化学习提供细粒度训练信号,更在测试时通过生成-批评-优化循环无需参数更新即可改进输出,在多个基准上匹敌甚至超越传统RL微调效果。

    推荐理由:这篇论文把视觉生成的奖励模型从黑盒标量变成了带推理的结构化批评,而且发现测试时的生成-批评-改进循环能匹敌昂贵的RL微调,做图像生成和编辑的人应该认真读一下。