DeepSeek联合北大发布新论文，直击Transformer缺乏原生知识查找机制的痛点。通过引入Engram模块，实现了O(1)时间复杂度的知识检索，显著提升了模型在推理、代码及数学任务上的表现。这一创新不仅解决了计算效率问题，还为稀疏化LLM提供了新的方向。研究发现MoE与Engram之间存在U形scaling law，表明两者间需找到最优资源配比以实现性能最大化。
🔗 [认知原点]：https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf
主题测试文章，只做测试使用。发布者：jovi，转转请注明出处：https://uxwork.cn/archives/ai-news/%e6%a2%81%e6%96%87%e9%94%8b%e7%bd%b2%e5%90%8d%e6%96%b0%e8%ae%ba%e6%96%87%ef%bc%8cdeepseek-v4%e6%9e%b6%e6%9e%84%e9%a6%96%e6%9b%9d%ef%bc%9f%e7%9b%b4%e5%87%bbtransformer%e8%87%b4%e5%91%bd%e7%bc%ba
