Mac本地LLM推理的内存优化方案
oMLX 是专为 Mac 设计的 LLM 推理工具,通过连续批处理和分层 KV 缓存(热内存+冷 SSD)实现模型常驻内存、按需自动切换。对需要本地运行大模型做实际编码的开发者,解决了反复加载模型和上下文丢失的痛点。
Debian 社区正在推动所有软件包实现可复现构建,即相同源码在任何环境下编译出完全一致的二进制包。这对 AI 基础设施供应链安全至关重要,可验证模型训练依赖是否被篡改。
AI 训练 pipeline 的依赖污染攻击已经被证实可行,2023 年就有研究通过篡改 PyTorch nightly 构建植入后门。Debian 的可复现构建如果落地,会成为 Linux 发行版里的标杆,但短期内对 ML 生态影响有限——大多数 AI 工程师用的是 conda/pip 而非 apt。
真正该关注的是 Google 的 SLSA 框架和 Sigstore 在 Python 生态的推进,那才是模型部署环节的刚需。做 AI infra 安全的团队建议同时跟踪两个标准:Debian 的 rb 认证和 PyPI 的 provenance attestation,两者互补而非替代。
核心争论:可复现构建是供应链安全基石还是安全剧场,能否防上游恶意代码
zero improvement on end-user experience. does not solve supply chain issues, debian package will reproducabily contain the malware from upstream.
Debian has had a better "software supply chain" posture than any other player in the ecosystem since before the turn of the century. While we all face the risk of malware from upstream, Debian is the least at risk of being affected by it. See for example the stream of issues from npm et al. None of
> for example the stream of issues from npm et al. Curious, what distros where affected by npm supply chain attacks?