27B模型运行时去审查,不改权重
OrcaRouter 对 Ternary Bonsai 2 27B 模型在运行时进行拒绝方向消融,无需修改或重新量化原始权重即可实现去审查。对需要在 Apple Silicon 上部署本地大模型且受限于内容过滤的 AI 工程师有直接价值,避免了重新量化带来的精度损失和算力开销。
Runtime behavioral ablation for compressed LLMs. First target: Ternary Bonsai 2 27B — no weight modification or re-quantization. by OrcaRouter team
之前做模型去审查通常要改权重或重新量化,比如 Unsloth 的微调方案或社区流传的 GGUF 修改版,但这会引入量化误差甚至破坏模型能力。这个项目的关键突破是把干预放在 129 个残差层上做运行时消融,原始权重 bit 级不变,意味着你可以随时开关或调节审查强度,而不必为每个版本维护一套权重文件。
对 MLX 生态来说这是个重要信号:Apple Silicon 的本地推理场景正在从"能跑就行"进化到"精细控制行为",这和 llama.cpp 的投机解码、Anemll 的 ANE 优化形成了互补的技术栈。如果你在 macOS 上做面向 C 端用户的本地 AI 产品,且需要平衡安全策略和用户体验,这个方案比重新训练或硬编码过滤规则更灵活。
需要注意的风险是:拒绝方向消融的通用性尚未被充分验证,不同模型架构的干预点选择可能差异很大,目前仅限于 Ternary Bonsai 2 这一个 checkpoint。
首个针对三值量化压缩LLM的运行时去审查工具,填补Apple Silicon本地部署生态空白
独特价值:免重量化运行时消融,规避精度损失与算力开销,专精边缘设备审查绕过