Anthropic 部署选举安全防线
Anthropic 发布选举安全更新,承诺在美国中期选举及全球重大选举期间减少 Claude 的政治偏见,提供准确中立的政治信息。对 AI 工程师的启示:大模型厂商正主动承担平台责任,政治内容的偏见控制将成为合规标配。
vllm-swift 用原生 Swift/Metal 重写了 vLLM 的推理热路径,彻底移除 Python。在 M5 Max 上低并发场景吞吐量提升 2.6 倍,且保持与原版 vLLM 的 API 和启动参数完全兼容。
vLLM Metal plugin powered by mlx-swift — high-performance LLM inference on Apple Silicon
苹果生态做 LLM 推理的团队长期面临一个尴尬:MLX 性能不错但生态孤立,vLLM 生态完善却绕不过 Python GIL 和内存开销。这个项目走了一条中间路线——不改 vLLM 的上层调度,只把计算密集部分换成 Swift/Metal,既保留生态兼容又吃到原生性能红利。
对比纯 MLX 路线,它的优势是零迁移成本:所有 vLLM 的量化格式、分页注意力、连续批处理都直接可用。对比原版 vLLM+Python,低并发时 Python 解释器开销占比极高,这正是 Swift 能拉开差距的场景。
手上有 M 系列芯片且已经在跑 vLLM 的团队,这个几乎是 drop-in 的升级,半小时验证即可。做端侧部署或私有 API 服务的创业者尤其值得关注,128GB 统一内存+无 Python 开销的组合,可能是目前 Mac Studio 跑小模型的最优解。