Rust重写LLM推理引擎

rvLLM通过Rust重写，解决了vLLM在资源消耗上的痛点，提供了更高效的LLM推理能力。与vLLM相比，rvLLM在H100上的性能提升了20倍，启动速度更快，二进制文件更小。对于需要高性能、低延迟LLM推理的AI工程师和创业者来说，rvLLM提供了一个更优的选择，尤其是在资源受限的场景下。