Abso 是一个开源的 LLM 代理(大语言模型代理), 它可以根据提示词(prompt)的复杂度,自动在“快速模型”和“高精度模型”之间切换,从而实现性能与成本的平衡。 Abso 使用多种启发式算法来选择最合适的模型,响应速度快、延迟低。
pip install langchain-abso
查看使用详情请参见 这里。