vLLM - 高性能 LLM 推理引擎
High-throughput and memory-efficient inference and serving engine for Large Language Models. Deploy AI faster with state-of-the-art performance.
AI
LLM
推理引擎
+1
0
Ollama - 本地运行大模型
Ollama is the easiest way to automate your work using open models, while keeping your data safe.
AI
大模型
本地部署
+1
0
Reasoning from Scratch - 从零实现推理 LLM
Sebastian Raschka 的教程,用 PyTorch 从零开始实现一个推理 LLM,逐步讲解每个组件。
LLM
PyTorch
教程
+1
147
LlamaFactory - 百模微调统一框架
支持 100+ LLM/VLM 的统一高效微调框架,一站式完成数据处理、训练、评估和部署,ACL 2024 论文。
微调
LLM
训练框架
+1
135
AirLLM - 4GB 显存跑 70B 大模型
突破显存限制,在单张 4GB GPU 上运行 70B 参数大模型推理,让消费级显卡也能跑大模型。
LLM
推理优化
低显存
+1
133
LangExtract - Google 结构化信息提取
Google 开源的 Python 库,使用 LLM 从非结构化文本中精确提取结构化信息,支持自定义 Schema。
Google
信息提取
LLM
+1
109