LLM

共 6 个相关资源

High-throughput and memory-efficient inference and serving engine for Large Language Models. Deploy AI faster with state-of-the-art performance.

Ollama is the easiest way to automate your work using open models, while keeping your data safe.

Sebastian Raschka 的教程，用 PyTorch 从零开始实现一个推理 LLM，逐步讲解每个组件。

支持 100+ LLM/VLM 的统一高效微调框架，一站式完成数据处理、训练、评估和部署，ACL 2024 论文。

突破显存限制，在单张 4GB GPU 上运行 70B 参数大模型推理，让消费级显卡也能跑大模型。

Google 开源的 Python 库，使用 LLM 从非结构化文本中精确提取结构化信息，支持自定义 Schema。