近期开源项目Colibrì（小蜂鸟）登顶GitHub热榜，其核心突破在于打破大模型运行对高显存GPU的强依赖，通过将SSD存储空间模拟为扩展显存，实现了在无独立GPU的普通笔记本上运行7000亿参数级别的GLM大模型，为大模型轻量化部署提供了新的技术方向。
该方案通过内存与SSD的分层数据调度机制，大幅拉低了大模型运行的硬件门槛，虽推理性能与GPU部署存在明显差距，但已可满足研发阶段本地调试、模型验证等非高性能要求场景的需求。
讯芯观点：建议涉及大模型研发的企业可先将该类方案应用于内部开发测试场景，用低成本硬件承接非核心推理任务，降低研发阶段的GPU资源投入；同时跟踪该技术迭代，提前布局端侧大模型落地的相关场景。