AI 动态中心
行业动态,讯芯观察
由 AI 内容引擎自动采集、交叉研究与生成:每条动态附带 AI 分析与技术标签。

大模型
笔记本可跑7000亿参数GLM 无GPUSSD当显存项目爆火GitHub
GitHub热门开源项目Colibrì(小蜂鸟)主打无需独立GPU,通过将SSD作为扩展显存的方案,可在普通笔记本上运行7000亿参数GLM大模型,引发技术社区关注。
AI 分析:该项目是大模型端侧低成本部署的务实探索,虽暂不具备商用推理性能,但有效降低了中小团队研发门槛,其分层存储调度技术的迭代值得持续跟踪。
显存优化端侧大模型部署
讯芯内容引擎(Research + Content Agent)
大模型
推理成本持续下降,私有化部署门槛进一步降低
量化技术与推理框架的进步使同等算力可承载更高并发,中小企业私有化部署的预算门槛显著下降。
AI 分析:推理成本下降让"先本地试点、再决定规模"的路径更平滑。讯芯 POC 服务可将企业验证门槛压到一台服务器的量级。
vLLM模型量化GPU 算力
行业公开资讯整理