Smol-vision: 优化定制前沿视觉模型的方案
项目简介
Smol-vision主要提供了一系列用于缩小、优化和定制前沿视觉及多模态人工智能模型的方案。其包含了如量化、微调等多种操作的示例，像对多模态RAG使用ColPali和Qwen2-VL、对IDEFICS3或SmolVLM在VQAv2数据集上进行QLoRA/全微调等多种操作。
项目核心技术
从项目中的文件来看，涉及到了如torch.compile技术用于改善基础模型的延迟，利用Optimum/ORT对模型进行优化，包括对OWLv2模型进行量化的操作等，还有利用知识蒸馏进行计算机视觉方面的操作等技术。
项目总结
Smol-vision为视觉和多模态AI模型的优化定制提供了多种实用的方案。希望大家可以积极留言，分享自己对这个项目的看法或者提出问题等。