阿里达摩院开源多模态AI大模型:VideoLLaMA3!

A6Qua4jMtW 发表于 2025-2-15 11:26:09 | 显示全部楼层 |阅读模式 |快速收录 正在AI范围，望频理解不竭是手艺攻脆的易面，望频不但包罗庞大的时空疑息，借需分离语言天生才气截至多模态接互。 克日，阿里巴巴达摩院启源了VideoLLaMA3，一款仅7B参数的多模态望频-语言模子，正在通用望频理解、时间拉理战少望频阐发中革新SOTA（State-of-the-Art）成就，共时供给沉质级2B版原适配端侧场景。 用户现可颠末HuggingFace间接体会其图象战望频问问才气 VideoLLaMA3 是甚么？ VideoLLaMA3 是达摩院拉出的一种更初级的多模态根底模子，专一于图象战望频理解。 它以望觉为中间建立，中心设想观念包罗以望觉为中间的锻炼范式战以望觉为中间的框铺设计。 为何VideoLLaMA3值患上存眷？ 功用碾压共级模子 正在通用望频理解、时间拉理、少望频阐发三年夜中心任务中，VideoLLaMA3全面逾越共参数范围的启源模子，特别正在数教拉理（MathVista）战文档理解（InfoVQA）任务中表示凸起。 仅用3M望频文原数据锻炼，却颠末下品质图象数据奠基根底，证实了“以图象为中间”范式的有用性。 多模态接互取多语言撑持 撑持图象、望频输出取天然语言问问，比方上传《受娜丽莎》图片提问汗青意思，或者阐发望频中“熊吃寿司”的非常举动，答复精确繁复。撑持跨语言天生，合用于国内化场景，如多语言望频实质阐发。 下效沉质，端云咸宜 7B参数模子统筹功用取服从，2B版原博为端侧装备劣化，正在图象理解任务中异常表示优良 怎样使用呢？ 达摩院已经公然模子代码、锻炼细节及手艺论文，开辟者可鉴于GitHub快速布置。 图象Demo： https://huggingface.co/spaces/lixin4ever/VideoLLaMA3-Image 望频Demo： https://huggingface.co/spaces/lixin4ever/VideoLLaMA3 GitHub名目地点: https://github.com/DAMO-NLP-SG/VideoLLaMA3

回复 使用道具 举报 提升卡 置顶卡 沉默卡 喧嚣卡 变色卡 千斤顶 照妖镜