UC伯克利大世界模型登GitHub热榜第一

UC伯克利大学的研究人员提出的大世界模型（Large World Model，LWM）在GitHub上获得了榜首，目前已经获得了3.2K的星标。为了克服内存限制、计算复杂性和数据集有限等挑战，研究人员从数百万个视频和语言序列的标记中学习，整理了一个包含各种视频和书籍的大型数据集。他们利用RingAttention技术对长序列进行可扩展训练，逐渐将上下文大小从4000 tokens增加到100万tokens，并完全开源了一系列7B参数模型。研究论文指出，LWM能够回答超过1小时YouTube视频中的相关问题，在100万tokens的上下文窗口内实现高精度检索，其性能优于GPT-4V和Gemini Pro。