开源社区通过58行代码将Llama 3 70b的微调版本扩展到1048k上下文，使用LoRA技术从Gradient AI的Llama 3 70B Instruct微调版本中提取参数变化。这一进展由Eric Hartford实现，并开源在GitHub上。该技术通过Mergekit工具将LoRA合并到同架构模型中，提升了模型的上下文处理能力，但目前尚不清楚是否适用于中文微调的Llama 3。（量子位）
扫码打开当前页
-
￥優惠使用時效：无法使用使用時效：
之前
使用時效：预期有效优惠编号：×