文章
文章快讯网址导航
全部标签

大模型推理引擎

  • 清华团队开源大模型推理引擎“赤兔 Chitu”，实现 DeepSeek 推理成本降低一半、性能翻番

    清华团队开源大模型推理引擎“赤兔 Chitu”，实现 DeepSeek 推理成本降低一半、性能翻番

    3 月 14 日消息，清华大学高性能计算研究所翟季冬教授团队、清华系科创企业清程极智今日联合宣布，大模型推理引擎“赤兔 Chitu”现已开源。 据介绍，该引擎首次实现在非英伟达 Hopper 架构 GPU 及各类国产芯片上原生运行 FP8 精度模型，实现 DeepSeek 推理成本降低一半、性能翻番。其定位为“生产级大模型推理引擎”，提供如下特性： 多元算力适配：不仅支持 NVIDIA 最新旗舰到…
    资讯
    • 26.5k
❯
搜索

  • 扫码打开当前页

返回顶部