跳到正文

#推理

今日 4 条
今天10月3日周六
  1. AIHOT公开聚合:原始报道发现41

    Baseten 智能体推理优化:引擎提速 50-90%

    Baseten称,其LLM生成的推理引擎在Qwen-3.6-35B-A3B上单流解码最高比vLLM 0.25.1快90%。该测试以NVFP4精度运行于单块B200,TTFT快2.33倍,使该模型此前并不实用的超低延迟场景成为可能。方法受MetaInfer启发,无需模型后训练即可从零构建专用推理引擎。

  2. 量子位原生资讯50

    Jev估值100亿美元!创始人Diogo Almeida回答一切

    TypeSafe AI联合创始人兼CEO Diogo Almeida在Latent Space访谈中称,Jev日处理量已突破一万亿token。Jev 1.13.0在第三方JevBench v1.2.1综合榜以75.3分排名第一,发布视频短短6天浏览量突破3870万。他表示公开benchmark极易被操纵,更看重把模型放进自身工作流做评估,并称目标是五年内拉动TFP增长3%。

10月1日周四
9月30日周三