跳到正文

#部署/工程

今日 3 条
今天10月3日周六
  1. AIHOT公开聚合:原始报道发现41

    Baseten 智能体推理优化:引擎提速 50-90%

    Baseten称,其LLM生成的推理引擎在Qwen-3.6-35B-A3B上单流解码最高比vLLM 0.25.1快90%。该测试以NVFP4精度运行于单块B200,TTFT快2.33倍,使该模型此前并不实用的超低延迟场景成为可能。方法受MetaInfer启发,无需模型后训练即可从零构建专用推理引擎。

  2. AIHOT公开聚合:原始报道发现53

    Anthropic推出Claude Frontier Academy,拟投1亿美元培训万名工程师

    Anthropic宣布推出Claude Frontier Academy,计划投入1亿美元,在2027年底前培养1万名前沿部署工程师。首批学员来自埃森哲、贝恩、凯捷、德勤、麦肯锡、摩根士丹利、诺和诺德和澳大利亚联邦银行,先参加数天由Anthropic工程师授课的线下培训,覆盖应用场景选择、安全审查和项目移交,通过考核后回本机构负责一个真实Claude项目并驻训12周,预计2027年初取得认证。

  3. AIHOT公开聚合:原始报道发现55

    OpenAI自研AI芯片Jalapeño ASIC量产部署,因务实选择搭配AMD Turin

    OpenAI已内部部署自研Jalapeño ASIC芯片,与配备1.5TB内存的AMD EPYC Turin主机配合使用。Tom's Hardware援引OpenAI副总裁兼硬件主管理查德·何称,选择Turin出于务实考虑,因英伟达新款Vera CPU成熟度略显落后。该芯片目前仅限内部使用且尚未计划对外销售,何表示未来若资源允许不排除向更广泛场景推广。

10月2日周五