a16z 投资 Preference Model

a16z 投资 Preference Model，该公司过去一年为领先实验室构建强化学习环境，聚焦 AI 研究与机器学习工程。本周该团队开源其生产中使用的框架 Karotte，内置评分前终止残留进程、拒绝可导致评分器崩溃的文件等防护，并称其已经过超过一百万次评估运行与受控红队测试加固。