FrameFlip48 基准：用机器人程序测模型坐标系跟踪

2026 年 10 月 3 日，DEV Community 上出现一篇介绍 FrameFlip48 的文章。该基准是 Kaggle Benchmarking Challenge 的参赛作品，用来检验模型在短小的机器人运动程序中能否正确跟踪坐标系（translation frame）。

它由 24 组配对用例组成，每组两条提示中的数字与指令完全相同，唯一区别是 ACTIVE_FRAME 的取值在 LOCAL 与 WORLD 之间切换，一条写 ACTIVE_FRAME = LOCAL，对应的另一条写 ACTIVE_FRAME = WORLD。每组对照都在不同的会话中运行，因此模型不会拿到配对另一侧的答案。

文章标题称，有四个模型在这项测试中表现出两种失败模式；原文片段只交代了基准的设计与运行方式，没有列出这四个模型的具体名称，也没有说明两类失败模式各自是什么。截至这篇报道，事件停留在基准设计与结果概述这一步，除此之外没有更多进展信息。