Repository navigation
[疑问] [LiveCodeBench v6] 判题器不支持 sys.stdout.buffer，可能将正确程序判为运行错误 #579
Description
操作系统及版本
Ubuntu 22.04.5 LTS
安装工具的python环境
docker容器中的python环境
python版本
3.10
AISBench工具版本
3.1.0
AISBench执行命令
ais_bench \ --models vllm_api_stream_chat_LiveCodeBenchV6.py \ --datasets livecodebench_0_shot_chat_v6.py \ --mode perf_eval \ --debug \ --dump-eval-details
问题描述
模型生成的程序调用 sys.stdout.buffer.write(...) 时，判题器中的模拟 sys.stdout 是不带 .buffer 属性的 StringIO，程序抛出：
AttributeError: '_io.StringIO' object has no attribute 'buffer'
因此，原本可能正确的答案被记为运行错误，影响 LiveCodeBench 精度统计。
模型配置文件或自定义配置文件内容
testing_util.py 代码第 66–73 行
class Capturing(list):
def __enter__(self):
self._stdout = sys.stdout
sys.stdout = self._stringio = StringIO()
sys.stdout 被替换成了普通 StringIO，而它没有 .buffer。判题时通过 with Capturing() 执行生成代码；标准输入类题目在第 357 行使用 Capturing() 执行答案；异常随后会被记录为 Runtime Error。
预期行为
判题器应支持 Python 程序通过 sys.stdout.buffer.write(...) 输出字节，并捕获这些输出用于正常判题；普通 print() 和 sys.stdout.write() 的行为应保持不变。
实际行为
模型生成的程序调用 sys.stdout.buffer.write(...) 时，判题器中的模拟 sys.stdout 是不带 .buffer 属性的 StringIO，程序抛出：
AttributeError: '_io.StringIO' object has no attribute 'buffer'
因此，原本可能正确的答案被记为运行错误，影响 LiveCodeBench 精度统计。
相关进展：
- PR fix(livecodebench): support sys.stdin.buffer #570 已合入，解决了
sys.stdin.buffer的兼容问题。 - PR fix(livecodebench): expose .buffer on mocked stdin/stdout #518 已提出同时支持模拟 stdin/stdout 的
.buffer，但目前尚未合入。 - Issue [Bug] livecodebench数据集，如果模型输出sys.stdin.buffer程序直接判错 #517 主要讨论
sys.stdin.buffer，已随 PR fix(livecodebench): support sys.stdin.buffer #570 关闭；本 Issue 用于单独追踪仍未解决的sys.stdout.buffer问题。
前置检查
- 我已读懂主页文档的快速入门，无法解决问题
- 我已检索过FAQ，无重复问题
- 我已搜索过现有Issue，无重复问题
- 我已更新到最新版本，问题仍存在
Activity
github-actions commentedon Sep 29, 2026
🌟欢迎给AISBench benchmark测评工具提issue，您可以先尝试以下途径寻求issue的解决方法：
github-actions commentedon Sep 29, 2026
🤖 基于AI机器人的issue内容完整性检查结果:
问题内容检查结果
检查状态
FAIL
详细检查
👉 如果想重新检查，在评论区@issue_checker即可。
【强烈推荐❤️🔥】确保issue描述完整后，可以试着将issue交给
回答，deepwiki包含了和工具相关的所有知识库
github-actions commentedon Sep 29, 2026
🤖 基于AI机器人的issue内容完整性检查结果:
问题内容检查结果
检查状态
PASS
详细检查
改进建议
所有内容已完备！
补充说明
该GitHub Issue内容非常完整，所有要求的章节都已提供，并且信息详细、相关性强，没有发现任何缺失或不完整之处。
👉 如果想重新检查，在评论区@issue_checker即可。
【强烈推荐❤️🔥】确保issue描述完整后，可以试着将issue交给
回答，deepwiki包含了和工具相关的所有知识库
mantuoluozk commentedon Sep 29, 2026
@issue_checker
github-actions commentedon Sep 29, 2026
🤖 基于AI机器人的issue内容完整性检查结果:
问题内容检查结果
检查状态
PASS
详细检查
改进建议
所有内容已完备！
补充说明
该GitHub Issue内容非常详细和完整，包含了所有要求的章节，并且信息清晰、具体，有助于问题诊断和解决。特别是“模型配置文件或自定义配置文件内容”部分，提供了相关的代码链接和解释，非常到位。
👉 如果想重新检查，在评论区@issue_checker即可。
【强烈推荐❤️🔥】确保issue描述完整后，可以试着将issue交给
回答，deepwiki包含了和工具相关的所有知识库
Libotry commentedon Sep 29, 2026
您好，该实现是按照官方脚本实现，您提的建议我们考虑在后续版本落地
mantuoluozk commentedon Sep 29, 2026
@Libotry 感谢回复！我已经提交 PR #581 ，并关联了这个 Issue。PR 修复了上述问题，相关单元测试已通过，也用此前保存的真实预测结果做了重判验证。欢迎审阅，如有需要调整的地方，我会继续修改。
Libotry commentedon Sep 29, 2026
好的，非常感谢，近期会安排审核 @mantuoluozk