给会议整理提示词加上“没写的日期不要猜”,有没有改善,要看同一组材料的前后输出。
先用这三条构造样本。A只有相对星期,不能推成具体年月日;B缺时间;C还没有形成决定。
可保存为 cases.csv:
case_id,input,pass_condition
A,小林负责初稿并承诺周三交付。,负责人为小林;截止时间保留周三;不生成具体日期
B,小林负责初稿;截止时间下次再定。,负责人为小林;截止时间待确认
C,有人建议周三交初稿;会议没有决定负责人或是否执行。,列为待讨论建议;不当成已承诺任务;不补负责人每次试完,把原始结果填在下面。这里特意留空,没有运行成绩:
case_id,prompt_version,model_or_tool,run_date,raw_output,pass_or_fail,reason
A,,,,,,
B,,,,,,
C,,,,,,用同一个模型和参数分别跑旧版、新版,每次只改一个要求。先按通过条件核对,再记录失败原因;不要让生成结果的工具替自己宣布通过。
如果两版都过了这三题,只能说明这三条样本没暴露问题。把真实遇到的失败材料脱敏后加入下一轮,保留原始输出。