有时候在调用 LLM 的 API 的时候，要求返回 JSON 格式，但是并未按照要求返回的情况，我的一些经验分享：
1. 做一些正则替换覆盖常见格式错误
2. 重试1-2次，但没必要重试太多次，如果一两次也不行大概率继续也不行
3. 把原始请求和失败结果一起发回去让其仅纠正格式
4. 临时使用更好的模型
另外用一个文档例如 Excel 把这些容易出错的数据保存起来，以后修改 prompt 或者换模型了作为测试集跑一遍
发布于 美国
宝玉xp