OpenAI周四（6/27）披露一个奠基于GPT-4的新模型CriticGPT，它目前扮演人类训练师的AI助手角色，可用来审查ChatGPT所生成的程序代码，并找出错误。

现阶段的ChatGPT也是基于GPT-4模型，它借由人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）来调整其输出表现，也即由人类训练师根据模型的行动来提供反馈或意见，而CriticGPT也能用来审核ChatGPT输出程序代码时的表现，OpenAI正在将CriticGPT集成到RLHF的标签渠道中，以替人类训练师提供明确的AI说明。

OpenAI指出，随着模型行为与推论的进步，ChatGPT变得更加精确，错误也变得更为微妙，令人类的AI训练师更难找出其错误之处，并对RLHF方法造成了挑战，使得模型的调整越来越困难，这使得他们训练CriticGPT来进行评论，以突显ChatGPT输出的错误。

根据OpenAI的测试，人类训练师在取得CriticGPT的协助之后，审核ChatGPT生成程序代码的表现在大多数时候（60%），优于没有CriticGPT帮忙的时候。

总之，OpenAI发现，在CriticGPT的协助下，人类训练师不仅得以发现更多的问题，而且还能借由CriticGPT强化人类的技能，提出更全面的批评，还能减少幻觉错误。

只是CriticGPT现阶段仍有其局限性，例如所支持的答案很短，也还会产生幻觉，尚未能解决分散的错误，也还无法处理过于复杂的任务或回应。