Human-in-the-loop (HITL) refers to a system or process in which a human actively participates in the operation, supervision or decision-making of an automated system. In the context of AI, HITL means that humans are involved at some point in the AI workflow to ensure accuracy, safety, accountability or ethical decision-making[detail]

1

HITL本意是人机交互得到更好的产出，但是这有两个前提：一是模型欠缺某些知识或者模型本身推理较弱；二是人的参与对产出有积极的影响。在我的实践中，HITL的效果经常不如纯粹的workflows。下面是我的实践。 某一天我接到了一个理账任务，具体是上游会给我客户的月结单流水以及相关的票据，我需要利用llm的能力将其输出为基于会计准则的报表。为此我设计了一个skill，里面指导了llm怎么利用脚本/接口解析文件（省token），怎么优化判断结果，怎么固化输出等等。然后在做的时候我遇到了一些问题：