断点

——事实、授权、评价与责任:机器无法自产的四种输入

《往返的目光》收在一张地图上:规程化的往返把能收敛的都收敛掉,交出一张诚实的地图——哪些锚定了,哪些卡住了,哪些落在判断余地里。于是一个新问题浮出水面:前提既然做得这么扎实,结论的质量理论上已经很高,人还剩下什么? 什么时候流程必须停下来,把问题递到人面前?

这个问题有两个流传很广的答案,恰好都是错的。

两个坏答案

第一个坏答案:人不剩什么了。 前提可靠、推理可查、结论附带先例与基率——那就让它跑完,人只管收货。这条路的终点这个系列已经探过了:一个不再向人递问题的系统,无论中间工序多么精密,整体上就是一台神谕机(《可以被弹劾的结论》)。而且它错得很具体:下文会看到,有四种东西机器在结构上就产不出来,全自动意味着这四种输入被悄悄替换成了赝品——编造的事实、僭越的立场、采样来的价值观、无人认领的责任。

第二个坏答案听起来稳妥得多:人处处盯着。 每一步都设审批,每个中间结论都请人过目,出了事好歹有人签过字。这条路败得比较隐蔽,败因是一条心理学规律:审核的质量与通过率成反比。 当一个检查点百分之九十九的次数都该点“通过”时,人很快就学会不看内容直接点过——不是因为懒,是因为注意力这种资源无法为百分之一的异常保持百分之百的警觉。安检员看不出行李里的枪,不是训练不足,是一天一万件行李里没有一把枪。处处设断点的系统,最终训练出的是一个盖章机器人,而且是最危险的那种:盖过章的错误比没盖章的错误更难翻案,因为它披着“人已审核”的外衣。

两个坏答案背后是同一个错误:把“人的介入”当成了安全感的来源,而不是一种稀缺输入的供给。介入不是越多越安全,也不是越少越高效——介入的位置必须由一个判据决定。

判据只有一条

这个判据是:断点只设在机器结构上无法自产的输入缺位处。

注意措辞。不是“机器容易出错的地方”——那样的地方应该修机器,或者让另一台机器去查,而不是让人站岗;也不是“重要的地方”——重要而可核验的东西(引文是否属实、先例是否存在、推理是否自洽)恰恰是机器互查比人眼更可靠的领域。断点的正当性只来自一件事:流程走到这里,需要一种这个系统内部无论如何生成不了的东西。

盘点下来,这样的东西恰好四种。

第一,事实。 客户没说的事,模型生成不出来——生成出来的那个东西有专门的名字,叫幻觉。往返循环卡在“事实不足以判定”上时,唯一的出路是回到那个掌握事实的人面前。值得强调的是,这个断点交出的东西本身就有价值:一张精确的清单——缺什么事实、什么证据能补上。律师实务里最值钱的中间产品常常不是结论,是问对的问题;而问对问题,恰恰要求前面的往返做得足够深,深到能把“不知道什么”说清楚。

第二,授权。 代表哪一方、要什么结论方向、能承受多大风险——这些不是推理问题,是委托关系。基率能告诉你这类主张的历史支持率只有一成,但“逆着一成也要打”完全可能是正确的决定:为了和解桌上的筹码,为了给对手施压,为了一个必须表明的态度。这些变量不在任何语料里。《法官是一台预言机》区分过读数与操纵;这里要补上第三项:读数与下注。机器给赔率,下注的必须是承担盈亏的那个人。

第三,评价。 往返做到极致,仍会有要件老老实实停在悬置状态:本案离先例的两边一样近,通说沉默,条文的文义在此处恰好用尽。王泽鉴称之为判断余地,并且给出了代价表——可以逆着通说下判断,但“应负详尽论证的责任”。《平均数不是共识》论证过价值共识不能从语料里采样;判断余地正是那个论证在个案里的着陆点:当先例不再说话,接下来说话的必须是一个可以被追问“你凭什么”的人。 机器可以把悬置状态描述得极其清楚——两边的距离、各自的后果、历史上类似的摇摆——但选边这个动作本身,做了就要认,认就得有一个“我”。

第四,责任。 对外署名的那一刻,前面所有工序在法律上归并到一个人名下。这不是仪式残留,是制度的锚点:责任必须落在一个可以被吊销执照、被追偿、被问责的主体上,而这些动词对模型全部无效。所以最后一读永远是人——但要看清这一读读的是什么。它不是把全部工作重做一遍(那是对前面所有质量投入的否定),而是核验过程的诚实:该停的地方都停过了吗?条件式的结论有没有被悄悄写成确定式?悬置的要件有没有被流畅的文笔掩埋?终判审的不是内容,是这份工作对自己诚实的程度。

事实、授权、评价、责任。四个断点,四种输入,一个都省不掉,一个都多不出来。

自动化的反讽

但这套断点设计有一个天敌,而且系统质量越高,天敌越强。

1983 年,工程心理学家班布里奇写过一篇著名的短文,标题就叫《自动化的反讽》。核心观察:自动化把任务里简单、常规的部分拿走,把最难的部分——异常、边界、崩溃时刻——留给人;但与此同时,被解除了日常操作的人,恰恰在失去处理最难部分所需要的手感与警觉。自动驾驶的中间形态把这个反讽演示得最残酷:系统越可靠,驾驶员越放松,而系统唯一需要他的时刻,恰恰是最需要一个全神贯注的驾驶员的时刻。

法律版的反讽一模一样:前提质量越高,人越容易在断点上虚化。前十份意见书四个断点都答得认真;第一百份的时候,“确认立场”变成了扫一眼,“判断余地”变成了默认选项,“最后一读”变成了签名。系统没有变坏,是人对系统的信任变成了不在场的理由。

出路不是让人多干杂活来“保持在场”——那是第二个坏答案换了件衣服。出路在断点本身的质量:每个断点递到人面前的必须是一个真问题,带着张力、带着代价、带着“选了就要认”的分量。一个只需要回答“是/否”而答案几乎总是“是”的断点,是在训练麻木;一个摆出两难、报出赔率、写明反方最强理由的断点,是在强迫思考。断点设计的全部功力,最终落在一件事上:让人无法不假思索地通过。

顺着这个标准回头看,质量提高改变的其实不是人介入的数量,是人介入的性质。质量低的系统里,人是校对员——逐处纠错,疲劳,漏检,越查越不信任;质量高的系统里,人是供给者——介入的次数少了,但每一次都在供给机器无法自产的输入。校对员被机器替代是好事,供给者被机器替代是事故。human-in-the-loop 的正确形态从来不是人盯着机器干活,而是机器把真正需要人的那几个问题筛出来、摆清楚、逼人答。

人是流程停下来的理由

最后把镜头拉远一点。

断点清单表面上是一份流程文档,实际上是一份权力文件:它写明了在这套人机系统里,哪些决定机器无权自行做出、必须请示。事实的采纳权、立场的设定权、价值的选边权、成品的签发权——四项保留权力,一张成文的清单。这个系列反复出现的那条定理在这里再显影一次:为机器立的每一条规矩,都是对人类实践迟到的显影。断点清单显影的是什么?是律师这个职业被工序和文牍包裹了几百年的内核。会见时问出那个关键问题的时刻,评估案子值不值得打的时刻,在通说用尽处选边的时刻,签字的时刻——律师最值钱的从来就是这四个时刻,其余都是可以外包给助理、实习生、如今是机器的工序。机器没有发明这个分工,它只是把分工推到了极致,推到清单不得不被写下来。

而写下来是有好处的。一个职业最怕的不是被替代,是说不清自己为什么不可替代。现在清单在这里:四种输入,四个时刻。

所以这篇文章的结论可以压缩成一句话。在一套前提可靠、推理可查的系统里,人的位置不必再靠“处处把关”来证明——

人不是流程中的一个环节,人是流程停下来的理由。