法律备忘录智能体工作流

项目背景

法律备忘录用于帮助律师在案件研究、诉讼准备和法律论证过程中，梳理关键事实、适用规则与相关依据。项目介入前，相关资料的检索与 memo 撰写主要依靠律师手动完成。

该项目面向律师构建一套 法律备忘录智能体工作流：律师提交法律问题后，系统从内部数据库检索相关资料，组织可用材料并辅助生成 memo。系统的定位是支持律师的研究与写作过程，而不是替代律师的专业判断。

我的职责

我负责 Memo Agent 从需求澄清到模型评测的端到端算法链路，包括与产品经理细化需求、法律资料召回与重排序、Agent 工作流设计、本地化提示策略、评测方法建设及代码测试。

部署和后续工程化由团队其他成员负责。

核心流程

工作流可以抽象为五个阶段：

1. 律师提交法律问题；
2. 检索并排序相关法律资料；
3. Agent 分析、组织材料并生成 memo；
4. 对引用与事实进行核验；
5. 通过质量评测和专业反馈持续改进。

这是面向公开介绍的高层能力闭环，不代表完整的内部生产拓扑。

核心难点

把生成质量问题定位到检索漏斗

早期问题并不只是“生成结果不好”。法律专业人士首先评审并提供目标片段，作为预期召回结果；我再通过 检索漏斗分析，追踪目标片段是否进入候选集、经过每个阶段后的位置，以及在哪一步被筛除。

这种分析将问题拆成两类：目标资料没有被召回，或者已经召回但排名过低。它让后续优化能够针对具体失败阶段展开，而不是反复调整整个生成链路。

分别改善召回与排序

对于正确资料排名靠后的情况，我调整排序方案，结合 相关性与语义信号优化结果顺序。对于目标资料完全没有进入候选集的情况，则优化查询关键词生成，使检索表达更加精准。

这套方法把关键词生成、资料召回和结果排序连接成可以逐层观察、验证和改进的检索链路。

让检索证据真正改善最终 memo

检索质量只是中间结果。为了确认改动是否真正帮助律师，我将检索漏斗与法律专业人士评审结合：前者定位目标片段在链路中的保留情况，后者按照一致口径评价最终答案的整体质量。

在相同评分规则和可比样本下，法律专家综合质量评分从约 50% 提升至超过 80%，提升约 30 个百分点，并超过既定目标线。

项目复盘

这个项目最重要的经验是：高质量法律生成不仅取决于模型本身，更取决于能否召回正确的证据片段，并通过合理的 Prompt 编排让模型理解任务、组织材料和生成符合要求的内容。

将最终质量拆解为可观察的检索漏斗和专家评测闭环，使算法优化能够被定位、验证并持续推进。