税务助手能答概念题,未必能处理一份真实材料
项目原名:TaxPraBen 中国真实税务实践LLM评测基准
字段对齐和计算出错时,文字解释再顺也没有用。
项目解决的业务问题:真实任务需要字段对齐、计算和结构化结果,孤立问答无法检验完整流程。
项目采取的做法:TaxPraBen 组合税务任务与实践场景,以结构化 JSON 输出和分类、生成、计算指标评测模型。
对财务工作的意义:可据此设计接近实际税务工作的验收题目。
这项研究或工具想解决什么
TaxPraBen 将任务输出和评测拆开。验收应能检查分类、计算与结构化结果,不能只有一个总分。
测试用了什么资料,怎样安排
这里介绍的是研究或开源实现,测试结果只适用于其数据集和实验条件。
TaxPraBen 组合税务任务与实践场景,以结构化 JSON 输出和分类、生成、计算指标评测模型。
税务回答要标明版本和适用期间
税务条文要同时看发布机关、生效日期、业务类型和适用期间。AI 可以检索条款、整理交易资料并指出疑点;税务人员核实现行政策后,再判断申报、抵扣或调整方式。
先找适用规则,再核对业务材料
- 14个数据集共7.3K样本、10类传统任务加3类实践场景。
- 输入问题/税务材料,模型输出结构化JSON。
- 分类用Accuracy/F1,生成用BERTScore/BARTScore,计算与结构化任务用EM。
- 评19个大模型。可复用其任务表、JSON模板和五轮评测流程。
先准备凭据、政策版本和访问权限
研究资料没有规定企业侧要接入哪些业务字段。内部验证可先用业务单据、财务记录、适用政策和控制规则、访问权限及复核记录。选取少量、经人工核实且可脱敏的样本。
把条款、证据和复核意见留在记录里
研究结果不能直接当成企业审批或入账凭据。内部测试可把输出整理为能回到原件的证据清单、适用政策和需要专业人员处理的疑点,再检查引用、遗漏和人工修订。
案例公开的业务数据
这些分数来自测试或实验,不能代表企业上线后的效率变化。
实验数据反映测试条件下的表现。测试样本、标签和指标口径,会影响结果,不能直接换算成上线后的财务效果。
| 指标 | 数值 | 数据类型 | 说明 |
|---|---|---|---|
| benchmark instances | 7300 approximately instances | 业务规模 | 14 datasets; paper abstract says 7.3K 论文 |
| models evaluated | 19 models | 实验评测 | paper experiment 论文 |
拿已处理的业务做对照
用贴近真实申报的案例同时考字段提取、数值计算、适用规则和文字说明,并为每一步准备可核对的标准结果。
- 分别统计字段、计算、法规适用和综合结论的错误。
- 公开基准分数只能说明评测表现,不能代替企业上线验收。
税务和审计判断由谁确认
- 论文中的模型版本和云/API评估时间固定;部分输出由ChatGPT规范化字段后评分,非原始端到端答案准确率;不是税务局生产系统评估。
继续核对这些问题
“benchmark instances”具体指什么?
资料给出的benchmark instances为7300 approximately instances(范围:14 datasets; paper abstract says 7.3K)。这是处理量或覆盖范围,不是效率提升。数据出自论文。
“models evaluated”具体指什么?
评测结果中的models evaluated为19 models(测试范围:paper experiment)。这个结果只适用于对应样本和测试条件。数据出自论文。
继续看税务与治理的其他做法
授信报告最费时间的,常常是把工商、财务和诉讼资料收齐
业务卡点:工商、财务、诉讼和舆情资料需人工搜集,指标解释与报告填制耗时。
你可以先核对:授信材料归集和报告草稿可以由系统辅助,授信结论仍由专业人员把关。
打开详情,看做法和适用范围 →金额没有超过阈值,也不代表分录没有问题
业务卡点:固定规则难识别未知异常模式,审计人员需要从全部分录中排出复核顺序。
你可以先核对:异常分数可用于挑出分录复核对象,不能据此认定舞弊。
打开详情,看做法和适用范围 →函证与合同版式多,审计取数怎么减少抄录?
业务卡点:审计文档格式多样,人工查找并抽取关键信息耗时。
你可以先核对:从采购文件提取审计证据可以减少抄录;抽取内容须回到原文,审计结论仍由审计人员作出。
打开详情,看做法和适用范围 →这项工作还会影响哪些环节
如果项目走到这里还要交接资料或核对结果,可以顺着相关业务继续看。
票据内容支持税务核对
发票上的税率、税额和用途会影响抵扣及申报核验。
辅助步骤参考;不代表某个案例已部署相同功能。
AI 可提取相关字段并标出疑点;真伪、政策适用和抵扣资格仍按权威信息及人员复核确认。
继续看这个业务环节 →销项发票进入纳税申报
开票金额与税额要能对应到收入记录和申报口径。
辅助步骤参考;不代表某个案例已部署相同功能。
AI 可对商品分类、税码和汇总金额提出疑点,财务按适用政策核实。
继续看这个业务环节 →税会差异需要在结账前核实
税务口径和账面记录可能存在时间或项目差异,期末需要查清并留档。
辅助步骤参考;不代表某个案例已部署相同功能。
AI 可定位相关凭证、政策条款并起草差异说明;会计和税务人员确认处理方式。
继续看这个业务环节 →