数字员工体系：Agent DevOps 评测与线上观测（中信证券）
应用场景：数字员工在投研、合规、行政等场景中执行研报检索归纳、合规问答、舆情解析、流程审批等任务，并通过智能体评测与观测系统实现全生命周期绩效考核与优化
投稿方：tao · 服务商：火山引擎 · 收录时间：2026/10/16
本案例信息由投稿方提供、平台整理，尚未经人工核实，重要信息请以原文为准。
案例事实
1. 一句话摘要
投稿方未提供
2. 行业 + 企业规模
金融服务 · 大型券商，服务 8000 余名内部员工与 300 余家机构客户
3. AI 能力类型
智能体流程
4. 原来怎么干的
依赖人力处理投研、合规、行政任务；AI 应用效果仅靠主观反馈评估，无定量评测与线上观测，问题发现滞后，发布无统一审核与权限管控
5. AI 介入在哪一步
AI 承担具体作业（如合规问答、舆情解析、行政流程），并由智能体评测与观测系统承担审计与观测环节——即数字员工的绩效考核：多维定量评估、可视化呈现、实时监控、Prompt 追踪优化、发布全流程线上化分权管控
6. 模型与架构
火山引擎 HiAgent 一站式智能体工作站；Agent DevOps 全流程闭环；融合‘问、写、抽、算、审’五大金融能力；知识库标签管理；混合云异构算力；支撑百亿级 Token 日均调用
7. 数据基础（必填项）
数十万份研报、公告、资讯；内部制度与合规知识库；知识库打标签做来源区分；企业级权限体系与发布审核流程数据；用代表性对话构建测试集，支持业务团队定制评测重点
8. 效果
累计请求量 5000 万次 → 现值；token 调用量超 1000 亿 → 现值；超级研究员月均调用超 20 万次 → 现值；统计口径为内部实际调用（阿里云侧同产品口径为月均近 4 万次，范围不同）
9. 投入
以开源平台起步，后与火山引擎共建中台；遵循‘应用引领、中台赋能、算力筑基’；数字员工从 1.0 单点定制升级至 2.0 智能体 Harness 工程平台；未提及具体人力/预算/周期/推理成本
10. 坑
投稿方未提供
下载 数字员工体系：Agent DevOps 评测与线上观测（中信证券） 复现资料
本案例的投稿文档与附带资产已整理为专属复现包，留资后即可下载。
- 00_说明.txt
- 01_关键信息.md
- 数字员工体系：Agent DevOps 评测与线上观测（中信证券）.docx
分享复现反馈
复现结果、失败条件或内容修正——案例因真实反馈持续改进，提交后即展示在案例页并进入社区动态。
示例：「按复现包部署到测试环境，用 qwen-plus 跑通全流程；线索排序与案例描述一致，但导出报表需手工补字段。」
写清环境/模型、跑通到哪一步、与案例描述的差异即可；署名选填，匿名反馈同样展示；提交即公开，如需下架可联系平台。