做治理和可观测
Codex 为 enterprise teams 提供两类能力:
Codex 为 enterprise teams 提供两类能力:
- 看清 adoption 和 impact。
- 为 security 与 compliance programs 提供 auditability。
日常跟踪可以用 self-serve dashboard;需要程序化报表时用 Analytics API;需要把详细 logs 接入治理体系时用 Compliance API。
Ways to Track Codex Usage
根据使用场景不同,Codex usage 可以通过三种方式监控:
| 方式 | 适合场景 |
|---|---|
| Analytics Dashboard | 快速查看 adoption 和 code review impact。 |
| Analytics API | 把 structured daily metrics 拉入 data warehouse 或 BI tools。 |
| Compliance API | 导出 detailed activity logs,用于 audit、monitoring 和 investigations。 |
Analytics Dashboard
https://developers.openai.com/images/codex/enterprise/analytics.png
Dashboards
analytics dashboard 允许 ChatGPT workspace administrators 跟踪 feature adoption。
Codex 提供下面这些 dashboards:
- Daily users by product,包括 CLI、IDE、cloud、Code Review。
- Daily code review users。
- Daily code reviews。
- Code reviews by priority level。
- Daily code reviews by feedback sentiment。
- Daily cloud tasks。
- Daily cloud users。
- Daily VS Code extension users。
- Daily CLI users。
Data Export
Administrators 也可以把 Codex analytics data 导出为 CSV 或 JSON format。
Codex 提供下面这些 export options:
- Code review users and reviews:每天的 unique users,以及 Code Review 中 completed reviews total。
- Code review findings and feedback:comments、reactions、replies、priority-level findings 的 daily counts。
- cloud users and tasks:daily unique cloud users,以及 completed cloud tasks。
- CLI and VS Code users:Codex CLI 与 VS Code extension 的 daily unique users。
- Sessions and messages per user:跨 surfaces 统计每个 Codex user 的 daily session starts 和 user message counts。
Analytics API
当你需要自动化 reporting、构建 internal dashboards,或把 Codex metrics 与现有 engineering data 合并时,使用 Analytics API。
What It Measures
Analytics API 为 workspace 提供 daily、time-series metrics,并支持 optional per-user breakdowns 和 per-client usage。
Endpoints
Daily Usage and Adoption
- Daily totals for threads、turns 和 credits。
- Breakdown by client surface。
- Optional per-user reporting,用于 adoption 和 power-user analysis。
Code Review Activity
- Pull request reviews completed by Codex。
- Total comments generated by Codex。
- Severity breakdown of comments。
User Engagement with Code Review
- Replies to Codex comments。
- Reactions,包括 upvotes 和 downvotes。
- Engagement breakdowns,用来分析 teams 如何响应 Codex feedback。
How It Works
Analytics 是 daily 和 time-windowed 的。
results 按时间排序,并通过 cursor-based pagination 分页返回。
你可以按 workspace 查询,也可以选择 group by user,或在 workspace level 做 aggregate。
Common Use Cases
- Engineering observability dashboards。
- Adoption reporting for leadership updates。
- Usage governance and cost monitoring。
Compliance API
当你需要 security、legal 和 governance workflows 所需的 auditable records 时,使用 Compliance API。
What It Measures
Compliance API 让 enterprises 可以导出 Codex activity 的 logs 和 metadata,并把这些数据接入已有 audit、monitoring 和 security workflows。
它面向 eDiscovery、DLP、SIEM 或其他 compliance systems 这类工具链。
对于通过 ChatGPT authenticated 的 Codex usage,Compliance API exports 会提供 Codex activity 的 audit records,可用于 investigations 和 compliance workflows。
这些 audit logs 最多保留 30 days。
通过 API key authenticated 的 Codex usage 遵循你的 API organization settings,不包含在 Compliance API exports 中。
What You Can Export
Activity Logs
- Prompt text sent to Codex。
- Responses Codex generated。
- Identifiers,例如 workspace、user、timestamp 和 model。
- Token usage 以及 related request metadata。
Metadata for Audit and Investigation
record metadata 可以帮助回答这类问题:
- Who ran a task。
- When it ran。
- Which model was used。
- How much content was processed。
Common Use Cases
- Security investigations。
- Compliance reporting。
- Policy enforcement audits。
- Routing events into SIEM and eDiscovery pipelines。
What It Does Not Provide
- Lines of code generated:这是 noisy productivity proxy,也可能诱导错误行为。
- Acceptance rate of suggestions:通常接近 100%,因为 users 往往先接受 change。
- Code quality 或 performance KPIs。
Recommended Pattern
大多数 enterprises 会组合使用下面三类能力:
- Analytics Dashboard:self-serve monitoring 和 quick answers。
- Analytics API:automated reporting 和 BI integration。
- Compliance API:audit exports 和 investigations。