LLMOps工具大全

Snorkel AI

Snorkel AI

Snorkel AI 是面向前沿 AI 的专家级数据开发公司:为前沿大模型与智能体构建专业训练数据、基准测试(SWE-bench、OSWorld 2.0、Terminal-Bench、BigLaw Bench 等)与评估环境,帮助模型在金融、法律、保险、科研等高利害领域落地;合作方含 Google、Anthropic、Microsoft、Mistral、Stanford。

8.5
智能体 数据分析 企业级安全 +1
企业定制(合作/销售引导,需联系获取数据集样本与方案)
详情 →
LangSmith

LangSmith

LLM应用调试评估与监控平台

8
代码调试 有免费版
免费+付费
详情 →
Hopscotch

Hopscotch

Hopscotch:统一 LLM API 网关——单 Base URL 接入 500+ 模型,无加价按量计费、细粒度支出限额与跨供应商回退

8
智能体 数据分析 提供API +2
预付费信用(按量,无加价)
详情 →
IQ Routing

IQ Routing

LLM 调用网关/路由器:以同一端点代理 OpenAI、Anthropic、Google 等兼容 SDK 的请求,按每次调用乃至每个步骤动态选择性价比最高且不低于质量阈值的模型,内置语义缓存、细粒度成本记账与预算管控,宣称可削减 40–80% 支出、30 秒接入。

7.8
数据分析 提供API 企业级安全 +1
freemium
详情 →
TrackMCP

TrackMCP

TrackMCP 是面向 MCP 服务器的使用分析与可观测性工具:在现有 MCP 服务外包一行代码(withTrackMCP,npm 包 @trackmcp/sdk,兼容官方 TypeScript 与 Python SDK,无需手工埋点)即可实时看板,追踪谁在用(Claude/Cursor/ChatGPT/自定义 agent 各占多少、新增与回访)、在做什么(工具调用序列组成的会话与工作流、在何处中断)、是否做成(完成率、结果、回访率)以及该修什么(错误率、重试次数、模式不匹配等“静默失败”),并用英文简报给出结论与下一步修复建议。

7.5
智能体 数据分析
Promptic

Promptic

Promptic:GenAI 优化平台——一键按业务指标优化提示词与智能体,OpenTelemetry 全链路追踪与多模型基准对比

7.3
智能体 数据分析 提示词工程 +1
分层订阅(Free/Team/Business/Enterprise)
详情 →
暂无工具