Cross-platform accelerated machine learning. Built-in optimizations speed up training and inferencing with your existing technology stack.
ONNX Runtime AI (https://onnxruntime.ai/) 是一個由微軟開發的開源機器學習推理平台。它專注於優化和加速來自各種框架(例如 ONNX、PyTorch 和 TensorFlow)的機器學習模型的推論。
ONNX Runtime AI 提供:
* **高性能:** 高效的推論,利用多個後端(例如 CPU、GPU 和 FPGA)實現最佳性能。
* **跨平台:** 支援 Windows、Linux、MacOS 和雲端平台。
* **易於使用:** 簡單的 API 和工具,簡化模型部署和推論。
* **客製化:** 可擴充的架構,允許用戶自定義並整合自定義算子和後端。
ONNX Runtime AI 廣泛應用於:
* **邊緣裝置:** 低功耗裝置上的機器學習推論。
* **雲端服務:** 擴充雲端部署的機器學習推論。
* **模型優化:** 加速和優化機器學習模型的效能。
* **研究與開發:** 探索和評估機器學習模型的推論能力。