技術簡介
本團隊開發可信任 AI 模型評測技術，建立符合國際規範的驗測系統與環境，針對語言與影像模型設計準確性、公平性、可靠性、隱私與資安五大面向之評測工具與指標。平台具備自動化題庫、模組化測試與標準化報告功能，能協助產業快速檢測 AI 模型風險，強化可信任性，並銜接 NIST AI RMF、EU AI Act 與 ISO/IEC 相關國際標準。
技術特色
– 依據 NIST AI RMF、ISO/IEC 42001 與 EU AI Act 等標準，建構涵蓋準確性、公平性、可靠性、隱私與資安的完整評測架構，確保檢測結果具國際可比性
– 可依應用場景（語言 / 影像）動態選取測試模組
– 測試題目由審議小組依據國際標準與在地應用需求設計，結合自動化出題與比對流程，可持續擴充題庫並維持評測一致性與可追溯性
– 平台自動化傳送題目、比對回應並計算分數
– 整合Prompt Injection、Jailbreak、對抗樣本等攻擊模組
– 提供隱私洩漏檢測，觀察模型是否輸出個資或敏感資訊
– 測試模組可依需求擴充，支援新興攻擊與風險場景
– 提供 API 介接與自動化報告，利於產業快速導入
技術規格
- 系統核心：Web 介面操作 + API 測試平台
- 評測流程：自動化題庫 → 系統回應 → 比對判斷 → 生成報告
- 測試支援：
– 語言模型：偏見檢測、隱私洩漏測試、Prompt Injection 與 Jailbreak 等紅隊模組。
– 影像模型：對抗樣本檢測、可靠性測試（雜訊、遮擋、低解析度）、準確性比對模組。
- 國際接軌：對應 NIST AI RMF、ISO/IEC 標準與 EU AI Act 要求
應用範圍
- 產業驗測服務：協助企業在 AI 系統部署前進行可信任性檢測
- 政府與法規遵循：支援第三方驗證機制，符合國際標準與政策需求
- 研發與學術單位：提供模型測試數據與客觀量測基準
- 關鍵應用場域：核心為AI大語言模型之客服系統、智慧交通等高風險領域
