本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

# 使用 Amazon SageMaker Model Monitor 進行資料和模型品質監控
<a name="model-monitor"></a>

Amazon SageMaker Model Monitor 會監控生產中 Amazon SageMaker AI 機器學習模型的品質。使用 Model Monitor，您可以設定：
+ 使用即時端點進行持續監控。
+ 使用定期執行的批次轉換任務進行持續監控。
+ 針對非同步批次轉換任務進行排程監控。

使用模型監控，您可以設定警示在模型品質出現偏差時通知您。及早主動偵測這些偏差可讓您採取更正動作。您可以採取重新訓練模型、稽核上游系統或修正品質問題等動作，而無需手動監控模型或建置額外的工具。您可以使用預先建置監控功能的模型監控，不需要撰寫程式碼。您也可以撰寫程式碼來提供自訂分析，靈活地監控模型。

模型監控會提供下列類型的監控：
+ [資料品質](model-monitor-data-quality.md) - 監控資料品質的偏離。
+ [模型品質](model-monitor-model-quality.md) - 監控模型品質指標中的偏離，例如準確性。
+ [生產中模型的偏差偏離](clarify-model-monitor-bias-drift.md) - 監控模型預測中的偏差。
+ [生產中模型的特徵屬性偏離](clarify-model-monitor-feature-attribution-drift.md) - 監控功能屬性的偏離。

**Topics**
+ [監控生產環境中的模型](how-it-works-model-monitor.md)
+ [Amazon SageMaker Model Monitor 的運作方式](#model-monitor-how-it-works)
+ [資料擷取](model-monitor-data-capture.md)
+ [資料品質](model-monitor-data-quality.md)
+ [模型品質](model-monitor-model-quality.md)
+ [生產中模型的偏差偏離](clarify-model-monitor-bias-drift.md)
+ [生產中模型的特徵屬性偏離](clarify-model-monitor-feature-attribution-drift.md)
+ [排定監控工作](model-monitor-scheduling.md)
+ [Amazon SageMaker Model Monitor 預建容器](model-monitor-pre-built-container.md)
+ [解讀結果](model-monitor-interpreting-results.md)
+ [在 Amazon SageMaker Studio 中以視覺化方式呈現即時端點的結果](model-monitor-interpreting-visualize-results.md)
+ [進階主題](model-monitor-advanced-topics.md)
+ [模型監控常見問答集](model-monitor-faqs.md)

## Amazon SageMaker Model Monitor 的運作方式
<a name="model-monitor-how-it-works"></a>

Amazon SageMaker Model Monitor 會自動監控生產環境中的機器學習 (ML) 模型，並在發生品質問題時通知您。模型監控會使用規則來偵測模型中的偏離，並在發生偏離時向您提出警示。下圖顯示在將模型部署到即時端點的情況下，此程序如何運作。

![使用 Amazon SageMaker Model Monitor 進行模型監控程序。](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/images/model_monitor/mmv2-architecture.png)


您也可以使用模型監控來監控批次轉換工作，而不是即時端點。在這種情況下，Model Monitor 將監控推論輸入和輸出，而不是接收端點的請求並追蹤預測。下圖顯示監控批次轉換工作的程序。

![使用 Amazon SageMaker Model Monitor 進行模型監控程序。](http://docs.aws.amazon.com/zh_tw/sagemaker/latest/dg/images/model_monitor/mmv2-architecture-batch.png)


若要啟用模型監控，請採取下列步驟。這些步驟會循著資料的路徑通過各種資料收集、監控和分析程序。
+ 對於即時端點，啟用端點將傳入請求中的資料擷取到受過訓練的機器學習 (ML) 模型，以及產生的模型預測。
+ 對於批次轉換工作，啟用批次轉換輸入和輸出的資料擷取。
+ 從用來訓練模型的資料集建立基準。基準會計算指標，並建議指標的限制條件。來自模型的即時或批次預測會與限制條件進行比較。如果它們超出限制值，則會將其報告為違規。
+ 建立監控排程，指定要收集哪些資料、收集資料的頻率、如何分析資料，以及要產生哪些報告。
+ 檢查將最新資料與基準進行比較的報告。留意來自 Amazon CloudWatch 的任何回報違規、指標和通知。

**備註**  
模型監控只會計算表格式資料的模型指標和統計資料。例如，將影像做為輸入並根據該影像輸出標籤的影像分類模型仍可受監控。模型監控能夠計算輸出的指標和統計資料，而不是輸入。
模型監控目前僅支援託管單一模型的端點，不支援監控多模型端點。如需有關使用多模型端點的資訊，請參閱[多模型端點](multi-model-endpoints.md)。
Model Monitor 支援監控推論管道。不過，擷取和分析資料是針對整個管道完成的，而不是針對管道中的單個容器。
為了避免對推論要求造成影響，資料擷取會停止擷取需要高磁碟使用量的要求。我們建議您將磁碟使用率保持在 75% 以下，以確保資料擷取持續擷取請求。
如果您在自訂 Amazon VPC 中啟動 SageMaker Studio，則必須建立 VPC 端點，讓 Model Monitor 可與 Amazon S3 和 CloudWatch 進行通訊。如需有關 VPC 端點的詳細資訊，請參閱 *Amazon Virtual Private Cloud 使用者指南*中的 [VPC 端點](https://docs.aws.amazon.com/vpc/latest/privatelink/concepts.html)。如需有關在自訂 VPC 中啟動 SageMaker Studio 的資訊，請參閱[將 VPC 中的 Studio 筆記本連線至外部資源](studio-notebooks-and-internet-access.md)。

### Model Monitor 範例筆記本
<a name="model-monitor-sample-notebooks"></a>

如需逐步說明使用 Model Monitor 搭配即時端點進行端對端工作流程的範例筆記本，請參閱 [Amazon SageMaker Model Monitor 簡介](https://sagemaker-examples.readthedocs.io/en/latest/sagemaker_model_monitor/introduction/SageMaker-ModelMonitoring.html)。

如需可針對監控排程中所選執行來視覺化 statistics.json 檔案的範例筆記本，請參閱 [Model Monitor 視覺化](https://sagemaker-examples.readthedocs.io/en/latest/sagemaker_model_monitor/visualization/SageMaker-Model-Monitor-Visualize.html)。

如需如何建立並存取 Jupyter 筆記本執行個體以用來執行 SageMaker 中範例的指示，請參閱[Amazon SageMaker 筆記本執行個體](nbi.md)。建立並開啟筆記本執行個體後，請選擇 **SageMaker AI 範例**索引標籤，查看所有 SageMaker AI 範例清單。若要開啟筆記本，請選擇筆記本的**使用**索引標籤，然後選擇**建立複本**。