Amazon Comprehend のカスタム分類モデルはトレーニングデータを読み込むと解析結果の指標を作成する為にテストを行います。
テストにはテストデータが必要になります。モデル生成時にテストデータをどうするかを指定できます。

Autosplit
「Autosplit」を指定するとトレーニングデータの10%が自動的にテストデータとして使用されます。
Customer provided
自前で作成したテストデータを使用したい場合「Customer provided」を指定します。
テストデータのフォーマット
テストデータも調教データ(トレーニングデータ)と同様のフォーマットで作成します。
テストデータの使用
テストデータを使用するには、あらかじめS3バケットにテストデータファイルをアップロードしておく必要があります。
モデル作成時にS3にアップロードしたテストデータファイルをテストデータとして指定できます。