「選択とマスク」で設定した後に、OKを押すまえに選択した部分の「出力先」を間違えて「レイヤーマスク」にしてしまった可能性が考えられます。

「選択とマスク」で設定した後に、選択した部分の「出力設定」の「出力先」を必ず「選択範囲」にしてください。