Lời giải:

Hàm số nghịch biến trong \( (0, \frac{\pi}{2}) \)

\(\Leftrightarrow y' = \cos x \cdot \frac{-m^2 + m + 2}{(3 \sin x - m)^2} < 0,  \forall x \in \left( 0, \frac{\pi}{2} \right) \)

\(\Leftrightarrow \begin{cases} -m^2 + m + 2 < 0 \\ \frac{m}{3} \notin (0, 1) \end{cases} \quad \) \(  \Leftrightarrow \quad \begin{cases} m < -1 \vee m > 2 \\ m \leq 0 \vee m \geq 3 \end{cases} \)

\( \Leftrightarrow m < -1 \vee m \geq 3 \)

Vậy chọn \(\boxed{D}\).