Giải
Phương trình thứ nhất của hệ tương đương:
$(x^3 - 2x^2y) - (15x - 30y) + (24y^2 - 12xy) = 0$
$\Leftrightarrow (x - 2y)(x^2 - 12y - 15) = 0 \Leftrightarrow \left[\begin{matrix}x = 2y\\x^2 = 12y + 15\end{matrix}\right.$
Phương trình thứ hai của hệ tương đương:
$\dfrac{3x^2 + 16xy + 12y^2}{24y} = \sqrt{\dfrac{x^3}{3y} + \dfrac{x^2}{4}}$
Chia cả 2 vế của phương trình cho y rồi đặt $t = \dfrac{x}{y}$, ta có:
$\dfrac{t^2}{8} + \dfrac{2t}{3} + \dfrac{1}{2} = \pm \sqrt{\dfrac{t^3}{3} + \dfrac{t^2}{4}}$
$\Leftrightarrow 3t^2 \pm 4|t|\sqrt{3(4t + 3)} + 4(4t + 3) = 0$
$\Rightarrow 3\dfrac{t^2}{4t + 3} \pm \dfrac{4\sqrt{3}|t|}{\sqrt{4t + 3}} + 4 = 0 \Leftrightarrow \sqrt{3}\dfrac{|t|}{\sqrt{4t + 3}} = \pm 2$
Vì $VT \geq 0 \Rightarrow \sqrt{3}\dfrac{|t|}{\sqrt{4t + 3}} = 2$
$\Leftrightarrow \left[\begin{matrix}t = 6\\t = \dfrac{-2}{3}\end{matrix}\right. \Rightarrow \left[\begin{matrix}x = 6y\\x = \dfrac{-2}{3}y\\\end{matrix}\right.$
Kết hợp với phương trình ban đầu để suy ra nghiệm.