Giải
ĐK: $x^3 - y + 1 \geq 0$
Đặt $t = \sqrt{x^3 - y + 1} \geq 0$, ta được: $x^3 + 3x + (t^2 + 3)t = 0$
$\Leftrightarrow (x^3 + t^3) + 3(x + t) = 0 \Leftrightarrow (x + t)(x^2 - xt + t^2 + 3) = 0 \Leftrightarrow x = -t$
$\Rightarrow x = - \sqrt{x^3 - y + 1} \Leftrightarrow \left\{\begin{matrix}x \leq 0\\x^2 = x^3 - y + 1 \Rightarrow y - 1= x^3 - x^2\end{matrix}\right.$
Phương trình thứ hai của hệ tương đương:
$1 = x^2y^2 + x^2(y + 1) + y^2(x + 1) \, (1)$
$\Leftrightarrow x^2(y^2 + y + 1) + xy^2 + y^2 - 1 = 0$
$\Rightarrow x^2(y^2 + y + 1) + xy^2 + (y + 1)(x^3 - x^2) = 0$
$\Leftrightarrow \left[\begin{matrix}x = 0 \Rightarrow y = 1\\x(y^2 + y + 1) + y^2 + (y + 1)(x^2 - x) = 0\end{matrix}\right. \Leftrightarrow \left[\begin{matrix}\left\{\begin{matrix}x = 0\\y = 1\end{matrix}\right.\\y^2(x + 1) + x^2(y + 1) = 0 \, (2)\end{matrix}\right.$
Ta thấy, từ (1) suy ra: $x^2(y + 1) + y^2(x + 1) = 1 - x^2y^2$.
Vậy, (2) tương đương: $x^2y^2 = 1 \Leftrightarrow xy = \pm 1$
Thay từng trường hợp vào, với điều kiện $x \leq 0$, ta được (x; y) = (-1; -1).
Kết luận: Hệ có nghiệm (x; y) = (0; 1) và (x; y) = (-1; -1)
P/S: Thay hơi rối, bạn thử tìm cách thế vô dễ hơn nhé