Mình lý luận không được chắc chắn lắm có gì sai sót mong bạn chỉ giúp.
đặt $a=x+y,b=xy$
thì $a^2|a^3-3ab-b^2$ hay $a^2|3ab+b^2$
Từ đó $ka^2-3ab-b^2=0$
Coi đây là phương trình bậc 2 ẩn $a$ thì
$\Delta =b^2(4k+9)$ nên $4k+9$ phải là số chính phương lẻ.
Từ đó tính được $k=m^2+m-2$
thay vào công thức nghiệm được $a= \frac{b}{m-1}$ hoặc $a= \frac{b}{m+2}$
Cả 2 đều chứng tỏ $a|b$ hay $x+y|xy$ nghĩa là $xy=p(x+y)$
Từ đề bài thì tử số phải không âm hay
$x+y \geq 3p+p^2$
Nếu $x=y$ thì $p= \frac{x}{2}$ thay vào có $x \leq 2$
$x=y=1$ KTM, $x=y=2$ TM.
TH còn lại xử lí như trên.