Kí hiệu $P(m,n)$ là thay $x$ bởi $m$, $y$ bởi $n$ trong phương trình hàm đề bài.
$P(0,0)$ $f(-1)+(f(0))^{2}=-1$
$P(0,-1)$ $=> f(-1)+f(0)f(-1)=-1$
$=> f(0)(f(0)-f(-1))=0$
$<=> \begin{bmatrix}f(0)=0 & \\ f(0)=f(-1) & \end{bmatrix}$
Nếu $f(0)=f(-1)$ thì theo như trên suy ra được:
$f(0)^{2}+f(0)=-1$. Rõ ràng phương trình này vô nghiệm trên $\mathbb{R}$ nên loại TH này
$=> f(0)=0$. Theo $P(0,0)$ $=> f(-1)=-1$
$P(1,1)$ $=> (f(1))^{2}=1$
$<=> \begin{bmatrix}f(1)=1 & \\ f(1)=-1 & \end{bmatrix}$
Nếu $f(1)=1$
$P(x,1)$
$=> f(x)+f(x-1)=2x-1$ (1)
Trong $(1)$ thay $x$ bởi $xy$:
$f(xy-1)+f(xy)=2xy-1$.
$=> f(xy)=f(x)f(y)$
Trong (1), thay $x$ bởi $x^{2}+2x+1$:
$f(x^{2}+2x+1)+f(x^{2}+2x)=2x^{2}+4x+1$
$<=> f(x)f(x+2)+(f(x+1))^{2}=2x^{2}+4x+1$
Đặt $f(x+2)=a,f(x+1)=b,f(x)=c$
Ta có:
$\left\{\begin{matrix}a+b=2x+3 & & \\b+c=2x+1 & & \\ac+b^{2}=2x^{2}+4x+1 & & \end{matrix}\right.$( dễ dàng suy ra bằng việc thay đổi giá trị $x$ trong (1))
$=> \left\{\begin{matrix}a=c+2 & & \\b=2x+1-c & & \\ac+b^{2}=2x^{2}+4x+1 & & \end{matrix}\right.$
$=> c(c+2)+(2x+1-c)^{2}=2x^{2}+4x+1$
Sau khi khai triển và thu gọn phương trình trên, ta được:
$2(c-x)^{2}=0$
$<=> c=x$
$<=> f(x)=x$ $\forall x\in \mathbb{R}$ . Thử lại thấy thỏa nên nhận hàm.
Nếu $f(1)=-1$
$P(x,1)$
$=> f(x-1)-f(x) =2x-1$(2)
Trong $(2)$ thay $x$ bởi $xy$:
$f(xy-1)+f(xy)=2xy-1$.
$=> f(xy)=-f(x)f(y)$
Trong (2), thay $x$ bởi $x^{2}+2x+1$:
$-f(x^{2}+2x+1)+f(x^{2}+2x)=2x^{2}+4x+1$
$<=>- f(x)f(x+2)+(f(x+1))^{2}=2x^{2}+4x+1$
Đặt $f(x+2)=a,f(x+1)=b,f(x)=c$
Ta có:
$\left\{\begin{matrix}b-a=2x+3 & & \\c-b=2x+1 & & \\b^{2}-ac=2x^{2}+4x+1 & & \end{matrix}\right.$( dễ dàng suy ra bằng việc thay đổi giá trị $x$ trong (2))
$=> \left\{\begin{matrix}a=c-4x-4 & & \\b=c-2x-1& & \\b^{2}-ac=2x^{2}+4x+1 & & \end{matrix}\right.$
$=> (c-2x-1)^{2}-c(c-4x-4)=2x^{2}+4x+1$
Sau khi khai triển và thu gọn phương trình trên, ta được:
$2c=-2x^{2}$
$<=> c=-x^{2}$ $<=> f(x)=-x^{2}$ $\forall x\in \mathbb{R}$.
Thử lại thấy thỏa nên nhận hàm trên.
Vậy $f(x)=x$, $f(x)=-x^{2}$ $\forall x\in \mathbb{R}$.