$f(f(x))=f(x)+x$
Từ đề bài ta có $f$ đơn ánh, mà $f$ liên tục nên $f$ đơn điệu thực sự
Thay $x$ bởi $0$ ta có $f(f(0)) = f(0)$ nên $f(0) = 0$
Ta sẽ chứng minh $f$ là song ánh
Thật vậy, giả sử tồn tại $a$ sao cho $f(x) \neq a$ $\forall x $
Do $f$ liên tục nên $f(x) > a$ hoặc $f(x) < a$ $\forall x$
Trường hợp 1 : $f(x) > a $ $\forall x$
Nếu $f$ giảm ngặt, ta có $f(x) > a \implies f(f(x)) < f(a)$
$\implies a+x < f(x) +x < f(a)$
Từ đây ta có $x < f() - a$ với mọi $x$. Ta có điều mâu thuẫn
$\implies f$ tăng ngặt. Khi đó ta có với mọi $x$ âm thì $f(x) > f(x) +x = f(f(x)) > f(a) \implies x > a $ $\forall x < 0$ ta có điều mẫu thuẫn
Trường hợp 2 : $f(x) < a$ $\forall x$. trường hợp này có thể chứng minh tương tự trường hợp 1
Vậy $f$ song ánh nên tồn tại hàm ngược
Gọi $g(x) = f_{-1}(x)$ là hàm ngược của $f(x)$
Đặt $f_0(x) = x, f_n(x) = f(f_{n-1}(x))$, ta có dãy như sau
$f_{n+2}(x) - f_{n+1}(x)-f_n{x} = 0$
Ta có công thức tổng quát
$f_n(x) = \frac{f(x)-x(\frac{1-\sqrt{5}}{2})}{\sqrt{5}}.(\frac{1+\sqrt{5}}{2})^n+(\frac{x(\frac{1+\sqrt{5}}{2})-f(x)}{\sqrt{5}}).(\frac{1-\sqrt{5}}{2})^n$ $(1)$
Thay $x$ bởi $g(g(x))$ vào đẳng thức ban đầu ta được dãy : $g(g(x))+g(x) - x = 0$
$\implies g_{n+2}(x)+g_{n+1}(x) - g_n{x} = 0$
Từ đây ta thu được công thức tổng quát
$g_n(x) = \frac{g(x)+x(\frac{1+\sqrt{5}}{2})}{\sqrt{5}}.(\frac{-1+\sqrt{5}}{2})^n+(\frac{x(\frac{-1+\sqrt{5}}{2})-g(x)}{\sqrt{5}}).(\frac{-1-\sqrt{5}}{2})^n$
Thay $x$ bởi $g(x)$ vào đẳng thức ban đầu ta có $f(x) = g(x) + x$ hay $g(x) = f(x) - x$
Vậy ta có $g_n(x) = \frac{f(x)+x(\frac{\sqrt{5}-1}{2})}{\sqrt{5}}.(\frac{-1+\sqrt{5}}{2})^n+(\frac{x(\frac{1+\sqrt{5}}{2})-f(x)}{\sqrt{5}}).(\frac{-1-\sqrt{5}}{2})^n$
Trường hợp 1 : $f$ tăng ngặt , khi đó $f_n(x), g_n(x)$ đều tăng ngặt
Ta có $f(0) = g(0) = 0 \implies f_n(0) = g_n(0) = 0$
Với mỗi $x > 0 $ thì $g_n(x) > g_n(0) = 0$ và $f_n(x) > f_n(0) = 0$
Xét $g_n(x) = \frac{f(x)+x(\frac{\sqrt{5}-1}{2})}{\sqrt{5}}.(\frac{-1+\sqrt{5}}{2})^n+(\frac{x(\frac{1+\sqrt{5}}{2})-f(x)}{\sqrt{5}}).(\frac{-1-\sqrt{5}}{2})^n$
Nếu $(\frac{x(\frac{1+\sqrt{5}}{2})-f(x)}{\sqrt{5}}) < 0$ thì ta chọn $n$ chẵn đủ lớn
Khi $n$ đủ lớn thì $\lim_{n\rightarrow +\infty } (\frac{-1+\sqrt{5}}{2})^n = 0$ và $\lim_{n\rightarrow +\infty } (\frac{-1-\sqrt{5}}{2})^n = + \infty$ nên $g_n(x) < 0$ ta có điều mâu thuẫn
Nếu $(\frac{x(\frac{1+\sqrt{5}}{2})-f(x)}{\sqrt{5}}) > 0$ ta chọn $n$ lẻ đủ lớn , ta lại có $g_n(x) < 0$ nên mâu thuẫn
$\implies (\frac{x(\frac{1+\sqrt{5}}{2})-f(x)}{\sqrt{5}}) = 0$ từ đây ta thu được nghiệm hàm
$f(x) = x . \frac{1+\sqrt{5}}{2}$
Trường hợp 2 : $f$ giảm ngặt . Khi đó $f_{2n}$ tăng, $f_{2n+1}$ giảm ngặt . Khi đó với mọi $x$ dương ta có $f_{2n}(x) > f_{2n}(0) = 0 = f_{2n+1}(0) > f_{2n+1}(x)$
Xét công thức tổng quát $f_n(x) = \frac{f(x)-x(\frac{1-\sqrt{5}}{2})}{\sqrt{5}}.(\frac{1+\sqrt{5}}{2})^n+(\frac{x(\frac{1+\sqrt{5}}{2})-f(x)}{\sqrt{5}}).(\frac{1-\sqrt{5}}{2})^n$ $(1)$
Làm tương tự Trường hợp 1 ta thu được nghiệm hàm $f(x) = x. \frac{1-\sqrt{5}}{2}$
Vậy các hàm thỏa mãn là $f(x) = x. \frac{1-\sqrt{5}}{2}$ và $f(x) = x . \frac{1+\sqrt{5}}{2}$ $\forall x $$\in $ $\mathbb R$