Đầu tiên mình góp ý cách kí hiệu của bạn. $\Delta x_{n}$ được hiểu là $x_{n+1} - x_{n}$, còn $\Delta {x^{2}_{n}}$ được hiểu là ${x^{2}_{n+1}} - {x^{2}_{n}}$. Còn sai phân cấp hai (là sai phân của sai phân) được kí hiệu là $\Delta^{2} x_{n}$ và được xác định như sau
$$\begin{align*} \Delta^{2}(x_{n}) & = \Delta(\Delta(x_{n})) \\ & = \Delta(x_{n+1} - x_{n}) \\ & = \Delta(y_{n}) = y_{n+1} - y_{n} & \text{trong đó $y_{n} = x_{n+1} - x_{n}$} \\ & = (x_{n+2} - x_{n+1}) - (x_{n+1} - x_{n}) \\ & = \Delta x_{n+1} - \Delta x_{n} \end{align*}$$
Mình đã ghi chi tiết, thêm kí hiệu $y_{n}$ chỉ để tiện theo dõi chứ thực tế không ai làm như trên (trừ sách nhập môn về sai phân thì có thể). Lưu ý, sai phân của một dãy số cũng là một dãy số mà thôi.
Còn bây giờ mình trả lời tại sao "Nếu $\Delta^{2} x_{n}$ không đổi thì $x_{n}$ có dạng $an^{2} + bn + c$, trong đó $a, b, c$ là các hằng số."
Mình bắt đầu với mệnh đề đơn giản hơn
($\dagger$) "Nếu $\Delta x_{n}$ là hằng số thì $x_{n}$ có dạng $an + b$, trong đó $a, b$ là các hằng số" - Kí hiệu hằng số đó là $c$, nghĩa là $\Delta x_{n} = c$. Như vậy $x_{n+1} - x_{n} = c$ với mọi số nguyên dương $n$, và chúng ta có một dãy cấp số cộng, do đó $x_{n} = x_{1} + (n-1)c = cn + (x_{1} - c)$, chính là dạng $an + b$ (bạn có thể chứng minh lại $x_{n} = x_{1} + (n-1)c$ bằng quy nạp hoặc đọc sách giáo khoa giải tích 11).
Quay lại câu hỏi ban đầu.
Vì $\Delta^{2}x_{n} = \Delta(\Delta x_{n})$ là hằng số nên theo mệnh đề $\dagger$, $\Delta x_{n}$ có dạng $an + b$ (mấu chốt cho lập luận này là mệnh đề $\dagger$ và "sai phân của một dãy số cũng là một dãy số").
$\Delta x_{n} = x_{n+1} - x_{n} = an + b$ với mọi số nguyên dương $n$ thì
$$\begin{align*} x_{n} - x_{1} & = (x_{n} - x_{n-1}) + \cdots + (x_{2} - x_{1}) \\ & = (a\cdot (n-1) + b) + \cdots + (a\cdot 1 + b) \\ & = a\cdot ((n-1) + \cdots + 1) + bn \\ & = \frac{a}{2}\cdot n(n-1) + bn \\ & = \frac{a}{2}\cdot n^{2} + \left(b - \frac{a}{2} \right )n \end{align*}$$
(trên đây là cách mò ra công thức tổng quát (cộng các sai phân liên tiếp), còn để lập luận chặt chẽ thì cần nêu lập luận bằng quy nạp)
Do đó $x_{n} = \frac{a}{2}\cdot n^{2} + \left(b - \frac{a}{2}\right)n + x_{1}$ (lưu ý $x_{1}$ là hằng số) và đây chính là dạng $an^{2} + bn + c$.
Tổng quát hơn, nếu $\Delta^{k}x_{n}$ không đổi thì $x_{n}$ có dạng $a_{0} + a_{1}n + \cdots + a_{k}n^{k}$, trong đó $a_{0}, a_{1}, \ldots, a_{k}$ là các hằng số.