Dễ thấy diện tích cần tìm là tổng diện tích ba tam giác: $AOB,AOC,BOC$.
$$S_{BOC}=\frac{1}{2}.OB.OC.sinBOC = \frac{1}{2}.\sqrt{10}sin(2\pi - a - b) =-\frac{1}{2}.\sqrt{10}sin( a+b)$$
Bài toán tìm max đã được giải quyết ở http://diendantoanho...y-sqrt10sin-xy/