S = 4x²y² – (x² + y² – z²)² = (2xy – x² – y² + z²)(2xy + x² + y² – z²) = ((x + y)²– z²)(z² – (x – y)²) = (x + y + z)(x + y – z)(x – y + z)(y + z – x).

  Рассмотрим треугольник со сторонами x, y, z (неравенства треугольника выполнены по условию). Если его площадь равна s, то по формуле Герона

S = 16s².

  Оценка сверху. Пусть x – наименьшая сторона треугольника. Тогда угол между сторонами не превышает 60°, и наибольшая площадь – у равностороннего треугольника со стороной 8, то есть при  x = y = z = 8.

  Оценка снизу. Пусть x – наибольшая сторона треугольника. Если противолежащий угол острый, то он не меньше 60°, значит, наименьшая площадь – у равностороннего треугольника со стороной 5, то есть при  x = y = z = 5.  Если противолежащий угол тупой, то из теоремы косинусов видно, что наибольшее значение этого угла достигается, когда  x = 8,  а  y = z = 5.  Значит, и площадь наименьшая при этих значениях x, y, z. Но

(5 + 5 + 5)(5 + 5 – 5)³ = 3·5⁴ < (8 + 5 + 5)(5 + 5 – 8)(8 + 5 – 5)² = 3²·5·2⁸.

3·5⁴ ≤ S ≤ 3·8⁴.