Так как  \(x^{2}-8x+64=(x-8)^{2}=\left | x-8 \right |^{2}\) , то неравенство можно записать в виде:

\(\left | x-8 \right |^{2}-5\left | x-8 \right |<0\) . Преобразуем неравенство к виду  \(\left | x-8 \right |\cdot \left ( \left | x-8 \right | -5\right )<0\) .

Первый множитель, стоящий в левой части неравенства больше нуля для всех значений x, кроме x=8. Следовательно,  второй множитель должен быть меньше нуля, т.е. \(\left | x-8 \right |-5<0\) . Решим это неравенство:

\(\left | x-8 \right |<5\Leftrightarrow \left\{\begin{matrix}x-8<5\\ x-8>-5\end{matrix}\right.\Leftrightarrow \left\{\begin{matrix}x<13,\\ x>3\end{matrix}\right.\).

Таким образом, решением исходного неравенства  является интервал (3;13) за исключением x=8. Целыми решениями неравенства являются числа: 4, 5, 6, 7, 9, 10, 11, 12 .