Мы знаем что
[tex]a^2 = b^2\\[/tex]
и
[tex](\mathbf{a}+2\mathbf{b})\cdot(5\mathbf{a}-4\mathbf{b}) = 0\\5a^2 - 8b^2+ 6(\mathbf{a}\cdot \mathbf{b}) = 0\\(\mathbf{a}\cdot \mathbf{b}) = 0.5 a^2 = 0.5b^2[/tex]
Угол между векторами (точнее его косинус)
[tex]\displaystyle\\\cos\alpha = \frac{(\mathbf{a}\cdot\mathbf{b})}{ab} = 0.5b^2/ab = 0.5[/tex]
Это угол в 60 градусов