У Димы и Сережи было 12 рублей. Они купили себе по одинаковой книжке, причем на её покупку Дима потратил 2/3 своих денег, а Серёжа 40% своих денег. Сколько денег было у Серёжи и сколько у Димы?

Пусть у Димы - x рублей, у Серёжи-y. 

x+y=12
(2/3)*x=0,4y

Система уравнений её решать можно так:
x=12-y

(2/3)*(12-y)=0,4y
20*(12-y)=12y
240-32y=0
y=240/32
y=7,5
Тогда x=12-7,5=4,5.
Ответ: у Димы-4,5 рублей.у Серёжи-7,5 рублей.