见解析
(1)证明:设x1<x2,则x2-x1>0,
∵f(a+b)=f(a)+f(b)-1,
∴f(x2)-f(x1)=f(x2-x1+x1)-f(x1)=f(x2-x1)+f(x1)-1-f(x1)=f(x2-x1)-1,
∵x2-x1>0,由x>0时,f(x)>1,
∴f(x2-x1)>1,
∴f(x2-x1)-1>0,
∴f(x2)-f(x1)>0,
∴f(x2)>f(x1),
∴f(x)是R上的增函数.
(2)解:∵f(a+b)=f(a)+f(b)-1,f(4)=5,
∴f(4)=f(2)+f(2)-1=5,
∴f(2)=3,
∵f(3m-4)<3,
∴f(3m-4)<f(2),
∵f(x)是R上的增函数,
∴3m-4<2,
解得:m<2.
∴当f(4)=5时,不等式f(3m-4)<3的解集为:(-∞,2).