因为他有家庭 了

可能你的态度让他产生了误会 或者他本人比较敏感 ,因此觉得需要回避这件事情 

而且一个已经有家室的女人跟另一个男人走的太近 ,去人家的家里本来就会被说闲话 。他要顾及她丈夫的感受 ,更要在乎别人的眼光