遇到别人栽赃怎么办?我家楼下住着一位…

遇到别人栽赃怎么办?我家楼下住着一位精神异常的老人,敲打和骂人已经3年多了,严重影响休息和工作,3月5日凌晨,大家都在睡觉,又被敲击声吵醒,就下楼来对他说“不要敲了,还让不让人睡觉了”,然后,他就一把向我脸上抓来,将我眼镜扔掉到他们家里。我就在他们家找眼镜,找到眼镜后,我就回家了。他依然在敲打,直到早晨七点多。事后,他女儿找到单位说他胳膊腕部骨折了,说是我用板凳打的,要叫我赔偿,可我根本就没打他,我该怎么办啊。