关于土地纠纷问题在外打工经商，自己租…

关于土地纠纷问题在外打工经商，自己租房子做小生意，门口有一小块越四平方米的公用闲置土地，闲暇用来种点农作物，已经有几年时间，最近邻居眼红，以你是外地人，他是本地人为由想占用该土地，不太同意之下还损坏我们商品，进行无理取闹，扬言要把外地人赶出去，请问这个如何解决？