被人威胁、骚扰，而且他骚扰我家人，并造谣诽谤怎么办

被诽谤后，可以要求侵权人停止侵害、赔礼道歉、赔偿损失。如果协商不成，可以直接报警处理，情节较轻的，由公安机关依据治安管理处罚法处以行政处罚，构成犯罪的，予以刑事拘留。
或者向人民法院提起诉讼。
《治安管理处罚法》第四十二条 有下列行为之一的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款：
(一)写恐吓信或者以其他方法威胁他人人身安全的；
(二)公然侮辱他人或者捏造事实诽谤他人的；
(三)捏造事实诬告陷害他人，企图使他人受到刑事追究或者受到治安管理处罚的；
(四)对证人及其近亲属进行威胁、侮辱、殴打或者打击报复的；
(五)多次发送淫秽、侮辱、恐吓或者其他信息，干扰他人正常生活的；
(六)偷窥、偷拍、窃听、散布他人隐私的。

诽谤罪，是指故意捏造并散布虚构的事实，足以贬损他人人格，破坏他人名誉，情节严重的行为。
1、客体要件,本罪侵犯的客体，是他人的人格尊严、名誉权。犯罪侵犯的对象是自然人。 本罪在犯罪客观方面表现为行为人实施捏造并散布某种虚构的事实，足以贬损他人人格、名誉，情节严重的行为。
（1）须有捏造某种事实的行为，即诽谤他人的内容完全是虚构的。如果散布的不是凭空捏造的，而是客观存在的事实，即使有损于他人的人格、名誉，也不构成本罪.
（2）须有散布捏造事实的行为。所谓散布，就是在社会公开的扩散。散布的方式基本上有两种：一种是言语散布；另一种是文字，即用大字报、小字报、图画、报刊、图书、书信等方法散布。所谓“足以贬损”，是指捏造并散布的虚假事实，完全可能贬损他人的人格、名誉，或者事实上已经给被害人的人格、名誉造成了实际损害。如果散布虚假的事实，但并不可能损害他人的人格、名誉，或无损于他人的人格、名誉，则不构成诽谤罪。
（3）诽谤行为必须是针对特定的人进行的，但不一定要指名道姓，只要从诽谤的内容上知道被害人是谁，就可以构成诽谤罪。如果行为人散布的事实没有特定的对象，不可能贬损某人的人格、名誉，就不能以诽谤罪论处。
（4）捏造事实诽谤他人的行为必须属于情节严重的才能构成本罪。虽有捏造事实诽谤他人的行为，但没有达到情节严重的程度，则不能以本罪论处。所谓情节严重，主要是指多次捏造事实诽谤他人的；捏造事实造成他人人格、名誉严重损害的；捏造事实诽谤他人造成恶劣影响的；诽谤他人致其精神失常或导致被害人自杀的等等情况。
2、主观要件 ,本罪主体是一般主体，凡达到刑事责任年龄、具有刑事责任能力的自然人均能构成本罪。 本罪主观上必须是故意，行为人明知自己散布的是足以损害他人名誉的虚假事实，明知自己的行为会发生损害他人名誉的危害结果，并且希望这种结果的发生。行为人的目的在于败坏他人名誉。如果行为人将虚假事实误认为是真实事实加以扩散，或者把某种虚假事实进行扩散但无损害他人名誉的目的，则不构成诽谤罪。

根据《中华人民共和国民事诉讼法》第一百一十九条的规定：起诉必须符合下列条件：
（一）原告是与本案有直接利害关系的公民、法人和其他组织；
（二）有明确的被告；
（三）有具体的诉讼请求和事实、理由；
（四）属于人民法院受理民事诉讼的范围和受诉人民法院管辖。同时，民事诉讼法第六十四条规定：当事人对自己提出的主张，有责任提供证据。《中华人民共和国民事诉讼法》司法解释第九十条规定：当事人对自己提出的诉讼请求所依据的事实或者反驳对方诉讼请求所依据的事实，应当提供证据加以证明，但法律另有规定的除外。在作出判决前，当事人未能提供证据或者证据不足以证明其事实主张的，由负有举证证明责任的当事人承担不利的后果。《民法通则》第一百零一条规定：公民、法人享有名誉权，公民的人格尊严受法律保护，禁止用侮辱、毁谤等方式损害公民、法人的名誉。第一百二十条规定：公民的姓名权、肖像权、名誉权、荣誉权受到侵害的，有权要求停止侵害、恢复名誉，消除影响、赔礼道歉，并可以要求赔偿损失。《最高人民法院关于贯彻执行〈中华人民共和国民法通则〉若干问题的意见（试行）》第一百四十条规定：以书面、口头等形式宣扬他人的隐私，或者捏造事实公然丑化他人人格，以及用侮辱、诽谤等方式损害他人名誉，造成一定影响的，应当认定为侵害公民名誉权的行为。　　由此可见，你的邻居在没有证据证实的情况下，传播、发布对你不利的犯罪事实，给你的名誉造成了一定侵害，符合起诉的条件，可以起诉维护权益。但你需提供相关的证据证实侵权行为及侵权结果，如无法提供充分的证据证实，则要承担举证不能的后果。