有人背地里跟我老公说我跟别的男人有关系，最后导致我们婚姻破裂，可不可以起诉他诽谤或损坏名誉

诽谤罪属于自诉案件。我国刑法规定，侮辱罪、诽谤罪(严重危害社会秩序和国家利益的除外)，暴力干涉他人婚姻自由罪(致使被害人死亡的除外)，虐待家庭成员罪(致使被害人重伤、死亡的除外)，侵占罪，都是告诉才处理的犯罪。
并规定，如果被害人因受强制、威吓而无法告诉，人民检察院和被害人的近亲属也可以告诉。
　　可以直接向人民法院告诉。

名誉侵权诽谤　　
一、概念及其构成　　诽谤罪，是指故意捏造并散布虚构的事实，足以贬损他人人格，破坏他人名誉，情节严重的行为。　　
1、客体要件　　本罪侵犯的客体与侮辱罪相同，是他人的人格尊严、名誉权。犯罪侵犯的对象是自然人。　　
2、客观要件　　本罪在犯罪客观方面表现为行为人实施捏造并散布某种虚构的事实，足以贬损他人人格、名誉，情节严重的行为。　　
(1)须有捏造某种事实的行为，即诽谤他人的内容完全是虚构的。如果散布的不是凭空捏造的，而是客观存在的事实，即使有损于他人的人格、名誉，也不构成本罪，　　
(2)须有散布捏造事实的行为。所谓散布，就是在社会公开的扩散。散布的方式基本上有两种：一种是言语散布;另一种是文字，即用大字报、小字报、图画、报刊、图书、书信等方法散布。所谓“足以贬损”，是指捏造并散布的虚假事实，完全可能贬损他人的人格、名誉，或者事实上已经给被害人的人格、名誉造成了实际损害。如果散布虚假的事实，但并不可能损害他人的人格、名誉，或无损于他人的人格、名誉，则不构成诽谤罪。　　
(3)诽谤行为必须是针对特定的人进行的，但不一定要指名道姓，只要从诽谤的内容上知道被害人是谁，就可以构成诽谤罪。如果行为人散布的事实没有特定的对象，不可能贬损某人的人格、名誉，就不能以诽谤罪论处。　　
(4)捏造事实诽谤他人的行为必须属于情节严重的才能构成本罪。虽有捏造事实诽谤他人的行为，但没有达到情节严重的程度，则不能以本罪论处。所谓情节严重，主要是指多次捏造事实诽谤他人的;捏造事实造成他人人格、名誉严重损害的;捏造事实诽谤他人造成恶劣影响的;诽谤他人致其精神失常或导致被害人自杀的等等情况。　　
3、主体要件　　本罪主体是一般主体，凡达到刑事责任年龄、具有刑事责任能力的自然人均能构成本罪。　　
4、主观要件　　本罪主观上必须是故意，行为人明知自己散布的是足以损害他人名誉的虚假事实，明知自己的行为会发生损害他人名誉的危害结果，并且希望这种结果的发生。行为人的目的在于败坏他人名誉。如果行为人将虚假事实误认为是真实事实加以扩散，或者把某种虚假事实进行扩散但无损害他人名誉的目的，则不构成诽谤罪。

我国刑法规定，侮辱罪、诽谤罪(严重危害社会秩序和国家利益的除外)，暴力干涉他人婚姻自由罪(致使被害人死亡的除外)，虐待家庭成员罪(致使被害人重伤、死亡的除外)，侵占罪，都是告诉才处理的犯罪。并规定，如果被害人因受强制、威吓而无法告诉，人民检察院和被害人的近亲属也可以告诉。
可以直接向人民法院起诉。《刑法》　　第二百四十六条　【侮辱罪、诽谤罪】以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。
前款罪，告诉的才处理，但是严重危害社会秩序和国家利益的除外。通过信息网络实施第一款规定的行为，被害人向人民法院告诉，但提供证据确有困难的，人民法院可以要求公安机关提供协助。