我和我老婆协议离婚，不是一定要起诉吧！

依照婚姻法的有关规定，一方具有四种法定情形之一的，另一方可以在离婚时提出损害赔偿，具体金额未明确规定，根据损害程度和有过错方的经济能力确定。男方可以起诉离婚，如果起诉，对男方不利的条件就是离婚原因是因为男方过错导致。具体分析如下：
1.《婚姻法》规定，有下列情形之一，导致离婚的，无过错方有权请求损害赔偿：
（一）重婚的
（二）有配偶者与他人同居的
（三）实施家庭暴力的
（四）虐待、遗弃家庭成员的。根据你得陈述，男方可能符合第二种情形，女方需对此负举证责任，一旦有证据证明男方有第三者，女方可以在提出离婚时要求损害赔偿，如女方不同意离婚不能要求赔偿。具体赔偿金额法律并未规定，应根据过错方的负担能力和对无过错方的伤害程度及无过错方的请求综合考虑。
2.离婚有两种方式，协议离婚和诉讼离婚，根据陈述，双方无法协议离婚，因此任何一方可通过诉讼要求离婚。
3.男方提出离婚，需要证明夫妻感情确已破裂，如果女方提出证明是因男方过错导致离婚，在分割共同财产上可能对男方不利，同时一旦法院判决离婚，男方应承担在婚姻存续期间所生女儿的一半抚养费用。

可以起诉，但可能法院不会判决撤销离婚协议。《最高人民法院关于适用〈中华人民共和国婚姻法〉若干问题的解释
（二）》第八条离婚协议中关于财产分割的条款或者当事人因离婚就财产分割达成的协议，对男女双方具有法律约束力。　　当事人因履行上述财产分割协议发生纠纷提起诉讼的，人民法院应当受理。《最高人民法院关于适用〈中华人民共和国婚姻法〉若干问题的解释
（二）》第九条男女双方协议离婚后一年内就财产分割问题反悔，请求变更或者撤销财产分割协议的，人民法院应当受理。　　人民法院审理后，未发现订立财产分割协议时存在欺诈、胁迫等情形的，应当依法驳回当事人的诉讼请求。

离婚案件的起诉，是指婚姻关系的一方向人民法院提出依法解除与对方婚姻关系的请求。起诉一方当事人就是原告，被诉的一方当事人就是被告，诉讼开始后，当事人依法享有诉讼权利，承担诉讼义务。
依据我国民事诉讼法的规定，民事案件的起诉必须符合四个条件。离婚案件也属于民事案件，因此起诉也必须符合民事诉讼法的条件并具有自己的特色：
①原告必须是与本案有直接利害关系的个人；
②有明确的被告；
③有具体的诉讼请求和事实、理由；
④属于受诉人民法院管辖。
根据我国《民事诉讼法》的规定，离婚诉讼适用一般地域管辖。即要求离婚的一方，必须向被告户籍所在地人民法院起诉，被告户籍所在地与经常居住地不一致的，则向经常居住地人民法院起诉。
只有具备以上四个条件的离婚案件，人民法院才能受理。
离婚案件起诉时，起诉者应向人民法院提交诉状和副本。诉状包括以下几个方面的内容：
①原告、被告的姓名、性别、年龄、籍贯、工作单位及现住址；
②诉讼请求和所根据的事实和理由；
③证据和证据来源、证人姓名和住址。
人民法院决定受理案件，诉讼离婚程序也随即开始。