我们是协议离婚的孩子归男方抚养，现在女方想要回孩子，孩子已经三岁了，如果起诉的话，怎么办

有证据证明他与别人同居就可以起诉离婚。法律规定，有下列情形之一，调解无效的，应准予离婚： 　　
（一）重婚或有配偶者与他人同居的； 　　
（二）实施家庭暴力或虐待、遗弃家庭成员的； 　　
（三）有赌博、吸毒等恶习屡教不改的； 　　
（四）因感情不和分居满二年的； 　　
（五）其他导致夫妻感情破裂的情形。 　　一方被宣告失踪，另一方提出离婚诉讼的，应准予离婚。

作为女方，以下情形争取到孩子抚养权的可能性较大：
第
一、两周岁以内的子女一般随母亲生活。如果孩子年龄在两周岁以内，双方都争取孩子抚养权，且达不成一致意见的，除非女方患有久治不愈的传染性疾病或其他严重疾病从而不宜与子女共同生活的，一般法院会将抚养权判给女方;
第
二、十周岁以上，双方对抚养权归属发生争执的，要考虑该子女的意见。因此，如果孩子已经十周岁或者更大一些，要争取到孩子抚养权，必须得到孩子的认同，让孩子更愿意跟母亲一起生活。当然让孩子作这样非此即彼的选择未免有些残酷的。
第
三、对于两周岁以上十周岁以下的孩子，女方争取孩子抚养权可优先考虑的情形如下：
1、女方已做绝育手术或因其他原因丧失生育能力的;
2、子女随女方生活时间较长，改变生活环境对子女健康成长明显不利的;
3、无其他子女，而男方有其他子女的;
4、在男女双方的抚养条件，如工作稳定程度、收入情况差距不大的前提下，如果男方对于夫妻感情破裂有过错，如，有家庭暴力、有证据证明的婚外情等，孩子判归女方的可能性较大。
5、男方有不良嗜好，如赌博、酗酒等恶习等。考虑到其恶习对孩子成长有不利影响，法院一般会将孩子判归女方。
6、如果男女双方均无明显过错，各方面条件都相当，如果女方的思想品质好一些，更有时间照顾孩子，得到孩子抚养权的可能性就会更大。
7、父方与母方抚养子女的条件基本相同，双方均要求子女与其共同生活，但子女单独随外祖父母共同生活多年，且外祖父母要求并且有能力帮助子女照顾孙子女或外孙子女的，可作为子女随父或母生活的优先条件予以考虑。
另外，在有利于保护子女利益的前提下，父母双方协议轮流抚养子女的，可予准许。但是具体操作一定要科学合理，必须保证孩子的健康成长

离婚时子女归谁抚养，夫妻双方可以先通过协议离婚的方式来进行确定。如果男女双方离婚时不能够就子女抚养的诸项事宜达成协议的，则通常情况下，需要到法院依法进行诉讼离婚。诉讼过程中，法院会依据双方的实际情况，结合法律的有关规定，最终以有利于子女成长的原则，依法作出判决