离婚两年，现在想要回孩子的抚养权双方协商男方不同意，怎么办

一方有外遇 ，离婚时应该少分或不分财产。有外遇，属于过错方，当事人可以要求损害赔偿。
应从有利于小孩的教育和成长的角度确定小孩的抚养关系。当事人收集上述证据后，就可以得到孩子的抚养权。
主要是双方的经济水平、对方的过错程度、与孩子的关系等等。

争取孩子的抚养权，应当做好充分的准备。
起诉要回孩子抚养权，法院会考虑双方的工作性质、工作稳定性、经济状况等以有利于孩子健康成长为原则判决归谁抚养，因此可以从这些方面着手收集证据。
1、双方基本条件。即使夫妻双方的基本条件，如经济条件、教育程度等差异可能会不大，但并不表示就没有差。比如，一方的思想品质，就在争取孩子抚养权方面尤为重要，因为直接抚养方的思想品质，会直接影响下一代的健康成长。
如果一方的教育水平比较高，可以对孩子学习方面进行指导。
2、双方父母基本条件。城市生活节奏较快，很多时候，真正带孩子的往往不是夫妻任何一方，特别是对于学龄前儿童，通常是一方的父母带。
3、孩子生活环境方面。离婚案件中孩子抚养问题的处理原则，是不影响孩子的健康成长。如果双方离婚，但有一方距离学校较近，或生活小区成熟，对孩子入学、生活最为有利，当然得到孩子抚养权的可能性就会更大。
4、孩子的意见。这一点相当重要一般，法院在处理抚养问题上，会认真听取十周岁以上孩子的意见，并做笔录入卷。在离婚前或离婚过程中，做好孩子的思想工作，使孩子愿意随自己生活是尤为重要的。

男方不同意离婚，可以起诉离婚，婚外情是离婚的法定理由之一，女方可以起诉离婚要求男方支付离婚损害赔偿。下列情形的，无过错方有权请求损害赔偿：
　　
一、重婚的；

　　
二、有配偶者与他人同居的；

　　
三、实施家庭暴力的；

　　
四、虐待、遗弃家庭成员的。