当初协议离婚，孩子归男方扶养，离婚三年，每次看孩子都很艰难，想要回孩子扶养权

两周岁以下的子女，一般随母方生活。母方有下列情形之一的，可随父方生活： 　　
（1）患有久治不愈的传染性疾病或其他严重疾病，子女不宜与其共同生活的； 　　
（2）有抚养条件不尽抚养义务，而父方要求子女随其生活的； 　　
（3）因其他原因，子女确无法随母方生活的。

协议离婚又称两愿离婚或登记离婚，我国《婚姻法》中称作双方自愿离婚，指因双方当事人的合意而解除的离婚方式。协议离婚通办完了，当事人任何一方不能返悔。
离婚协议书应当载明双方当事人自愿离婚的意思表示以及对财产及债务处理等事项协商一致的意见。如果双方都同意离婚，并且对子女抚养、能够达成协议，自2003年10月1日《婚姻登记条例》修改实施后，到民政部门办理协议离婚十分便捷。
根据最高人民法院关于适用《中华人民共和国》若干问题的解释
(二)
第八条规定：“离婚协议中关于的条款或者当事人因离婚就财产分割达成的协议，对男女双方具有法律约束力”。
据此，如果是通过，且已办完了，当事人任何一方不能返悔。但是，如果任何一方在一年内因履行协议发生争议而诉至法院的，人民法院受理，但经审理查明订立协议过程中不存在欺诈、胁迫等情形的，法院应当驳回原告诉讼请求。
值得注意的是，“离婚协议”是指双方在办理协议离婚手续时所提交的“协议”，是已经生效的协议，而不是指在协商离婚事宜过程中签订的“离婚协议”。在没有离婚之前，就离婚相关事宜达成的“离婚协议”是附条件协议，没有离婚，协议就没有生效，不能作为人民法院作为离婚财产分割的充分、全面的依据，而只能被人民法院在审理离婚案件中充分参考。
离婚协议书的主要内容
1、男女双方的姓名、工作单位、家庭住址;
2.离婚原因;
3.财产处理(婚前婚后);
4.和教育;
5.住房的归属;
6、其他约定(债权债务等).
7、应附上：户口证明、居民身份证复印件;双方所在单位、村民委员会或者居民委员会出具的介绍信;结婚登记机关发给的。

我国《婚姻法》第46条规定，有下列情形之一的，导致离婚的，无过错方有权请求损害赔偿：

1、重婚的；

2、有配偶者与他人同居的；

3、实施家庭暴力的；

4、虐待、遗弃家庭成员的。

因此，若因遭受家庭暴力，是可以向另一方主张赔偿的。
然而，在司法实践中，有个前置条件，就是离婚才可以要求实施家庭暴力行为者赔偿，虽然实施家庭暴力的行为应当承担相应的法律责任，不过大多数法官坚持的还是《婚姻法》第46条的规定，即在婚姻关系存续期间，是不能主张婚内赔偿的。
如果要主张人身损害赔偿，应当在离婚诉讼时一并提出，而不是就损害事实进行分别审理。