协议离婚时，小孩归男方抚养，现在我又想要回小孩的抚养权怎么办

父母双方协议离婚，对于孩子的抚养权不能达成协议的，可以交由法院依法判决。
1、两周岁以下的子女，一般随母方生活。母方有下列情形之一的，可随父方生活：
（1）患有久治不愈的传染性疾病或其他严重疾病，子女不宜与其共同生活的；
（2）有抚养条件不尽抚养义务，而父方要求子女随其生活的；
（3）因其他原因，子女确无法随母方生活的。
2、父母双方协议两周岁以下子女随父方生活，并对子女健康成长无不利影响的，可予准许。
3、对两周岁以上未成年的子女，父方和母方均要求随其生活，一方有下列情形之一的，可予优先考虑：
（1）已做绝育手术或因其他原因丧失生育能力的；
（2）子女随其生活时间较长，改变生活环境对子女健康成长明显不利的；
（3）无其他子女，而另一方有其他子女的；
（4）子女随其生活，对子女成长有利，而另一方患有久治不愈的传染性疾病或其他严重疾病，或者有其他不利于子女身心健康的情形，不宜与子女共同生活的。
4、父方与母方抚养子女的条件基本相同，双方均要求子女与其共同生活，但子女单独随祖父母或外祖父母共同生活多年，且祖父母或外祖父母要求并且有能力帮助子女照顾孙子女或外孙子女的，可作为子女随父或母生活的优先条件予以考虑。
5、父母双方对十周岁以上的未成年子女随父或随母生活发生争执的，应考虑该子女的意见。
6、在有利于保护子女利益的前提下，父母双方协议轮流抚养子女的，可予准许。

离婚后，法院将孩子判归男方抚养的情况：
第一， 女方有恶性传染疾病，或有其他重大疾病，影响孩子成长的。
第二， 女方长期在外不回家，不尽抚养义务的。
第三， 男方已做绝育手术，或丧失生育能力的。
第四， 男方年纪偏大，再次生育的机率较小，而女方却处于较好的生育期的。
第五， 女方有不良嗜好或其他品质问题，可能会影响孩子的。
第六， 女方收入较低，且工作不稳定，没有固定住所的。

(一)当事人须为合法夫妻并且具有完全民事行为能力
1、协议离婚的当事人双方应当具有合法夫妻身份。以协议离婚方式办理离婚的，仅限于依法办理了结婚登记的婚姻关系当事人。不包括未婚同居和有配偶者与他人非法同居的男女双方，也不包括未办理结婚登记的“事实婚姻”中的男女双方。根据《婚姻登记条例》第十八条的规定，未办理过结婚登记的男女申请离婚登记的，婚姻登记机关不予受理。其间发生的有关身份关系的纠纷，以及涉及子女、财产问题的争议，可以诉请人民法院处理。
2、协议离婚的当事人双方均应当具有完全的民事行为能力。只有完全民事行为能力人才能独立自主地处理自己的婚姻问题。一方或者双方当事人为限制民事行为能力或者无民事行为能力的，即精神病患者、痴呆症患者，不适用协议离婚程序，只能适用诉讼程序处理离婚问题，以维护没有完全民事行为能力当事人的合法权益。
(二)协议离婚当事人双方必须具有离婚的共同意愿
“双方自愿”是协议离婚的基本条件，协议离婚的当事人应当有一致的离婚意愿。这一意愿必须是真实而非虚假的；必须是自主作出的而不是受对方或第三方欺诈、胁迫或因重大误解而形成的；必须是一致的而不是有分歧的。对于一方要求离婚的，婚姻登记机关不予受理，只能通过诉讼离婚解决争议。
(三)对子女和财产问题已有适当处理
“对子女和财产问题已有适当处理”是协议离婚的必要条件。如果婚姻关系当事人不能对离婚后的子女和财产问题达成一致意见、作出适当处理的话，则不能通过婚姻登记程序离婚，而只能通过诉讼程序离婚。
1、对子女问题有适当处理，是指对双方离婚后有关子女抚养、教育、探望等问题，在有利于保护子女合法权益的原则下作了合理的、妥当的安排。包括子女由哪一方直接抚养，子女的抚养费和教育费如何负担、如何给付等等。由于父母与子女的关系不因父母离婚而消除，协议中还可以约定不直接抚育方对子女探望权利行使的内容，包括探望的方式、时间等。
2、对财产问题有适当处理，主要包括：
(1)在不侵害任何一方合法权益的前提下，对夫妻共同财产作合理分割，对给予生活困难的另一方以经济帮助作妥善安排，并切实解决好双方离婚后的住房问题；
(2)在不侵害国家、集体和第三人利益的前提下，对共同债务的清偿作出负责的处理。