我离婚时孩子抚养权给男方了，也不付抚养费，现在想要回孩子抚养权怎么办孩子今年四岁

1、两周岁以下的子女，一般随母方生活，母方有下列情形之一的，可随父方生活：
(1)患有久治不愈的传染性疾病或其他严重疾病，子女不宜与其共同生活的;
(2)有抚养条件不尽抚养义务，而父方要求子女随其生活的;
(3)因其他原因，子女确无法随母方生活的。
2、父母双方协议两周岁以下子女随父方生活，并对子女健康成长无不利影响的，可予准许。
3、对两周岁以上未成年的子女，父方和母方均要求随其生活，一方有下列情形之一的，可予优先考虑：
(1)已做绝育手术或因其他原因丧失生育能力的;
(2)子女随其生活时间较长，改变生活环境对子女健康成长明显不利的;
(3)无其他子女，而另一方有其他子女的;
(4)子女随其生活，对子女成长有利，而另一方患有久治不愈的传染性疾病或其他严重疾病，或者有其他不利于子女身心健康的情形，不宜与子女共同生活的。
4、父方与母方抚养子女的条件基本相同，双方均要求子女与其共同生活，但子女单独随祖父母或外祖父母共同生活多年，且祖父母或外祖父母要求并且有能力帮助子女照顾孙子女或外孙子女的，可作为子女随父或母生活的优先条件予以考虑。
5、父母双方对十周岁以上的未成年子女随父或随母生活发生争执的，应考虑该子女的意见。
6，在有利于保护子女利益的前提下，父母双方协议轮流抚养子女的，可行准许。