离婚时孩子给了男方，现在离婚已经4年多了，男方现在要结婚，说不要孩子了，我现在已经再婚了，如果我要接受孩子我就得离婚，我没有能力扶养孩子，男方说如果我不要他就直接扔我家去

如果双方都不想要可能会构成遗弃罪的。即使双方离婚，也具有抚养孩子的义务，根据《婚姻法》第三十六条规定， 父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或母直接抚养，仍是父母双方的子女。
离婚后，父母对于子女仍有抚养和教育的权利和义务。

第十九条符合下列条件之一的夫妻，经批准，可以再生育一个子女：
（一）双方均为独生子女，已生育一个子女的；
（二）双方均为农村居民（农业人口，下同），已生育一个女孩的，但一方为机关、团体、事业单位和其他组织职工或一方从事工商业一年以上以及双方与企业建立劳动关系一年以上的除外；
（三）双方均为农村居民，一方两代以上均为独生子女，已生育一个子女的；
（四）双方均为农村居民，女方父母只生育一个或两个女儿，男到女家落户，并赡养女方父母，已生育一个子女的（只适用于姐妹中一人）；
（五）双方均为少数民族，已生育一个子女的；
（六）双方均为农村居民，一方是少数民族并具有本省两代以上户籍，已生育一个子女的；
（七）一方为烈士的独生子女，已生育一个子女的；
（八）一方未生育过，另一方再婚前已生育一个子女的；
（九）一方未生育过，另一方再婚前丧偶并已生育两个子女的；
（十）已生育一个子女，经设区的市以上病残儿童鉴定机构确诊为非遗传性残疾，不能成长为正常劳动力的；