我们离婚了，孩子三岁半给了男方，他却给我要五万抚养费，抚养费我应该付给他多少

1、你们如果离婚，孩子抚养问题，哺乳期后的子女，如双方因抚养问题发生争执不能达成协议时，由人民法院根据子女的权益（重点考虑跟哪一方在一起更有利于孩子的生活、教育及成长）和双方的具体情况判决。孩子尚小，一般会判由你直接抚养。
2、离婚后，一方抚养的子女，另一方应负担必要的生活费和教育费的一部或全部，负担费用的多少和期限的长短，由双方协议；协议不成时，由人民法院判决（一看子女的实际需要。二看父母双方的负担能力。三结合当地的实际生活水平。然后，对支付义务人有固定收入的，按照月收入的20%至30%按月支付，负担两个以上子女抚育费的，比例可适当提高，但一般不得超过月总收入的50%。对支付义务人无固定收入的，抚养费的数额可依据当年总收入或同行业平均收入，参照上述比例确定。）。但是，关于子女生活费和教育费的协议或判决，不妨碍子女在必要时向父母任何一方提出超过协议或判决原定数额的合理要求。
3、关于房屋问题，该房屋购买在你们婚前，不应作为夫妻共同财产分割，但是，婚内共同还贷一般应当属于你的支付，另外，该支付所产生的房屋增值部分也应当归你。
4、关于孩子的继承权，父母离婚，不能就此改变父子关系的事实，更不能就此排除孩子依法应当享有继承父亲遗产的权利。

双方离婚3岁孩子的抚养权，法院应该会判给背景良好，有稳定收入的一方吧，为了孩子的健康成长，一般人都会觉得这种环境有利于孩子的成长
《婚姻法》
　　第三十六条 父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或母直接抚养，仍是父母双方的子女。

　　离婚后，父母对于子女仍有抚养和教育的权利和义务。
　　离婚后，哺乳期内的子女，以随哺乳的母亲抚养为原则。哺乳期后的子女，如双方因抚养问题发生争执不能达成协议时，由人民法院根据子女的权益和双方的具体情况判决。

　　第三十七条 离婚后，一方抚养的子女，另一方应负担必要的生活费和教育费的一部或全部，负担费用的多少和期限的长短，由双方协议；协议不成时，由人民法院判决。
　　关于子女生活费和教育费的协议或判决，不妨碍子女在必要时向父母任何一方提出超过协议或判决原定数额的合理要求。

抚养费和对方出轨在法律上是不存在关系的，
夫妻离婚与孩子抚养权的离婚也没有关系。
抚养未成年子女是父母双方的义务，如果一方不愿意要孩子，那么就要支付一定的抚养费用，标准在法律上也有规定。