我离婚时把房子给了男方，协议房贷也由男方付，可他现在不还房贷，银行说要起诉我，我改怎么办

如果房屋归你老公，那么你无需返还对方的贷款。 离婚后房子归谁这个要视具体情况而定。如：一方婚前已经付清全部房款，并取得房产证，属于婚前财产，归房产证上的个人。夫妻双方婚后共同出资购买，在婚姻存续期内取得房产证，不论房产证上是一方的名字，还是双方的名字，都应认定为夫妻共同财产，归双方所有

夫妻婚姻存续期间发生的债务，在没有事先特殊书面约定前提，属于夫妻共有债务，一方婚前的债务，如果借得钱款用于婚后家庭共同生活，也属于共有债务，需要夫妻一起承担偿还的责任。夫妻俩可以在离婚时自行协议一方承担全部共有债务，但是这份协议不能对抗第三方合法权益。
　　　债权人可以起诉当事人夫妻俩主张债权，可以申请冻结双方各自的财产，胜诉后可以申请执行。夫妻一方就共同债务承担连带清偿责任后，基于离婚协议或者人民法院的法律文书向另一方主张追偿的，人民法院应当支持。

房产也属于财产，所以也可以遵从离婚财产分配原则。根据我国婚姻法及其司法解释的规定，离婚财产分割时，照顾抚养子女的一方，男女双方在同等条件下，照顾女方、照顾残疾或生活困难的一方、照顾无过错一方。
因此，夫妻一方有婚外情，有外遇的，在分割财产时应照顾无过错的一方。按照婚姻法的规定，所谓“有过错”是指存在以下行为：

1.重婚，必须是满足过错方与第三者达到结婚的状态，也就是存在婚姻状态。

2.有配偶者与他人同居，有配偶者与婚外异性，不以夫妻名义，持续、稳定地共同居住。

3.家庭暴力，依据最高人民法院的司法解释，是指：行为人以殴打、捆绑、残害、强行限制人身自由或者其他手段，给其家庭成员的身体、精神等方面造成一定伤害后果的行为;持续性、经常性的家庭暴力，构成虐待。

4.虐待遗弃家庭成员的。必须是长期的虐待遗弃家庭成员的行为，如，生病不给治、不给饭吃、不照顾等等。

因此，如果有外遇导致离婚时，有外遇的一方存在上述任何一种行为，那么其就是有过错的，另一方作为无过错一方在分割财产时可以受到照顾。

但是，必须注意的是，一夜情、通奸、嫖娼等行为并不属于同居或重婚。因此，如果有婚外情、有外遇的一方不存在同居或重婚行为，仅仅是一夜情或者暧昧关系，那么在离婚财产分割时一般会不会照顾受害方。