我的情况有点复杂，我有两个孩子，大女儿快9岁了，小儿子4岁了，我和丈夫的关系一直很难结婚，我建议离婚，如果我不养育孩子，什么都不要，可以吗？

离婚时，儿子究竟跟谁生活由谁来抚养，一般是根据“有利于子女健康成长”的原则来决定。 《婚姻法》第三十六条第三款规定：离婚后，哺乳期内的子女，以随哺乳的母亲抚养为原则。
哺乳期后的子女，如双方因抚养问题发生争执不能达成协议时，由人民法院根据子女的利益和双方的具体情况判决。

根据我国《婚姻法》第二十一条规定：“父母对子女有抚养教育的义务；子女对父母有赡养扶助的义务。父母不履行抚养义务时，未成年的或不能独立生活的子女，有要求父母付给抚养费的权利。
子女不履行赡养义务时，无劳动能力的或生活困难的父母，有要求子女付给赡养费的权利。”
我国《未成年人保护法》第八条规定：“父母或者其他监护人应当依法履行对未成年人的监护职责和抚养义务，不得虐待、遗弃未成年人……”所以，夫妻离婚时都不要孩子，不仅有背社会主义道德，更为我国法律所不许。
最高人民法院《关于人民法院审理离婚处理子女抚养问题的若干具体意见》第二十条规定：“在离婚诉讼期间，双方均拒绝抚养子女的，可先行裁定暂由一方抚养。”双方应当就子女问题进行协商，按照婚姻法有关规定确定由哪一方抚养，由另一方支付抚养费。
如果双方不能达成协议，则应由人民法院判决由有能力条件的一方抚养。
一般情况下，法院在判决时主要考虑子女随哪一方生活更有利于子女健康成长，综合双方的经济条件、品格、职业等因素。
如果被指定的一方拒不履行抚养义务，法院可以采取制裁措施迫使其履行自己的义务。

既然在离婚房子协议注明房子归孩子，那不管孩子归谁抚养，房子仍应该根据协议约定归孩子所有，抚养孩子的一方只是因小孩未成年，而对归孩子所有的房子行使监护权。
　　另外，根据《物权法》的规定，房屋等不动产的所有权应以房屋产权登记为准，所以，在办理离婚后，双方应该根据离婚协议约定，及时将房屋产权过户到小孩名下，以免以后产生纠纷。