我跟他离婚五个月了，协议书写了平常可以回去看孩子，放长假可以带出来我家玩，前几天给他打电话叫他把手机给我儿子，讲了几分钟，因为他过几天生日了，我叫他帮我儿子过生日，过几天五一出来，我再带我儿子去玩，电话里我儿子说要生日蛋糕，我说放假妈妈回去带他出来玩，可他现在却不同意，叫我不要给他发信息跟打电话，我想起诉他，把孩子要回来，可以吗？

1、 哺乳期内的子女的抚养。
离婚后，哺乳期内子女的抚养，以随哺乳的母亲抚养为原则。
2、 两周岁以下子女的抚养。
两周岁以下的子女，一般随母亲生活。但母亲有下列情形之一的，也可以随父亲生活：
1） 母亲患有久治不愈的传染性疾病或其他严重疾病，子女不宜与其共同生活的；
2） 母亲有抚养条件不尽抚养义务，而父亲要求子女随其生活，并对子女健康成长没有不利影响的；
3） 因其他原因，子女确无法随母亲生活的，如母亲的经济能力及生活环境对抚养子女明显不利的，或母亲品行不端（如有赌博、吸毒、乱搞两性关系等恶习不利于子女健康成长的）或因违法犯罪被判服刑不可能抚养子女的等等。
3、 两周岁以上子女的抚养。
对两周岁以上未成年子女的抚养，先由双方协商，若协商不成，则由人民法院根据子女的权益和双方的具体情况作出判决或裁定。法院主要是从以下几个方面考虑双方具体情况：双方的经济能力、个人素质（文化层次）家庭环境、生活环境、对子女的责任感、以及与子女的感情亲密程度等。

父母对未成年孩子的抚养是法律的义务，若双方都不同意抚养孩子的话，则由法院根据相关法律进行判决。与房产分割与否没有必然关系。
《婚姻法》 第三十六条 父母与子女间的关系，不因父母离婚而消除。
离婚后，子女无论由父或母直接抚养，仍是父母双方的子女。 离婚后，父母对于子女仍有抚养和教育的权利和义务。 离婚后，哺乳期内的子女，以随哺乳的母亲抚养为原则。哺乳期后的子女，如双方因抚养问题发生争执不能达成协议时，由人民法院根据子女的权益和双方的具体情况判决。

第三十七条 离婚后，一方抚养的子女，另一方应负担必要的生活费和教育费的一部或全部，负担费用的多少和期限的长短，由双方协议;协议不成时，由人民法院判决。 关于子女生活费和教育费的协议或判决，不妨碍子女在必要时向父母任何一方提出超过协议或判决原定数额的合理要求。

协议变更
根据司法解释规定：“父母双方协议变更子女抚养关系的，应予准许”。可见，无论是协议离婚还是诉讼离婚后，要求变更子女抚养关系的，并非一定要向法院起诉，只要已离婚的双方当事人达成了变更子女抚养关系的协议，而且没有违反法律规定及对子女成长不利的问题，应予准许。
离婚后，经双方协商一致达成的变更子女抚养协议，属于协议离婚的应向办理离婚登记机关备案，属于法院诉讼离婚的，应向原审法院备案。