在离婚时已有一儿一女，双方协议离婚：男方抚养女儿，女方抚养儿子。

协议离婚又称两愿离婚或登记离婚，我国《婚姻法》中称作双方自愿离婚，指婚姻关系因双方当事人的合意而解除的离婚方式。《婚姻法》第三十一条规定，男女双方自愿离婚的，准予离婚。
双方必须到婚姻登记机关申请离婚。婚姻登记机关查明双方确实是自愿并对子女和财产问题已有适当处理时，发给离婚证。 依据不同的分类标准，可以将协议离婚分作不同的种类。综观各国的法律规定，对协议离婚大致有以下两种分类：
第一，以认可离婚的机关或适用程序为标准，协议离婚分为行政协议离婚和诉讼协议离婚。
①行政协议离婚是经过行政程序办理的协雄离婚，其中的行政机关包括户籍机关(如日本、蒙古的情况)、民事机关(如墨西哥的情况)、其他行政机关(如丹麦、挪威的情况①)。②诉讼协议离婚是由法院通过审判程序办理的协议离婚。
它又分作两种情况：其一，当事人的离婚协议须经法院审批(如法国的情况);其二，当事人的离婚协议须经法院裁决(如奥地利的情况)。
第二，以达成合意的方式为标推，协议离婚又可以分为三类：①由当事人双方共同申请的离婚。
即当事人先对全部离婚问题达成合意，然后提出申请。②一方提出离婚问题的要求，另一方予以承诺的离婚。③调解离婚。这种类型有两种：其一，一方当事人要求离婚，经调解双方就全部离婚问题达成合意。
其二，双方当事人都同意解除夫妻人身关系，经调解双方又对其后果达成合意。

离婚关于子女抚养权的问题，由双方协议处理，无法达成协议的，由人民法院从有利于子女身心健康以及保障子女合法权益出发，根据具体情况判决，两周多以下的子女，一般随母方生活；对两周岁以上未成年子女，双方均要求抚养的，一方有以下情形之一的，可予优先考虑：
1、已做绝育手术或其他原因丧失生育能力的；
2、子女随其生活时间较长，改变生活环境对子女身心健康明显不利的；
3、无其他子女，另一方有其他子女的；
4、子女随其生活，对子女成长有利，另一方有不利于子女身心健康的情形；对十周岁以上的子女，要考虑该子女的意愿。

你好，从法律角度讲你可以要回孩子的抚养权，但从情感角度来说建议你跟孩子的爷爷奶奶耐心详谈，毕竟你的孩子现在是他们唯一的安慰，可以跟他们谈孩子后续的教育等问题，毕竟老人不可能像你一样能陪孩子走更远。可以折中一下要求他们把抚养权转到你名下但孩子继续生活在他们身边，类似这种折中方式可能大家都能接受一点