我们是协议离婚，当时子女抚养权归男方，但子女户口一直跟着女方，现想更改子女抚养权归女方，如何办理

既然是协议离婚，那就协商咯，协商不成就请求法院判决，法院在实践中的对离婚后子女的抚养权的处理一般是这样的： 根据最高人民法院《关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》，对两周岁以上未成年的子女，父方和母方均要求随其生活，一方有下列情形之一的，可予优先考虑：
（１）已做绝育手术或因其他原因丧失生育能力的；
（２）子女随其生活时间较长，改变生活环境对子女健康成长明显不利的；
（３）无其他子女，而另一方有其他子女的；
（４）子女随其生活，对子女成长有利，而另一方患有久治不愈的传染性疾病或其他严重疾病，或者有其他不利于子女身心健康的情形，不宜与子女共同生活的。 父母双方对十周岁以上的未成年子女随父或随母生活发生争执的，应考虑该子女的意见。 在有利于保护子女利益的前提下，父母双方协议轮流抚养子女的，可予准许。

关于离婚后小孩抚养权的归属问题，原则上来说是以协商为主的，如果父母双方协商不成，那么可以诉讼解决，一般来说是以有利于孩子的健康成长为原则来判决孩子的抚养权到底归谁的。
一、子女不足两周岁 　　如果离婚家庭有不足两周岁的子女，那么考虑到子女较小，更加需要母亲的照顾，有的可能尚处于哺乳期，所以法律规定离婚后子女一般随母方生活。 　　但如果母方有特殊原因，实际上不能或不愿抚养子女的可以随父方生活。特殊原因主要是指：母方患有久治不愈的传染性疾病或其他严重疾病、母方有抚养条件不尽抚养义务等。 　　
二、子女在两周岁以上 　　离婚家庭的子女在两周岁以上，且双方同争子女抚养权的，法院应同等的考虑双方的情况，看子女随哪方生活更有利于其成长。 　　子女随父母中其中一方时间较长，对这一方较有感情，则孩子应随这一方生活;子女随祖父母或者外祖父母中一方生活时间较长，或与之感情较深，也可以作为决定子女随父方还是母方生活的理由。法院在调节或判决的时候会考虑到这个因素，如果子女与祖父母关系较密切，那么一般判决随父方生活，相反，则随母方生活。当然这是在双方其他条件均等的情况下。 　　如果某一方患有久治不愈的传染性疾病，或者有吸毒、偷窃等不利于子女身心健康的情况，那么子女自然不适于与之一起生活。 　　另外还要考虑父母双方哪方更需要孩子。例如，其中一方已做绝育手术或已经丧失生育能力，那么在这方抚养孩子无不利因素时，应优先考虑这一方;再如，一方没有其他子女，而另一方有其他子女，则应优先考虑前者。 　　
三、子女在十周岁以上 　　在十周岁以上的未成年子女，属于限制民事行为能力人，有一定的辨别是非的能力，所以在离婚案件中，处理子女随谁生活的问题上，应考虑到子女的个人的意愿。但是这并不是说十周岁以上未成年子女可以随意选择随谁生活，法院一般在父方母方同争抚养权，且双方都具有抚养子女的条件时，才考虑子女个人的意见。 　　对于成年子女随哪方生活的问题，法院则会更多的考虑子女的意见。 　　依据以上法律，如果您有权要求子女随您生活，那么无论您是在协议离婚还是法院判决离婚时，都请针对实际情况与您的律师协商，以最大限度的争取您在子女抚养问题上的合法权利。 父母离婚后，并不改变孩子跟父母的关系，就算是不直接抚养孩子的一方跟孩子的关系也是不变的，父母任何一方都不得擅自更改孩子的姓氏。

通常来说，在不违反我国《婚姻法》规定以及其他法律法规的情况下，夫妻双方可以通过自主协商的方式来确定子女的抚养权问题，因此在协议离婚的情况下，夫妻双方可以自主决定子女归属于谁。但是如果夫妻双方不能就离婚达成协议，则需要通过法律途径，采取诉讼的方式来解决，因此这个时候孩子的归属问题就要结合实际情况有法院的法官来进行判决。