我哥三年前离婚了，女方放弃了孩子的抚养权，现在女方想要回孩子的抚养权，我哥不想把孩子的抚养权给她，该怎么样保护自己的的抚养权权益呢？女方现在还没有起诉，可总是到家带走孩子。

根据《婚姻法》第三十六条规定， 父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或母直接抚养，仍是父母双方的子女。离婚后，父母对于子女仍有抚养和教育的权利和义务。
如果双方就孩子抚养权的问题，不能协商解决的，那么可以通过诉讼的方式解决，抚养会本着对孩子有利的原则，依照《最高法关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》的相关规定进行判决。

离婚后，一方要求变更子女抚养关系的，或者子女要求增加抚育费的，应另行起诉。一方要求变更子女抚养关系有下列情形之一的，应予支持。 　　
（１）与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的； 　　
（２）与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的； 　　
（３）十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的； 　　
（４）有其他正当理由需要变更的。

法院将孩子判归女方抚养的情况第
一、两周岁以内的子女一般随母亲生活。这主要考虑孩子尚处在幼儿期，需要母亲的哺乳，母亲更能给孩子体贴和照顾。 第
二、孩子虽然两周岁以上了，女方已做绝育手术，男方未做，且男方年龄与女方年龄差距不是很大，孩子判归女方的可能性较大。 第
三、孩子一直随母亲生活，如果离婚后改为随父亲生活对其生活习惯改变较大且影响其成长的，孩子判归女方可能性较大。 第
四、男女双方的抚养条件，如工作稳定程度、收入情况差距不大的前提下，如果男方对于夫妻感情破裂有过错，比如，有证据证明有婚外情等，孩子判归女方的可能性较大。 第五，男方有不良嗜好，如赌博、汹酒等恶习等。考虑到其恶习对孩子成长有不利影响，法院一般会将孩子判归女方。 第六，如果男女双方均无明显过错，各方面条件都相当，如果女方的思想品质好一些，更有时间照顾孩子，得到孩子抚养权的可能性就会更大。 第七，十周岁以上的孩子愿意随母亲生活的。
2、 法院将孩子判归男方抚养的情况 第一， 女方有恶性传染疾病，或有其他重大疾病，影响孩子成长的。 第二， 女方长期在外不回家，不尽抚养义务的。 第三， 男方已做绝育手术，或丧失生育能力的。 第四， 男方年纪偏大，再次生育的机率较小，而女方却处于较好的生育期的。 第五， 女方有不良嗜好或其他品质问题，可能会影响孩子的。 第六， 女方收入较低，且工作不稳定，没有固定住所的。