离婚协议上孩子扶养权给我，被前妻带走三年，归我，结果没给我，我去要也不给，现在她尽起诉我要孩子扶养权

新婚姻法规定的抚养权原则是，如果父母离婚，父母与子女的关系不因父母离婚而改变。子女抚养权，主要取决于抚养条件。主要有这样几条原则：
1、一周岁以下的子女，判给母亲抚养；
2、哺乳期内的子女原则上判给母亲抚养；
3、自幼由祖父母看护的，原则上判给父亲抚养；自幼由外祖父母看护的，原则上判给母亲抚养；
4、那方收入多，有利于孩子健康成长原则上把孩子判给谁抚养；
5、一方如果有过错或家庭暴力倾向，原则上不把孩子判给这一方抚养；
6、一方有不可治愈的传染性疾病或无法自理的疾病，不适合抚养孩子，原则上不能把孩子判给这一方；
7、十周岁以上的孩子，要征求孩子一件，原则上按孩子的愿望判决。

可以起诉，但可能法院不会判决撤销离婚协议。《最高人民法院关于适用〈中华人民共和国婚姻法〉若干问题的解释
（二）》第八条离婚协议中关于财产分割的条款或者当事人因离婚就财产分割达成的协议，对男女双方具有法律约束力。　　当事人因履行上述财产分割协议发生纠纷提起诉讼的，人民法院应当受理。《最高人民法院关于适用〈中华人民共和国婚姻法〉若干问题的解释
（二）》第九条男女双方协议离婚后一年内就财产分割问题反悔，请求变更或者撤销财产分割协议的，人民法院应当受理。　　人民法院审理后，未发现订立财产分割协议时存在欺诈、胁迫等情形的，应当依法驳回当事人的诉讼请求。

孩子抚养权：第一，两周岁以下的子女，一般随母方生活。母方有下列情形之一的，可随父方生活：
(1)患有久治不愈的传染性疾病或其他严重疾病，子女不宜与其共同生活的；
(2)有抚养条件不尽抚养义务，而父方要求子女随其生活的；
(3)因其他原因，子女确无法随母方生活的。父母双方协议两周岁以下子女随父方生活，并对子女健康成长无不利影响的，可予准许。第二，对两周岁以上未成年的子女，父方和母方均要求随其生活，一方有下列情形之一的，可予优先考虑：
(1)已做绝育手术或因其他原因丧失生育能力的；
(2)子女随其生活时间较长，改变生活环境对于女健康成长明显不利的；
(3)无其他子女，而另一方有其他子女的；
(4)子女随其生活，对子女成长有利，而另一方患有久治不愈的传染性疾病或其他严重疾病，或者有其他不利于子女身心健康的情形，不宜与子女共同生活的。
(5)父方与母方抚养子女的条件基本相同，双方均要求子女与其共同生活，但子女单独随祖父母或外祖父母共同生活多年，且祖父母或外祖父母要求并且有能力帮助子女照顾孙子女或外孙子女的，可作为子女随父或随母生活的优先条件予以考虑。第三，如果子女是已满10周岁的未成年人，父母双方对于女随父或随母生活发生争执时，应考虑该子女的意见。在有利于保护子女利益的前提下，父母双方协议轮流抚养子女的，可予准许。父母离婚后，子女随哪方生活，一般是根据;有利于子女健康成长;的原则来决定。《婚姻法》第三十六条第三款规定：;离婚后，哺乳期内的子女，以随哺乳的母亲抚养为原则。哺乳期后的子女，如双方因抚养问题发生争执不能达成协议时，由人民法院根据子女的利益和双方的具体情况判决。