现在没有离婚，但是我有三个孩子，孩子他爸对孩子不管不问，他在外面还借了高利贷，经常有人打电话扰乱我们的生活，我现在想离婚，要他承担孩子的抚养义务，该向哪个部门请求

孩子在哺乳期内，一般随母亲生活。 婚姻法第三十六条 父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或母直接抚养，仍是父母双方的子女。 离婚后，父母对于子女仍有抚养和教育的权利和义务。 离婚后，哺乳期内的子女，以随哺乳的母亲抚养为原则。哺乳期后的子女，如双方因抚养问题发生争执不能达成协议时，由人民法院根据子女的权益和双方的具体情况判决。 最高人民法院关于人民法院 审理离婚案件处理子女抚养问题的若干具体意见
３、对两周岁以上未成年的子女，父方和母方均要求随其生活，一方有下列情形之一的，可予优先考虑：
（１）已做绝育手术或因其他原因丧失生育能力的；
（２）子女随其生活时间较长，改变生活环境对子女健康成长明显不利的；
（３）无其他子女，而另一方有其他子女的；
（４）子女随其生活，对子女成长有利，而另一方患有久治不愈的传染性疾病或其他严重疾病，或者有其他不利于子女身心健康的情形，不宜与子女共同生活的。 　
４、父方与母方抚养子女的条件基本相同，双方均要求子女与其共同生活，但子女单独随祖父母或外祖父母共同生活多年，且祖父母或外祖父母要求并且有能力帮助子女照顾孙子女或外孙子女的，可作为子女随父或母生活的优先条件予以考虑。
５、父母双方对十周岁以上的未成年子女随父或随母生活发生争执的，应考虑该子女的意见。