离婚时孩子归爸爸，现在爸爸死了，孩子的抚养权归妈妈还是爷爷

根据婚姻法规定，离婚后，哺乳期间的子女，以随哺乳的母亲抚养为原则。哺乳期后的子女，如双方因抚养问题发生争议不能达成协议的，人民法院应从有利子女的身心健康，保障子女的合法权益出发，结合双方的抚养能力和抚养条件等具体情况进行判决。

根据有关法律法规规定，只有在离婚财产分配时，法院才会考虑判决过错方持有份额与无过错方有差异，也就是说在分配财产时，过错方要吃些亏。但判决小孩归哪一方抚养不会依据过错是否而定的，小孩年龄较小时会优先或说偏重于判给女方。
同时，为了小孩子的健康成长，重要的考虑因素是看哪一方更有利于小孩子的成长（如双方的个人素养、居住环境、经济收入等）而定的。

1、两周岁以下的子女，一般随母方生活。母方有下列情形之一的，可随父方生活：
（1）患有久治不愈的传染性疾病或其他严重疾病，子女不宜与其共同生活的；
（2）有抚养条件不尽抚养义务，而父方要求子女随其生活的；
（3）因其他原因，子女确无法随母方生活的。
2、父母双方协议两周以下子女随父方生活，并对子女健康成长无不利影响的，可予准许。
3、对两周岁以上未成年的子女，父方和母方均要求随其生活，一方有下列情形之一的，可予优先考虑：
（1）已做绝育手术或因其他原因丧失生育能力的；
（2）子女随其生活时间较长，改变生活环境对子女健康成长明显不利的；
（3）无其他子女，而另一方有其他子女的；
（4）子女随其生活，对子女成长有利，而另一方患有久治不愈的传染性疾病或其他严重疾病，或者有其他不利于子女身心健康的情形，不宜与子女共同生活的。
4、父方与母方抚养子女的条件基本相同，双方均要求子女与其共同生活，但子女单独随祖父母或外祖父母共同生活多年，且祖父母或外祖父母要求并且有能力帮助子女照顾孙子女或外孙子女的，可作为子女随父或母生活的优先条件予以考虑。
5、父母双方对十周岁以上的未成年子女随父或随母生活发生争执的，应考虑该子女的意见。