请问我的哥哥和弟弟对自己的母亲不拿赡养费算不算遗弃？起诉他们，他们会受到什么样的惩罚？

依据《中华人民共和国婚姻法》44条、对家庭暴力、遗弃或虐待家庭成员，受害人有权提出请求，居民委员会、村民委员会及所在单位应当予以劝阻、调解。对遗弃家庭成员，受害人提出请求的，人民法院应当作出支付抚养费、扶养费、赡养费的判决。
45条、对重、家庭暴力、遗弃或虐待家庭成员构成犯罪的，依法追究刑事责任。受害人可以按照刑事诉讼法有关规定提出刑事自诉，公安机关应当依法立案，检察院应当依法提起公诉。
综上，遗弃是指，是指家庭成员中负有赡养、扶养、抚养义务的一方，对需要赡养、扶养和抚养的另一方，不履行其应尽的义务的违法行为。如父母不抚养未成年子女；成年子女不赡养无劳动能力或生活困难的父母；配偶不履行扶养对方的义务等。
遗弃以不作为的形式出现，该为而不为，致使被遗弃人的权益受到侵害。而对于老年、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的行为，则构成遗弃罪，按照《中华人民共和国刑法》261条追究刑责。

如果未达到情节恶劣程度就不构成遗弃罪。遗弃罪是指对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的行为。遗弃罪的犯罪对象是年老、年幼、患病或者其他没有独立生活能力的人。
“没有独立生活能力”，是指不具备或者丧失劳动能力，无生活来源而需要他人在经济上予以供给抚养，或者虽有经济收入，但生活不能自理而需要他人照顾等情况。遗弃罪的犯罪主体，是指对上述对象负有扶养义务的人。
这里所规定的“负有扶养义务”，是指行为人对于年老、年幼、患病或者其他没有独立生活能力的人，依法负有的对上述被扶养人在经济、生活等方法予以供给、照顾、帮助，以维护其正常的生活的义务。
根据《婚姻法》的规定，主要包括以下几个方面：夫妻间有相互扶养的义务；父母对子女有抚养教育义务；子女对父母有赡养扶助的义务；养父母对养子女、继父母对继子女有抚养的义务；有负担能力的祖父母、外祖父母对父母已经死亡的未成年的孙子女、外孙子女有扶养义务；有负担能力的孙子女、外孙子女，对于子女已经死亡的祖父母、外祖父母有赡养义务；有负担能力的兄姐对父母已经死亡或者父母无力抚养的未成年弟妹有抚养的义务等。
遗弃罪的犯罪主体是具有抚养义务的人，如果以没有独立生活能力的人不负有扶养义务，就不存在遗弃的问题，不能构成本罪。本罪在客观方面表现为具有扶养义务而拒绝扶养。由于行为人不履行自己的法定义务，致使被扶养人得不到经济上的保障或者生活上的必要照顾和帮助，生命和健康受到较为严重的威胁和损害。
应当指出的是，遗弃行为必须是情节恶劣才能构成犯罪。这是划清本罪罪与非罪的重要界限之一。这里的“情节恶劣”，主要是指由于遗弃造成被害人重伤、死亡等严重后果；有遗弃行为屡教不改；或者遗弃手段、情节特别恶劣的等等。
根据刑法的规定，对犯遗弃罪的，处五年以下有期徒刑、拘役或者管制。

赡养父母，是法定义务，也是作为子女的“天职”，因此，不管子女在何处，这法定义务不变。　对于不赡养老人的，要追究相应的法律责任。首先，《婚姻法》第15条规定：子女不履行赡养义务时，无劳动能力的或生活困难的父母，有要求子女付给赡养费的权利。
《老年人权益保障法》也规定：赡养人不得以放弃继承权或者其他理由，拒绝履行赡养义务。