当时我们是协议离婚，两个孩子抚养权归我，他出抚养费，现在他想要回一个孩子，如果起诉的话他会得到一个孩子的抚养权吗

协议离婚一般是在自愿的情况下所达成的.但也有为了自己有所得而不得不放弃一些自己应得的权利的情况,你的情形就属于后者.
虽然你的协议过于显失公平,但由于是你自己自愿放弃和自愿承担的,并且没有他人的强迫下达成的.
你现在的情况与当时达成离婚协议的情况发生了很大的变化:一方面为了生活费而发愁,另一方面也为了小孩的扶养费为难.
因为你的经济情况发生了变化,可以以此为由,向法院起诉要求对方给付抚养费,但是对方也有可能以你的经济条件不适合再继续扶养孩子为由反诉要求取得孩子的抚养权.你知道,你如果确实没有经济能力抚养小孩的话,法院有可能会本着以有利于抚养小孩为由判由他抚养小孩.

离婚后，一方要求变更子女抚养关系的，或者子女要求增加抚育费的，应另行起诉。一方要求变更子女抚养关系有下列情形之一的，应予支持。 　　
（１）与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的； 　　
（２）与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的； 　　
（３）十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的； 　　
（４）有其他正当理由需要变更的。

子女抚养权：人民法院审理离婚案件，对子女抚养问题，从有利于子女身心健康，保障子女的合法权益出发，结合父母双方的抚养能力和抚养条件等具体情况妥善解决。即小孩的抚养权关键是看小孩由谁抚养对小孩的成长生活更为有利。
子满两周岁未满十周岁的，一般由对其成长有利的一方抚养，另一方支付抚养费。孩子满十周岁的，归谁抚养还要征求孩子的意见。抚养子女的一方可以向未抚养子女的一方要求抚养费子女抚育费的数额：离婚后，一方抚养的子女，另一方应负担必要的生活费和教育费的一部或全部，负担费用的多少和期限的长短，由双方协议;协议不成时，由人民法院判决。
可根据子女的实际需要、父母双方的负担能力和当地的实际生活水平确定。关于子女生活费和教育费的协议或判决，不妨碍子女在必要时向父母任何一方提出超过协议或判决原定数额的合理要求。
有固定收入的，抚育费一般可按其月总收入的百分之二十至三十的比例给付。负担两个以上子女抚育费的，比例可适当提高，但一般不得超过月总收入的百分之五十。无固定收入的，抚育费的数额可依据当年总收入或同行业平均收入，参照上述比例确定。
有特殊情况的，可适当提高或降低上述比例。