做了三年的情人后，如果那个男人想拿回他以前花的钱，包括给我的5万元，我该怎么办？

夫妻双方离婚后，一方当事人没有履行离婚协议的约定，对方当事人可以凭离婚证，身份证，离婚协议，到法院提出诉讼，可以申请强制执行。
《婚姻法》第四十八条：对拒不执行有关扶养费、抚养费、赡养费、财产分割、遗产继承、探望子女等判决或裁定的，由人民法院依法强制执行。
有关个人和单位应负协助执行的责任。

在最高人民法院关于适用《中华人民共和国婚姻法》若干问题的解释
(二)第1条第2款规定：当事人因同居期间财产分割或者子女抚养纠纷提起诉讼的，人民法院应当受理。　　毕竟在长期的非法同居生活过程中，双方对一些财产是可能产生共有关系的，因此，有必要进行分割。如果同居一方主张分割同居期间产生的公有财产，法院是会支持的。至于以“分手费”为名要求支付一定的财物，则没有任何法律依据，是不可能获得法律支持的，对此不必理会。　　“分手费”没有法律依据就不可能得到法律支持，因此没有必要再去收集什么证据来证明其“违法”。　　同时，索要分手费是违反道德和社会公序良俗的，法律只对合法的债权债务关系受法律保护。所以，从法律层面上讲，如果不是同居期间的共同财产、或者合法的赠与关系、债务债权关系等，在分手后索要分手费是不合法的，尤其是与与有配偶者同居，破坏他人家庭，而后索要分手费的，更不可能得到法律的保护。　　另外，法律上也没有所谓的“青春损失费”，所以同居一方向另一方主张“青春损失费”是没有法律依据的，也不能得到法律保护。虽然有可能在感情存续期间写过欠条，但实质上也不存在借贷关系，也就是说，欠条往往是“有名无实”的，是无效的。如果实在不得已或在欺诈、胁迫的手段或者乘人之危等情况下写下支付“青春损失费”欠条的，依照我国民法的有关规定，一方以欺诈、胁迫的手段或者乘人之危，使对方在违背真实意思的情况下作出的意思表示是无效的，是可以变更或者撤销的。到法院打官司也很难得到支持.

夫妻离婚时，往往会涉及钱财的分割问题，一般来说，婚姻关系存续期间，夫妻一方所取得的财产，应视为夫妻共同财产，若当事人有约定则按当事人的约定进行分割，无约定则按照法律规定分割，一般为平等分割。婚姻存续期间取得的财产均视为夫妻共同财产，不管是男方取得的还是女方取得的，在离婚时另一方都有权进行分割。