我方违反合同，支付违约金，但合同上没有明确记载退货前支付的钱，也不说不退货，如果对方不退货该怎么办呢

你好，因对方违约而依法解除合同的，可要求对方承担违约责任。，有下列情形之一的，当事人可以解除合同：
（一）因不可抗力致使不能实现合同目的；
（二）在履行期限届满之前，当事人一方明确表示或者以自己的行为表明不履行主要债务；
（三）当事人一方迟延履行主要债务，经催告后在合理期限内仍未履行；
（四）当事人一方迟延履行债务或者有其他违约行为致使不能实现合同目的；
（五）法律规定的其他情形。

违约金相关知识：　　违约金是指按照当事人的约定或者法律直接规定，一方当事人违约的，应向另一方支付的金钱。违约金的标的物是金钱，但当事人也可以约定违约金的标的物为金钱以外的其他财产。
违约金具有担保债务履行的功效，又具有惩罚违约人和补偿无过错一方当事人所受损失的效果，因此有的国家将其作为合同担保的措施之一，有的国家将其作为违反合同的责任承担方式。
　　债权人或债务人完全不履行或不适当履行债务时，必须按约定给付他方的一定数额的金钱。违约金是债的担保的一种，也是对违约的一种经济制裁。违约金的设立，是为了保证债的履行，即使对方没有遭受任何财产损失，也要按法律或合同的规定给付违约金。
违约金的标准依法定或双方在合同中书面约定。违约金有两种：　　①惩罚性违约金，其作用全在惩罚，如果对方因违约而遭受财产损失，则违约一方除支付违约金外，还应另行赔偿对方的损失。
　　②补偿性违约金，是对合同一方当事人因他方违约可能遭受的财产损失的一种预先估计，给付了违约金，即免除了违约一方赔偿对方所遭受的财产损失的责任;即使损失大于违约金，亦不再补偿。
　　《中华人民共和国经济合同法》第35条规定：“当事人一方违反经济合同时，应向对方支付违约金。如果由于违约已给对方造成的损失超过违约金，还应进行赔偿，补偿违约金不足的部分。
”

借款人在借款合同期限届满不能归还借款的，应当承担违约责任。
关于违约责任形式，依照《合同法》总则的规定，合同约定有违约金的，依约支付违约金;合同中没有约定违约金的，应当按照约定或国家有关规定支付逾期利息。
可见现行《合同法》总则并没有对违约金责任形式所适用的合同范围作出限制。