我买的房子首付给了?合同签了?贷款也办了?请问退房怎么才能把违约金降到最低？

1，关于违约金数额的问题。
有合同的从合同约定，对于违约金的数额确定，通常是以合同约定的数额为准来由违约方向守约方支付，所以你当时在贷款时肯定签订有贷款合同，合同中的违约责任条款下应当对违约金的支付数额有约定，你根据当时的贷款合同约定数额向对方支付违约金，承担违约责任即可。
相关法律依据如下：
《合同法》第114条第1款规定：当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。
2，关于违约金上限的问题。
法律规定违约金不得超过合同标的额的30%，如果你贷款合同中约定的违约金数额没有超过贷款金额的30%，也就是15万，那么你有违约行为时应当如约支付，如果违约金数额超过了15万，那么超过的部分你无需支付，因为已经超过法定上限，超出部分的约定违法无效。
相关法律依据如下：
按照《合同法》解释二第二十九条的规定，如果当事人约定的违约金超过造成损失的百分之三十的，应当按照《合同法》第一百一十四条规定，当事人可以请求人民法院或者仲裁机构予以适当减少。

买房子交了首付，房贷还没下来能不能退房要分以下几个情况：
(一)如果按揭贷款合同未能订立是因开发商的原因造成的，比如因开发商手续不齐备或银行认为开发商缺乏保证能力等情况，导致购房者因不能办理按揭而又无能力继续履行合同的，购房者可以退房而不用承担任何责任，甚至还可以要求开发商承担责任。
(二)如果是因为不可归责于开发商和购房者双方原因，最终导致贷款无法办理的，购房者也可以要求解除合同、退还购房首付款。不可归责于当事人双方的原因主要是政策性因素等，如国家贷款政策调整、房地产市场调控、银行贷款规模限制等相关事由。如果产生这种情况，购房者也可以要求退房，退还首付款。
(三)如果是因为购房者自己的原因，如购房者提供的资料不齐备，或者购房者缺乏还款能力，银行审查认为购房者不符合贷款条件，不予发放贷款，导致贷款合同不能能订立，如果购房者要求解除已订立的购房合同，则法院一般不予支持。如果产生这样的情况，购房者就应该与开发商重新协商交款事宜，或者直接向开发商交清房款。不能缴纳房款的，开发商可以依据合同约定，收取购房者的违约责任。希望我的回答能帮到您。

退房步骤
　　第一步：购房者发出退房通知。购房者提出退房要求的，可以通过挂号信、传真或者电话的形式向开发商提出。
　　第二步：办好各种手续。开发商应当退还购房者已经支付的全部房款，并且负责办理购房者与贷款银行解除或者终止合同的全部手续
　　第三步：开发商退还房款。
开发商应当在购房者发出退房通知后将全部购房款返还给购房者，并且办理完毕向公积金管理机构或者贷款银行的还款手续。