我合同书签了，要交三千块钱，不借款了，有人说叫我交合同违约金，要提起诉讼我？

1，关于违约金数额的问题。
有合同的从合同约定，对于违约金的数额确定，通常是以合同约定的数额为准来由违约方向守约方支付，所以你当时在贷款时肯定签订有贷款合同，合同中的违约责任条款下应当对违约金的支付数额有约定，你根据当时的贷款合同约定数额向对方支付违约金，承担违约责任即可。
相关法律依据如下：
《合同法》第114条第1款规定：当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。
2，关于违约金上限的问题。
法律规定违约金不得超过合同标的额的30%，如果你贷款合同中约定的违约金数额没有超过贷款金额的30%，也就是15万，那么你有违约行为时应当如约支付，如果违约金数额超过了15万，那么超过的部分你无需支付，因为已经超过法定上限，超出部分的约定违法无效。
相关法律依据如下：
按照《合同法》解释二第二十九条的规定，如果当事人约定的违约金超过造成损失的百分之三十的，应当按照《合同法》第一百一十四条规定，当事人可以请求人民法院或者仲裁机构予以适当减少。

违约金的数额双方是可以协商确定的，但是具体的数额不能超过标的额的30%。
《合同法》第114条第1款规定，当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。
《最高人民法院关于适用若干问题的解释
（二）》第二十九条第二款，当事人约定的违约金超过造成损失的百分之三十的，一般可以认定为合同法第一百一十四条第二款规定的“过分高于造成的损失”。

合同违约起诉的一般流程
　　
1、首先要准备起诉状，各项证据材料，包括合同及证明对方违约事实的证据。
　　
2、各项材料准备好以后，到管辖地法院立案厅立案就行了。
　　
3、立案后法院程序如下：立案-庭前调解-庭审(开庭、法庭调查、质证、辩论、最后陈述、休庭)-领取判决-申请执行。