对方不退还保证金可以采取协商、调解、仲裁、诉讼方式处理。一般是先和对方协商、调解,协商和调解应当在当事人自愿的基础上进行。协商不成的,可以搜集证据向人民法院起诉。法律依据:《民事诉讼法》第一百二十二条起诉必须符合下列条件:(一)原告是与本案有直接利害关系的公民、法人和其他组织;(二)有明确的被告;(三)有具体的诉讼请求和事实、理由;(四)属于人民法院受理民事诉讼的范围和受诉人民法院管辖。第一百二十三条起诉应当向人民法院递交起诉状,并按照被告人数提出副本。书写起诉状确有困难的,可以口头起诉,由人民法院记入笔录,并告知对方当事人。