gistfile1.js

$.post("url-de-quem-trata-post-do-modal.php", $("#id-do-form-do-modal").serialize(),
  function(data) {
    if (data == "ERRO") { $("#id-do-form-do-modal p#mensagem-erro").val("Ocorreu um erro de validacao"); }
    else {
        // deu tudo certo, fecho o modal
        $("#id-da-div-do-modal").hide();
        $("#id-da-tabela").append("<tr><td>bla</td>");
    }
  }
);