公法之债的债权人往往享有私法之债的债权人所没有的种种特权，例如公法之债产生争议或得不到履行时无需借助司法机关而自行实现其债权的强制执行权（自力救济），以及相对于私法之债的优先受偿权。发端于1919年德国《租税通则》第81条“税收债务关系说”的税收之债是公法之债的典型，世界各国在税法上规定滞纳金的理论根据也正基于此。
性质不同。行政处罚和执行罚虽然都是针对不履行法定义务的当事人，但行政处罚本质上属于制裁性法律责任，于设定新的义务；执行罚属于强制性法律责任，是以设定新的义务的办法来促使当事人履行法定义务。
现实中屡屡出现的巨额滞纳金案例无疑是将手段作为目的，从而异化了滞纳金制度设置的初衷。可是，“在与刑事罚的关系上，执行罚的过错罚款数额必须与之均衡，这样的话，与刑事罚相比较，被认为抑制效果甚微”。170.由此导致的结果是：日本《行政执行法》被废止后执行罚制度的式微，仅在《防沙法》第36条中规定了执行罚制度，作为确保不履行作为义务的替代方法是刑事罚的广泛导入。
行政机关在当事人拒不履行法定义务时，并不自然地享有强制执行的权力，仍应视法律的具体规定判断自己能否实施强制执行。并且，从我国已经形成的强制执行制度可以十分明确地看出，行政强制执行是国家机关对不履行行政义务者所采取的强制手段，因而，行政强制执行权不是由行政机关所独享，事实上，司法机关享有绝大部分的行政强制执行权。“行政强制执行的‘行政’二字，并不意味着强制执行权属于行政机关，而是实现行政权的手段。”由此衍生出滞纳金的法定原则，即滞纳金的设定必须有法律（狭义上的法律）依据，在法定职权范围内依照法定的程序执行。