多くの現代人が抱くイメージに反し、公儀の代理として天領を管理する代官の中に「悪代官」と言われるような代官は全くいなかったわけでもないが、領民が総じて「天領の民」であるという自負が高いこともあって、実際には問題が発生すれば多くの場合はすぐに罷免され、時には切腹も有り得るなど、江戸時代の代官は厳しく管理されていた。また、代官の仕事は非常に多忙で、ほとんどの代官は時代劇で取り上げられているような悪事を企んでいる暇さえもなかったのが実情らしい[要出典]。
それにもかかわらず、後年になって代官が「悪」のイメージを持つようになった理由はいくつか挙げられる。