室町時代に足利将軍家に仕えていた如拙や周文、小栗宗湛、狩野正信などが御用絵師の先駆的存在であったとされている。織田信長に仕えた狩野永徳（正信の曾孫）は統一政権の庇護を受けて狩野派繁栄の基礎を築いた。制度として整備されたのは、永徳の孫狩野探幽が徳川家康に御目見得し、屋敷を拝領し扶持と知行地を与えられ、江戸幕府の絵師を務めたのが始まりである。以後江戸に本拠を定めた探幽の一族は4つに分立して奥絵師に任ぜられ、これを狩野四家（中橋・鍛冶橋・木挽町・浜町）と称する。また、大和絵系の住吉派、その門人の板谷家も奥絵師に任じられた。御目見え以上旗本と同格の待遇を受け、帯刀も許された。正式な儀式で直接将軍に拝謁できるようにするため、板谷家を除く奥絵師には、医師の職格である御医師並、坊主の職格の同朋頭格・同朋格などが与えられ、それぞれの職格に応じた席次や格式を許された。
奥絵師は月に12回江戸城に出仕して必要に応じて幕府の御用に従って絵画を作成した。この4家を補佐したのが表絵師に任じられた人々で出仕義務はないものの、身分は御目見え以下の御家人と同様の待遇であった。奥絵師と表絵師を合わせて「絵師」と称し、特に幕府の御用を務めたために「御用絵師」と呼ばれたものである。また、諸大名においても同様の絵師を設置して、彼らもまた藩の御用を務めたために「御用絵師」と称せられた。その出自は狩野派の出身者が多かったが、西国では雲谷派や長谷川派の画系もみられる。時期によって増減があり、藩主が絵画好きだと増員され、興味がない藩主だと財政難のため減らされる傾向にある。
明治以後、奥絵師は士族として扱われた以外は平民とされた。明治以後も有力な政財界人の支援を受けて活動を行う画家のことを「御用絵師」と称された。