倉吉の地には南北朝時代に打吹城（倉吉城）が築かれ、室町時代には伯耆国守護所とされた。1600年、中村一忠が米子藩に移されると倉吉もその所領となり、打吹城には重臣の中村栄忠が入ったが、慶長14年（1609年）に中村氏が改易されると、以後は天領となっていた。
里見氏は安房国の戦国大名に由来する外様大名であり、里見忠義は館山藩主として安房一国ならびに常陸国鹿島郡の12万2000石を領していた。慶長19年（1614年）、大久保忠隣が改易されると、忠隣の孫娘を妻としていた忠義も連座し、9月9日に安房一国の没収を言い渡される。ただし、関ヶ原の戦いの戦功による加増地である常陸鹿島3万石については代替として伯耆国倉吉に所領が与えられることになった[1]。倉吉へは堀江頼忠（能登守）、正木時茂（大膳亮）、板倉昌察（牛洗斎）らの重臣が同行しているが、同行した家臣は多くなかったとされる[2]。
12月に忠義は倉吉に到着する。倉吉の神坂に屋敷を与えられたが、代官山田五郎兵衛から引渡されたのは久米・河村両郡のうち4千石であったとされる。忠義は打吹城（倉吉城）に入ることもなく、神坂村（現在の倉吉市東町）に居住した。ただ、元和2年(1616年)には山田八幡、北野天神の二社を修造、元和6年には山長大明神で社殿の修造を行っているので寄進をするだけの財力があったことが確認できる。また北条町北尾の八幡神社修造の際に忠義が出した棟札も現存が確認されている[3]。
1617年（元和3年）に池田光政が鳥取藩主として入封すると、重臣伊木忠貞が倉吉に入り、忠義は事実上池田家お預けの身となった[2]。4000石の所領は召しあげられ、百人扶持を与えられて倉吉郊外の下田中村（現在の倉吉市下田中）に移された。さらに1619年（元和5年）には堀村（現在の倉吉市関金町堀）に移されている。元和8年（1622年）に忠義は没したが、嗣子なしとされ、里見氏は改易された[2]。
なお、里見家重臣であった正木時茂は、大坂の陣終了後に時茂のみが家康により駿府に呼ばれて抑留され[4]、家康死後の元和3年（1617年）、今度は徳川秀忠の命によって、江戸の桜田に住まわされ、江戸城中はもとより他の旗本衆への出入りも許されなかった[5]。元和8年（1622年）の忠義没後、時茂は池田光政にお預けとされて鳥取に移され、寛永7年（1630年）に鳥取で没した[2]。倉吉の大岳院には、里見忠義・板倉昌察・正木時茂ら里見家関係者の墓がある。
倉吉の所領は、鳥取藩の属領として組み込まれた。寛永9年（1632年）、岡山藩主に移された池田光政と入れ替わりに鳥取藩主となった池田光仲のもとでは、自分手政治を許された家老荒尾嵩就（倉吉荒尾氏）の封地となり、打吹山麓に倉吉陣屋が設けられた。