はじめ進士の試験に失敗して、僧となり法号を無本と称した。後に洛陽に出て文を韓愈に学び、その才学を認められ還俗して進士に挙げられた。大和9年（835年）に長江県の主簿となり、会昌元年（841年）に普州司倉参軍となり司戸参軍に赴任するところ、命を受けないうちに牛肉を食べすぎて没したという。享年65。
進士の試験を韓愈に薦められて一度は落ち、「宰相が憎んでいるせいだ」と他人にそそのかされて腹を立て、ちょうど新居を建てたばかりの宰相の裴度にあてて詩を作り、「千家を破却して一池を作る、桃李を栽えずして薔薇を種う、薔薇花落ち秋風の後、荊棘満庭君始めて知らん」と誹謗したことがある。これは不評であり、賈島がなかなか出世しない理由となったという。
賈島は苦吟をもって名高く、「李欵の幽居に題す」中の一句で僧は敲くがいいか、僧は推すがよいかと悩みながら歩いているうちに（一説にはロバに乗っていた、とある）韓愈の行列に突き当たり、賈島が悩みを打ち明けて相談したところ、韓愈は「それはもちろん、僧は敲く、が良い」と言下に答え、それから賈島は韓愈の門下に入ったという話がある。このことから「文章を書いた後、字句を良くするために何回も読んで練り直すこと」を「推敲」という。
「独行潭底影、数息樹影身」の二句を3年かけて練り上げ、自ら注して「一吟双涙流る、知音もし賞せずんば、帰りて故山の秋に臥せん」という。小杉放庵は、「我が事について、ことさら重大に考える癖のある人」と評している。一方、唐代の李洞のように賈島の詩を慕い、ついに賈島の銅像（賈島仏）まで造って仕えた人もいる。
