高校3年生の秋、「僕」は学校のクラブで一緒にバンドをやっている浅井とモダン・ジャズ喫茶「ありんこ」で待ち合わせることになった。浅井は大学に行かず、モダン・ジャズのバンドで食っていこうと考え、「僕」にメンバーを探してほしいと言う。同じ気持ちだった「僕」はメンバー探しを始め、また、ありんこを中心として渋谷のモダン・ジャズ喫茶に出入りするようになっていった。
1962年。「僕」は免許を取って中古の車を買った。バンドも活動を始め、一方でダイヤモンド密輸の話やハイミナール、ヤクザとのトラブル、おかまとの付き合い、ナンパ……と、様々なことを経験してゆく。
1963年の夏。ベースの市毛と「僕」の間に気持ちのすれ違いが生じ始める。9月にピアノの美鈴が脱退を申し出、市毛も顔を見せなくなっていった。2カ月後、芸大の芸術祭での演奏を最後に、「僕」はバンドの解散を決意する。一方で、同級生のワダケンが、ハイミナール中毒の「僕」との付き合いを親に知られたことが原因で東京を離れなければならなくなり、京都に旅立っていった。「僕」はワダケンとの再会を考えて京都に向かうが、具体的な根拠もないのに行っても会えるはずがなく、東京に戻ることになった。
1966年1月。20歳になった「僕」は、高校時代からの音楽仲間だった伊東京子が妊娠していることを知る。京子は子供を堕すことになり、「僕」は京子と離れることにした。その夜、ウイスキーと一緒にハイミナールを飲んだ「僕」は衝動的に運転を始め、事故を起こしてしまう。「僕」はハイミナールを断つことを決意し、入院した。しかし翌日、「僕」は病院内の環境に耐えられず、また、その日の夜に約束があったことを思い出し、院長に直談判して退院を要求する。院長は「僕」の意思の強さに押され、1週間の外出禁止を条件に退院を認めた。その帰り道、「僕」は渋谷に立ち寄って約束を果たすのだった。
それから1週間、院長との約束を守って外出しなかった「僕」は、ハイミナールの禁断症状もなく回復したものの、新しい目的を見出せずにいた。3カ月後、なんとなくありんこに向かった「僕」だったが、3カ月の間に客の顔ぶれはすっかり変わっていた。「僕」はその場の雰囲気に耐えきれず、店を出てしまう。外を歩いていると、浅井が「僕」の前に現れた。いまだハイミナールをやめていない浅井の姿に以前の自分を重ねて見た「僕」は浅井を殴ってでもハイミナールをやめさせようとするが、自分が警官に取り押さえられてしまう。そして浅井は「僕」の前から走り去っていった。
1965年11月。久しぶりに渋谷に向かった「僕」は、かつてありんこの常連だった酒井と再会し、ありんこのママが亡くなったことを聞かされる。酒井にありんこに誘われた「僕」だったが、ママを失ったありんこを見ることを拒み、酒井と別れるのだった。