小林は1970年代後半からプロとしての活動を開始。井上陽水、渡辺美里、杏里などのバックバンドを経て、サザンオールスターズのフロントマン、桑田佳祐の1988年のソロアルバムの音楽協力者として脚光を浴びることになる。
自身のリーダーアルバムはあまり注目されなかったが、プロデューサーやソングライターとして他のアーティストとのコラボレーションで商業的な成功を収めた。1991年、小泉今日子との共作「あなたに逢いたくて」の編曲で、第33回日本レコード大賞編曲部門を受賞する。1992年、Mr.Childrenのデビューアルバム『Everything』のプロデュースを手がける。2013年3月現在、アルバムとシングルの累計売上枚数が5,800万枚を超え、メインストリームでの成功を収めている。1995年、小林は当時の恋人であり最初の配偶者であったアッコが率いるMy Little Loverを結成し、2000年代半ばに結婚生活が破綻するまで、バンドのフルタイムメンバーとして活動した。
スワロウテイル』（1996年）、『リリイ・シュシュのすべて』（2001年）など、映画音楽の作曲も手がける。作曲だけでなく、映画『Bandage』（2010年）では監督も務めている。
音楽家としてだけでなく、社会活動家、慈善家としても活動している。グラミー賞受賞プロデューサー坂本龍一氏、Mr.Childrenのチーフシンガーソングライター桜井和寿氏とともに、2003年に非営利団体「APバンク」を設立。2004年からは桜井氏とチャリティ・スーパーグループ「Bank Band」を結成し、これまでに3枚のアルバムと2枚のシングルをリリースしている。
