张小笛自幼随父亲学习大提琴，显示出良好的音乐天赋。后向著名低音提琴演奏家、中央乐团低音提琴首席、中国音乐家协会低音提琴协会主席邵根宝先生学习低音提琴演奏，打下了良好的专业基础。

1980年考入中国铁路文工团。1984年考入中央音乐学院，先后从师于马黎明和符达教授。1986 和1987年两度随中国青年交响乐团出访欧洲，在瑞士、意大利、比利时、法国、德国、英国、前东德、前苏联、波兰等国家演出。1988年以优异的成绩毕业并考入中央乐团，参加了国内大量不同形式的音乐会，并随乐团出访香港、澳门、台湾、韩国、马来西亚、西班牙等国家和地区。于1990年在北京举行的北京地区青年低音提琴竟奏会上，张小笛获得了优秀表演奖。1996年考入中国交响乐团，先后随乐团出访英国、德国、奥地利、墨西哥、日本、台湾、香港、澳门等国家和地区。

1997年，张小笛参加了在国内音乐会上首次出现的低音提琴四重奏演出。同年参加了世界著名低音提琴演奏家斯图尔特·桑基在北京开设的大师班，受到大师的指导和好评。

张小笛于2000年考入中国爱乐乐团，担任低音提琴副首席。在参加乐团音乐季演出和国内各地巡演的同时，还先后随团出访日本、韩国、美国、波多黎各、奥地利、法国、波兰。他还随广州交响乐团赴法国、比利时、荷兰、卢森堡、埃及等地演出。

2003年，在第六届北京国际音乐节上，张小笛参加了斯特拉文斯基的《士兵的故事》和郭文景的歌剧《夜宴》、《狂人日记》演出。

2004年3月26日，由中国爱乐乐团协奏,在北京中山公园音乐厅演奏谢尔盖·库塞维茨基升F小调低音提琴协奏曲，受到乐界好评。

张小笛现为中国音乐家协会低音提琴协会会员、国家一级演员。