芬少有辩智，颇涉经史。周太祖引为相府铠曹参军，历记室，累迁熊州刺史

赵芬，字士茂，天水西人也。父演，周秦州刺史。芬少有辩智，颇涉经史。周太祖引为相府铠曹参军，历记室，累迁熊州刺史。抚纳降附，得二千户，加开府仪同三司。大冢宰宇文护召为中外府掾，俄迁吏部下大夫。芬性强济，所居之职，皆有声绩。武帝亲总万机，拜内史下大夫，转少御正。芬明习故事，每朝廷有所疑议众不能决者，芬辄为评断，莫不称善。后为司会，申国公李穆之讨齐也，引为行军长史，封淮安县男，邑五百户。复出为淅州刺史，转东京小宗伯，镇洛阳。
高祖为丞相，尉迥与司马消难阴谋往来，芬察知之，密白高祖。由是深见亲委，迁东京左仆射，进爵郡公。开皇初，罢东京官，拜尚书左仆射与郢国公王谊修律令俄兼内史令上甚信任之。未几，以老病出拜蒲州刺史，加金紫光禄大夫，仍领关东运漕，赐钱百万、粟五千石而遣之。后数年，上表乞骸骨，征还京师，赐以二马轺车，几杖被褥，归于家，皇太子又致巾帔。后数年，卒。上遣使致祭，鸿胪监护丧事。
子元恪嗣，官至扬州总管司马，左迁候卫长史。少子元楷，与元恪皆明干世事。