Фамилии из серии "грибных", образованы от прозвища или некрестильного имени Груздь. Его мог носить крепкий, ладный человек. В словаре Веселовского : Груздь, Груздевы, Груздовы: Владимир Груздь, крестьянин, 1510 г., Новгород; Елисей Федорович Груздов, 1628 г., Новосиль.