První známí předkové pocházeli z Dolních Frank v dnešním Německu z tvrze Seinsheim. Na tuto dobu upomíná jedna čtvrtina pečetního pole, které je sedmkrát nadél dělené na čtyři stříbrné a čtyři modré pruhy. Nynější jméno nese rod od roku 1405, kdy předek Erkinger koupil hrad a panství Schwarzenberg. Po jeho smrti roku 1437 se rod rozdělil na větev stefansberskou a hohenlandsberskou čili franskou.

K dalšímu rozšíření znaku došlo roku 1566, kdy byl Jan Mladší ze Schwarzenberka (franská větev) povýšen do hraběcího stavu a do erbu přibyla stříbrná věž, která je nyní uprostřed štítu. Jan získal obrovský majetek tím, že se oženil se starou Annou Neumannovou, majitelkou panství Murau v Rakousku. Jeho dva mladí synové však umírají a majetek přechází na větev hohenlandsberskou, konkrétně na Jana Adolfa I. (1615-1683), který se roku 1660 usadil v Čechách. V té době byl již erb obohacen o uťatou hlavu Turka, kterému krkavec klove levé oko. Tento znak dostal roku 1598 Adolf ze Schwarzenberka, děd Jana Adolfa I., za dobytí pevnosti Rábu v Uhrách. Symbol Turka je jasný a krkavec zde představuje jméno pevnosti, protože to se německy řekne Raabe.

Jan Adolf, který spojil rod opět v jednu lini, nehodlal budovat kariéru vojáka jako jeho děd, ale vsadil na dráhu úřední a diplomatickou. Roku 1645 vstoupil do služeb arcivévody Leopolda Viléma Habsburského. Jako první majetek v Čechách získal roku 1654 (zatím jen do zástavy) Křivoklát, Nižburk a Krušovice a současně s tím i právo usadit se trvale v království. Schwarzenberkovy služby u arcivévody se neobešly bez obvyklých zápůjček peněz, které však Habsburg nebyl schopen splatit. Z tohoto důvodu roku 1660 přenechal Janu Adolfovi I. své panství Třeboň. Není tedy pravdou, že schwarzenberský majetek byl získán pobělohorskými konfiskacemi, jak se mnohdy chybně tvrdí. O rok později kupuje Jan Adolf I. panství Hlubokou (1661), Mšec (1662) a další a další statky.

Jeho velmi schopný syn Ferdinand (1652-1703) opět získal nové figury do rodového znaku. Po svém tchánovi zdědil vedle velkého jmění i hrabství v Sulzu, představované ve znaku stříbrným polem se třemi červenými špicemi a lantkabství v Klegau, jež představují tři zlaté snopy v modrém poli, dnes uprostřed štítu. Důležitým dokumentem pro budoucnost rodu se stala Ferdinandova závěť z roku 1703, v níž kníže ustanovil dvě rodová svěřenectví, čili dal základy k budoucímu rozdělení majetku ve dvě samostatné a na sobě nezávislé části.

Tato situace skutečně nastala roku 1802, kdy bratři Josef (1769-1833) a Karel I. Filip (1771-1820) se stali zakladateli dvou linií rodu. Primogenitura, či jak je někdy různě nazývána - hlubocko-třeboňsko-krumlovská větev, trvala až do roku 1950, kdy umírá její předposlední člen JUDr. Adolf ze Schwarzenbergu (1890-1950). Stanul v čele rodu ve složité době před II. světovou válkou. Než se stačil svého dědictví ujmout, přišel 15. březen 1939 a kníže prchá před nacisty do zahraničí. Roku 1940 mu vše zabavuje gestapo. Po válce je již 8. května 1945 zavedena na majetek národní správa a pod tlakem sociální demokracie a KSČ je 10. července 1947 Parlamentem přijat zákon č. 143 Sb., podle něhož veškeré vlastnictví schwarzenberské primogenitury na území Československa přešlo na zemi Českou. Po vydání zákona o krajském zřízení byl dnem 1.1.1950 majetek rozparcelován mezi příslušná ministerstva.

Reprezentantem rodu je v současné době Karel VII. ze Schwarzenberka (1937), jehož osobou došlo opětovně ke spojení obou rodových linií. V roce 1962 byl totiž adoptován JUDr. Jindřichem ze Schwarzenbergu (1903-1965), bratrem Adolfa, čímž se stal jeho nástupcem a dědicem.