Dějiny rozhlížení z vyhlídkových staveb na vrchu Pastvisko u Moravské Třebové jsou staré přes sto let. Původně zde na severní straně kopce zvaném Švédský kámen (nebo též Švédský vrch, 509 m) stávala rozhledna od stavitele Habichera , která nesla jméno knížete Jana Lichtenštejna . V roce 1906 ji zde postavil za podpory města německý Horský spolek. Dřevěná věž vysoká 23 metrů umožňovala tehdy velmi dobrý rozhled na všechny strany Třebovské kotliny. V létě byla otevřena od 16 do 18 hodin a mimo tuto dobu si mohli případní návštěvníci půjčit klíč u pokladníka Horského spolku Gustava Paula bydlícího na náměstí a navštívit rozhlednu sami. Vstupné na věž bylo 20 haléřů. Existence rozhledny však nebyla dlouhá. Již 15. července 1916, kdy propukla nad městem silná bouře doprovázená vichřicí, došlo ke stržení celé strany věže a k jejímu následnému zřícení. V té chvíli se nacházelo nahoře 7 lidí. Událost si bohužel vyžádala život mladé dívky. Silný vítr vyvrátil tehdy z kořenů veliké lípy v blízkých alejích, které pak musely být znovu osazeny mladými stromky. Myšlenka obnovit rozhlednu vznikla až v novém tisíciletí. V rámci spolupráce mezi mikroregionem Moravskotřebovsko a Jevíčsko a mikroregionem Svitavsko byla v roce 2005 vytipována lokalita Na Hřebči u obce Kamenná Horka s možností výstavby vyhlídkové věže. Nové výhledy byly dokonce prozkoumávány z vysokozdvižné plošiny. Rozhledna měla být vysoká 30 metrů a návštěvníkům sloužit od roku 2006. Když však město Svitavy v roce 2006 od projektu ustoupilo, rozhodlo se vedení Moravské Třebové realizovat výstavbu vlastními silami a na místě, které by bylo blíže městu. Pro stavbu věže byl ze šesti variant vybrán kopec Pastvisko, který se nachází asi 2 km jižně od města. Výstavba nové rozhledny začala 18. října 2008 položením základních kamenů, které na Pastvisko nanosili turisté. Ti také ve veřejné soutěži mohli rozhodnout o jméně nové rozhledny. Z téměř padesátky návrhů (např. Třebůvka , Josefka, Václavka, Psárka, Waldemarka , Pastvínka nebo Moravanka) nakonec komise pro cestovní ruch s vedením města vybrala jméno Pastýřka. Autorem projektu Pastýřky je moravskotřebovský rodák Jan Škoda, který rozpracoval návrh rozhledny Terezka u Proseče architekta Antonína Olšiny. Realizace projektu stála 2,3 milionu korun. Dotace z Pardubického kraje činila půl milionu, město ze svého rozpočtu poskytlo osm set tisíc a ze státního rozpočtu obdrželi Třebovští jeden milion korun. Součástí výstavby byly i nutné úpravy vrcholových partií Pastviska a zlepšení přístupové komunikace pro příjezd stavební techniky. Rozhledna na Pastvisku byla slavnostně otevřena v rámci Městských slavností dne 20. června 2009 za zvuku fanfár lesních rohů a odhalení pamětní desky. Stavbě požehnal i vojenský kaplan Petr Šabak . Klub českých turistů, který stavbu inicioval, uspořádal pochod k rozhledně přes údolí Peklo a opékání buřtů přímo u rozhledny. V únoru 2019 došlo k uzavření rozhledny, neboť při pravidelné prohlídce bylo zjištěno zhoršení technického stavu jednoho ze sloupů rozhledny díky napadení dřevokaznou houbou. Poškozený sloup byl následně místní firmou Stavební vodohospodářská, s.r.o. vyměněn za ocelový. Rozhledna je od poloviny srpna 2019 opět volně přístupná.