Do roku 1800 neexistují téměř žádné ověřené písemné záznamy o chovu Tollerů, ale z toho mála, co existuje, se zdá, že Toller byl už tou dobou známé a zavedené plemeno. Jeden z mála záznamů pochází od cestovatele a kolonizátora Nicolase Denyse (1598 – 1685) který ve své knize „Description of Natural History of the Coasts of North America“ popsal, jak v Akadii (starý název pro pobřeží Jižního Atlantiku v oblastech dnešní Kanady) využívají lovci psy, kteří lákají kachny.
Nicolas Denys ve své knize píše, že domorodci žijící v Kanadě pozorovali schopnost lišek lákat různé druhy kachen rozšířených v Kanadě pobíháním po břehu. To je podnítilo k natahování liščích kůží na keře a napodobovat tak vzhled lišky. Lovci z oblasti Yarmouth učinili další krok. Začali shánět psy, kteří vypadají jako liška a jejichž hlavními vlastnostmi je vytrvalost a instinkty hry. Denys byl těmito červenými psy, sloužící jako návnada, nadšen.
Yarmouth County – Nova Scotia
Objevili se sice jiní psi v Evropě, jako je např. Kooikerhondje, červeno-bílý Holland a Decoy dog v Anglii (který bohužel vymizel), avšak tato plemena psů byla využívána k lákání ptactva do sítí, přičemž Toller měl za úkol přilákat ptactvo lovcům na dostřel, rychle dohledat a co nejdříve přinést střelené či zraněné ptactvo, což ho od výše zmiňovaných plemen odlišuje.
Description of Natural History of the Coasts of North America
Nicolas Denys
Toller v roce 1860
foto CHS Scotia Pride Tollers
Také neexistují žádné ověřené písemné záznamy o tom, jaká plemena byla využita při šlechtění Tollera. Pochybnosti o tom, že nebyli použiti žádní čistokrevní psi, jsou na místě, jelikož pořízení takovýchto psů by bylo pro lidi, kteří vyšlechtili Tollera (rybáři a lovci), v té době zcela finančně neúnosné. Je známo že byl do chovu využit místní pes typu Spaniel a Kolie. Zajímavým aspektem vývoje tohoto plemene je, že se dlouhou dobu mluvilo o tom, že se na stabilizaci plemene mohl podílet přilitím krve i Zlatý retrívr. Když James Barker, pracující v ústavu genetických studií, hledal marker gen pro PRA (progresivní retinální atrofie – onemocnění očí), myslel si, že by mohl spustit testy Tollerů spolu se Zlatými retrievery. Nicméně však zjistil, že genom Tollerů je naprosto odlišný a unikátní a že by to nebylo možné.
V roce 1945 uznal plemeno Canadian Kennel Club. V tomto roce se vyskytla hrstka registrovaných jedinců a přibližně stejný počet re-registrovali v klubu v 50. letech. Je známo, že všichni dnešní tolleři jsou jejich potomci, což také dokazuje, že neexistuje žádná krevní příměs od Zlatých retrívrů u Tollerů. Jde opravdu o unikátní kanadské plemeno, které bylo vyšlechtěno v Novém Skotsku.
V roce 1980 byl Nova Scotia Duck Tolling retriever uznán FCI.
