Pastovce ležia na najvýchodnejšej časti Podunajskej nížiny, na hranici MR, severná zemepisná šírka 47° 58', východná zemepisná dĺžka 18° 46'. Nadmorská výška obce je 115 m. Južnými susedmi sú Malé Kosihy, na východe leží Vámosmikola z MR, na severozápade Malé Ludince a Šalov, na sever Bielovce, susednou dedinou na západe je Zalaba. Podnebie obce je kontinentálne, januárová priemerná teplota je 2 C, v júli je to 20 C. Celoročná priemerná teplota je 10 C. Ročný priemerný úhrn zrážok je 500-600 mm.

Na území Pastovce objavili archeologické nálezy pochádzajúce V-II tisícročia pred naším letopočtom: kamennú sekeru a nádoby. Bronzová doba medzi rokmi 1900-900 pred naším letopočtom tiež zveľadila archeologickú hodnotu dediny. V lete v roku 1932 cirkev plánovala výstavbu rechtorsko-učiteľského domu za kostolom na voľnom pozemku. V priebehu zemných prác sa našla hlinená nádoba podobajúca sa urne, a jedna miska. Jánoš Menyhár ihneď informoval o nálezoch nadriadené školské orgány, potom z Bratislavy prišiel známy profesor archeológie Ján Elsner. Archeológ považoval nájdené predmety za veľmi cenné, a hneď poveril učiteľa s pokračovaním archeologických prác. Jánoš Menyhár, učiteľ, vášnivý amatérsky archeológ, našiel veľa cenných predmetov, jedna časť z nich sa dostala do Banskoštiavnického múzea, druhá časť zostala v škole, kde Jánoš Menyhár založil tzv. archeologickú izbu. Bohužiaľ tento materiál sa zničil v rokoch 1944-45 počas II. svetovej vojny.

VI. a IV. storočí územie obsadili Kvádi a Markomani. Podľa jazykovedcov aj slovo Ipeľ pochádza zo starogermánskeho slova Eipel. Kvádi tu vybudovali obrovskú hrádzu, z ktorej zachovalé časti ešte aj teraz stoja v okolí Kamenína a Bíne. Počas štvorstoročného pobytu Kvádi často útočili na Pannóniu, ktorá ležala na druhej strane Dunaja. V r. 174 po našom letopočte bola rozhodujúca bitka medzi zátokami Hrona a Ipľa. V bitke v ktorej Rimanov viedol Marcus Aurelius, Kvádi boli porazení.

Po Kvádoch moc prebrali Rimania. Hranica ich ríše, limes, išla pri riekach Hron a Ipeľ, medzi riekami išla po lesy a hory. Z tohto obdobia pochádzajú archeologické nálezy, s písmenami vyzdobené tehly, ktoré boli uložené v archeologickej izbe školy, a tie tehly viedli až po Aquincum – dnešný Budín.

Po úpadku Rimanov sa paralelne objavili dva národy, Slovania a Avari. Avari boli veľkým nomádskym národom a vybudovali rozvinutú ríšu, ale po porážke s Karolom Veľkým sa ríša rozpadla.

Knieža Arpád po obsadení územia medzi Dunajom a Tisou, poslal na sever troch hlavných veliteľov, Hubu, Zuárda a Kadoču. Ku konečnému osídleniu mohlo dôjsť v rokoch 910/20 – 960/70.

Prvá písomná zmienka o Pastovciach pochádza z listiny z roku 1135, podľa ktorej obec daroval Ladislav Svätý sestre Žofie, ako svadobný dar, keď sa vydala za Lamperta z Hontianskeho národu, ktorý bol župným išpánom. Podľa tejto listiny v dobe Svätého Ladislava tu už stál kráľovský dvor. Toto písmo obec spomína s názvom Paztuh. Význam pradávnej formy slova po slovensky: žrebec, pastier. Podľa kronikára dediny, už spomínaného učiteľa Jánoša Menyhára veno Lampert tiež niekomu daroval. Pradávni obyvatelia Pastoviec centrum dediny vybrali s bystrým okom, na jednej strane ho polkruhovým oblúkom objíma rieka Ipeľ, a z druhej strany potok Čárad. V strede dediny je nadmorská výška 115 m. Pozemky dediny pozdĺžne ležia vedľa seba, domy stoja v jednej línii. Starobylé centrum dediny je nepravidelné, pozemky nie sú rovnaké, ulice sú spletité, obraz dediny sa zdá byť preplneným.

Hodnoverná listina o cirkevnom živote, o existencii kostola zostala nám z roku 1465, ale pravdepodobne menší kostol bol v dedine už v XII. storočí. Podľa jedného duchovného pastiera z Pastoviec v minulom storočí, vo Vámosmikole archivujú tento spis, podľa ktorého sestru kráľa Kolomana Gizelu, pochovali v Pastovciach. Preto lebo kráľ Koloman panoval v rokoch 1095-1116, aj Gizela žila v tomto období, a ak je to pravda, že tu je pochovaná, potom v ten čas v dedine musel byť aj kostol. Podobný názor majú aj budapeštianski odborníci. Šírka južnej steny kostola nie je stála, z toho vyplýva, že stavba kostola bola etapovitá.

Podľa kroniky obce v roku 1138 tu stál kláštor rehole premonštrátov. Zákon číslo XLIV z roku 1546, že kláštor treba posilniť, ale ani tento posilnený kláštor neodolal proti tureckým vojakom. Východná časť kostola bola postavená v gotickom štýle, západná časť od veže je postavená románskym štýlom. Medzi dvoma svetovými vojnami oproti kostola na jednom pozemku chceli postaviť pivnicu, zem praskla a v trhline objavili chodbu, ktorá viedla pod kostol. Vedecké odkrytie sa bohužiaľ nekonalo, niekoľko miestnych „archeológov“ sa odvážilo ísť do tunela, pod kostolom našli asi dvanásť kostier.

Počas tureckej nadvlády dedinu získali Eszterháziovci, ktorí ju potom darovali Istvánovi Huszárovi Barátovi, ktorý potom dedinu daroval ako veno v roku 1886 dcére, manželke Vilmosa Pongrácza.

Dedinské domy zo XIII. storočia mali strechy z trstiny miešané s blatom a slamou. Nie je div, že po Veľkej noci v utorok 4. apríla 1774 hrozným požiarom zhorela celá dedina. Na pamiatku požiaru dedinčania všetky veľké sviatky ako Vianoce, Veľká noc, Turice, oslavovali tri dni, a tretí deň nazvali dňom nádeje.

Zriaďovanie školy možné spojiť s menom Eszterháziovcov v roku 1766. Po vytýčení školského pozemku, hneď začala stavba. Prvým učiteľom reformovanej školy bol Mihály Nagy Czeglédy. V tomto čase vykonával aj notárske práce. Učiteľ svoju prácu konal pod cirkevným dozorom. Škola bola jednotriedna s jedným učiteľom. Stúpajúci počet žiakov si vyžiadal postavenie novej školy.

V roku 1903 na podnet notára Kalmana Mészárosa založili dobrovoľný hasičský zbor dediny.

Železnica v Pastovciach bola vybudovaná v roku 1885, potom v roku 1908 osem kilometrová úzko koľajová železničná trať spojila Pastovce s Nagybörzsönyom, a potom ju predĺžili o 17 km po Kisírtáspuszta. Číslo železničnej trate bolo 457, ale po Trianone postupne strácala svoj význam a nakoniec ju zrušili.

Prvá svetová vojna neobišla ani túto dedinu. Koncom roku 1918 bolo stoosemdesiat mužov povolaných na vojenskú službu, čo bola jedna šestina obyvateľstva. V bojoch padlo 40 vojakov, 40 zajali. 28.októbra v roku 1918 vyhlásili Československú republiku v Prahe. Republiku rozdelili na župy, a okresy. Pastovce patrili do Zvolenskej župy, potom do okresu Želiezovce, od roku 1960 patrí do Levického okresu, kde patria aj teraz. Podľa jedného povojnového sčítania ľudí (1920) v dedine bolo 209 rodinných domov, 1094 obyvateľov, z toho 968 maďarskej národnosti, 31 Čechoslovákov, 1 Nemec a 94 inej národnosti. Podľa vyznania viery 770 reformovaných, 305 rímsko-katolíkov, 15 židov 3 luteráni a 1 gréckokatolík. V roku 1938 dedinu pripojili k MR. V tomto roku zaviedli do dediny telefón.

Cez druhú svetovú vojnu v okolí Ipľa boli statické a pohyblivé boje. Celú dedinu evakuovali. Nemcov vytlačila Červená armáda z údolia Ipľa, potom na územie prišli československí vojaci a začala sa povojnová budovateľská práca. Od roku 1955 je v dedine elektrický prúd, od roku 1967 je tu autobusová zastávka.

Kroniku dediny začal písať v roku 1931 János Menyhár, ktorý bol učiteľom-kantorom v dedine a je známy aj ako amatérsky archeológ. Žiadna stopa nie je o tom, že by predtým voľakto písal dedinskú kroniku. Táto kronika sa cez druhú svetovú vojnu zničila. V písaní potom pokračovali Jozef Bacskai a Mária Brezovická. Posledné záznamy sú z roku 1987 od Anny Srnovej. Povojnovú kroniku nepretržite písali od roku 1974.Kronika obsahuje 404 strán, posledné záznamy sú na strane 213.

Pri príležitosti osláv 150-eho výročia bojov v rokoch 1848-49 nechala obecná samospráva v roku 1998 pred kostolom postaviť vyrezávaný náhrobný stĺp. Na stĺpe sú dátumy 1848-1998.

Počet obyvateľov je dnes asi polovica z toho, ako pred sto rokmi. Ľudnatosť je menšia, ale vývoj je nezastaviteľný. Dôkazom je napríklad aj táto internetová stránka obce, ktorá veľmi rýchlo sprostredkuje informácie o živote dediny celému svetu.