Daeth ei gyfnod yn y Cynulliad i ben yn 2003 wedi iddo gael ei roi yn seithfed ar restr ranbarthol Gogledd Cymru i’r Blaid Geidwadol.
Ond fe gynyddodd ei gyfran o’r bleidlais ar Ynys Môn 9.2% ac fe ddaeth yn ail – 2,255 o bleidleisiau y tu ôl i arweinydd Plaid Cymru, Ieuan Wyn Jones.
Yn 2004 fe achosodd ymgais i’w ddewis ar gyfer etholaeth Ynys Môn yn yr etholiad cyffredinol bleidlais o ddiffyg hyder yng nghymdeithas Ceidwadwyr Môn wedi i brotestwyr a oedd o’i blaid darfu ar y broses a chafodd Rogers ei wrthod rhag cael mynediad i gynhadledd y Ceidwadwyr Cymreig.
Yn 2005 ymddiswyddodd o’r Blaid Geidwadol a safodd fel aelod annibynnol yn yr etholiad cyffredinol – fe ddaeth yn drydydd gan gipio 14.7% o’r bleidlais, sef mwy na’r ymgeisydd Ceidwadol, James Roach.
Safodd eto fel aelod annibynnol yn etholiad y Cynulliad yn 2007 ac yn yr etholiad cyffredinol yn 2010.
