Nie da się, ze względów licencyjnych. Za użycie AVI w grach trzeba (podobno, tak czytałem - nie wiem na ile to prawda) bulić ciężkie pieniądze nawet jak gra/program to freeware.
A co do konwersji na OGV, to widzę dwa rozwiązania dlaczego wyszła ci gówniana jakość:
- AVI z którego konwertowałeś miało gównianą jakość samo w sobie
- Miałeś gówniany konwerter
O ile z pierwszym ci nie pomogę, o tyle tutaj masz wspaniały konwerter:
http://sourceforge.net/projects/theoraconverter/ - sam go używam do konwertowania swoich filmów, bo w OGV zajmują mniej miejsca przy mniej-więcej tej samej jakości.
Oczywiście jeszcze musisz odpowiednio dobrać współczynniki kompresji - wiadomo że jak dasz wszystko na "rozmiar" nie "jakość", to wyjdzie ci rozpikselowane gówno, tu musisz mniej więcej dawać podobne współczynniki jak w wypadku kompresji obrazka do JPEG, jakieś 60-75% jakości.
//edit: Jak chcesz rozmiar mniej-więcej jak rozmiar wejściowego AVI, to możesz zaryzykować z jakością 80-90%, ale jak przesadzisz to będziesz mieć video większe o kilka-kilkanaście KB, bo rozmiar nagłówka OGV jest o kilka-kilkanaście KB większy od rozmiaru nagłówka AVI.