Viele der neueren Telekom-Router sind nur umbenannte oder angepasste Versionen der Fritz-Boxen, die Handbücher der Kisten finden sich bei der Telekom zum Download: http://hilfe.telekom.de/hsp/cms/content/HSP/de/3388 - Stichwort Portfreigabe oder Portrouting. Edit: Liste der Fritz-Boxen im Telekomgewand: http://www.wehavemorefun.de/fritzbox/Telekom-Derivate /Edit
Normalerweise sind die so konfiguriert, dass sie angeforderten Datenverkehr unter bestimmten Ports durchlassen, kommt aber eben auch drauf an wie das Programm arbeitet und im Netz kommuniziert.
Für die Windows Firewall reicht normalerweise die einfach Ansicht und ein Haken bei "privat" beim entsprechenden Programm.