modem não existe... como configurá-lo?

O /dev/modem é somente uma ligação simbólica para o dispositivo real, segundo a seguinte tabela:

    DOS:     Linux:
    
    com1     /dev/ttyS0
    com2     /dev/ttyS1
    com3     /dev/ttyS2
    com4     /dev/ttyS3

Então, se seu modem estiver conectado na com3, por exemplo, o comando para criação do /dev/modem:

    [root@localhost]# ln -sf /dev/ttyS2 /dev/modem

Se o modem estiver na ttyS2 ou ttyS3 você deve adicionar uma linha como esta em seu /etc/rc.d/rc.local

    setserial /dev/modem irq 7

De acordo com a IRQ que seu modem utilizar.