El soporte de OVH y el firewall inútil contra otros servidores internos
Este artículo fue escrito en inglés y traducido al español. Leer el original
Este post trata de la posibilidad de saltarse el firewall de OVH simplemente usando un servidor dentro de la propia OVH. Lecciones aprendidas en resumen: 1) OVH no tiene ningún tipo de aislamiento de la red interna, así que cualquier otro cliente de OVH puede contactar directamente con tus servidores (!!!) simplemente apuntando a tu IP pública. Este pequeño "detalle" no lo encontrarás publicado en ningún sitio. 2) Instalar y mantener un firewall en tu sistema operativo (windows o linux, da igual) es absolutamente obligatorio: nunca, nunca, nunca confíes exclusivamente en el firewall de OVH. Sí, es lo bastante potente para detener ataques DDoS, activar mitigaciones y redirecciones BGP, pero es totalmente transparente (¿quizá no interviene en el enrutamiento?) cuando la IP atacante viene de dentro de OVH. Así que es inútil incluso para detener un simple ataque RDP "tipo wannacry" propagado por algún otro cliente de OVH. 3) El soporte de OVH no necesariamente sabe cómo funcionan las cosas de su lado. Pueden salirte con una respuesta cualquiera. Te toca a ti descubrir cómo funcionan realmente las cosas, diga lo que diga lo que te digan. 4) El "Abuse Team" no es capaz de DETENER a otros servidores que te atacan, excepto, supongo, cuando el ataque implica un enorme tráfico de red que hace parpadear un gran botón rojo en algún sitio. Al menos eso espero. Lo que el equipo de abuso sí es capaz de hacer, seguro, es simplemente contactar con la IP indicada en el "formulario de abuso" para pedirle amablemente a la IP infractora que "pare" cualquier acción, incluso SIN VERIFICAR si realmente está ocurriendo algo malo (!!!) entre quien ha denunciado el supuesto abuso. Aquí abajo puedes encontrar el historial completo de los tickets de soporte... desde el primero hasta el último... 29/06/17 18:40 De mí al soporte de OVH: Hola, ¿podrían decirme si OVH tiene una programación que abre 3-4 intentos de conexión RDP simultáneos, intentando acceder a todos mis servidores virtuales de mi private cloud, usando ADMINISTRATOR como nombre de usuario y una contraseña incorrecta, cada minuto, las 24 horas del día ? Gracias.
29/06/17 23:01 de OVH:
Hola,
Disculpe el retraso en la respuesta. No tengo conocimiento de nada, así de memoria, que pueda estar haciendo esto. ¿Puede enviarme algunos logs que muestren que esto está ocurriendo? Veré qué puedo hacer para averiguar si somos nosotros y si podemos resolver el problema.
Avíseme y procuraré resolverlo lo más rápido posible.
Gracias,
Craig
30/06/17 06:43 de mí: Estimado Craig, pude capturar paquetes de algunas peticiones recibidas en uno de mis servidores, las últimas venían de la IP 37.187.48.9 y de la IP 51.254.79.9 e intentaron varios accesos por RDP tratando de conectarse a mi servidor virtual con IP XX.XX.XX.XX usando "ADMINISTRATOR" como nombre de usuario con una contraseña incorrecta. No sé cómo consiguen llegar a mis servidores, teniendo en cuenta que las reglas del firewall de OVH están configuradas para denegar cualquier tipo de tráfico y permitir RDP solo desde la IP de mi casa. Me gustaría entender qué está pasando. Saludos cordiales, Luis.
30/06/17 10:39 de OVH:
Hola, gracias por la información. Estuve en contacto con nuestro equipo PCC y me dijeron con seguridad que esto no tiene relación con nosotros de ninguna manera. Por favor, contacte con abuse@ovh.net y le ayudarán a detener esto. Saludos cordiales, Craig
01/07/2017 18:15 de mí: Estimado Craig, envié un correo a ellos como me pidió, a la espera de su respuesta. Mientras tanto, ¿podría confirmarme que cualquier otro cliente dentro de la red de OVH puede alcanzar la red de mis servidores virtuales "saltándose" las reglas del firewall externo de OVH y haciendo escaneos de red y de puertos TCP ? Porque necesito tomar las medidas adecuadas para mejorar mi seguridad y realmente me pregunto cómo esas IP llegan a mis servidores. Este es un detalle de seguridad muy importante que necesitaría conocer. Gracias.
03/07/2017 10:10 de OVH:
Hola,
No deberían poder hacerlo. Las personas en OVH tendrían que pasar por el firewall público si intentan acceder a su servidor. Si pueden, sería un error por nuestra parte.
El equipo de abuso podrá darle más información sobre su problema y resolverlo por usted.
Gracias por elegir OVH,
Craig
14/07/2017 12:25 de mí: Estimado soporte, tengan en cuenta que: - Siguiendo su sugerencia, envié un correo a abuse@ovh.net sobre las dos IP de las que recibía intentos de conexión RDP, pero a día de hoy, después de 14 días, nadie ha respondido todavía - sin embargo, pocas horas después de enviar el correo, sin que yo hiciera nada, de repente dejó de haber intentos de conexión RDP a todos mis servidores, a la vez. - Aunque digan que "no deberían poder hacerlo" (y estoy de acuerdo con ustedes), les informo de que por desgracia actualmente es posible hacerlo... y creo que esto es un enorme problema de seguridad de OVH porque **actualmente es posible** llegar al servidor de cualquier cliente de OVH, saltándose el firewall de OVH, simplemente apuntando a la IP pública de las máquinas, sin hacer nada especial. Acabo de volver a probarlo ahora mismo con un amigo que tiene un servidor en OVH España, y puede iniciar una sesión RDP en todos mis servidores, aunque el puerto RDP esté cerrado en el firewall de OVH (!!!!). Es muy fácil de probar. Pruébenlo... Por favor, díganme si esto se considera "comportamiento normal" en OVH, para que pueda tomar las medidas adecuadas por mi parte para proteger mejor mis servidores. A la espera de noticias, Luis Il 03/07/2017 11:10, OVH Customer Support Service ha scritto: > Hola, > No deberían poder hacerlo. Las personas en OVH tendrían que pasar por el firewall público si intentan acceder a su servidor. > Si pueden, sería un error por nuestra parte. > El equipo de abuso podrá darle más información sobre su problema y resolverlo por usted. > > Gracias por elegir OVH, > > Craig
14/07/17 15:07 de OVH:
Hola,
¿Puede enviarme el correo que envió al equipo de abuso? Los contactaré para que se resuelva más rápido. En cuanto a las peticiones RDP que atraviesan el firewall. Eso no debería estar ocurriendo. ¿Puede enviarme alguna prueba? Haré lo que pueda para resolverlo.
Saludos cordiales,
Craig
14/07/17 15:08 de mí: Estimado Craig, a continuación encontrará el correo que envié el 30 de junio a abuse. Respecto a la conexión RDP: - Captura de pantalla de la configuración actual del firewall de OVH para la IP de mi servidor XX.XXX.XX.XXX https://www.dropbox.com/s/XXXXXX - Captura de pantalla de telnet desde un ordenador FUERA de la red de OVH intentando conectarse al puerto TCP de RDP (la conexión se queda colgada, eso está bien, el firewall de OVH está bloqueando correctamente): https://www.dropbox.com/s/XXXXXXX - Captura de pantalla de telnet desde un ordenador DENTRO de la red de OVH que recibe respuesta de RDP (esto no está bien, se está saltando el firewall de OVH) - esto funciona también desde IP de distintos países de OVH, como cuando mi amigo lo probó desde España. https://www.dropbox.com/s/XXXXXXXX - Captura de paquetes donde se ven las conexiones RDP que llegan a mi servidor (busque por ejemplo la IP 37.187.48.9 y la IP 51.254.79.9) https://www.dropbox.com/s/XXXXXXXX Luis. -------- Mensaje reenviado -------- Asunto: security issue trough firewall Fecha: Fri, 30 Jun 2017 16:59:10 +0200 De: Luis Dragotto XXXXX@XXXX.XX Para: abuse@ovh.net Hola, Como me pidió su compañero a través del ticket que abrí desde mi panel, les reenvío esta información. Tengan en cuenta que estoy recibiendo en casi todos mis servidores virtuales alojados en mi private cloud en OVH (por ejemplo, la IP de uno de mis servidores es XX.XX.XX.XX) varios intentos de conexión RDP con el usuario "ADMINISTRATOR" y una contraseña incorrecta a un ritmo de casi 4 peticiones por minuto desde la IP 37.187.48.9 y la IP 51.254.79.9, que me son desconocidas y pertenecen ambas a OVH. A la espera de noticias, Luis. Luis.Il 14/07/2017 16:07, OVH Customer Support Service ha scritto: > Hola, > > ¿Puede enviarme el correo que envió al equipo de abuso y > los contactaré para que se resuelva más rápido? > > En cuanto a las peticiones RDP que atraviesan el firewall. Eso no > debería estar ocurriendo. ¿Puede enviarme alguna prueba? Haré lo que pueda > para resolverlo. > > > Saludos cordiales, > > Craig
19/07/17 15:20 de OVH:
Hola,
Disculpe el retraso en la respuesta. Sigo esperando una respuesta de nuestro equipo de abuso para saber si este problema está resuelto.
¿Sigue recibiendo los intentos de conexión? Si es así, ¿puede enviarme las direcciones IP que hacen las peticiones? Investigaré más a fondo.
Saludos cordiales,
Craig
19/07/17 15:35 de mí: Estimado Craig, gracias por la actualización, espero que respondan pronto porque esto parece un gravísimo problema de seguridad para OVH. He activado un firewall de windows para bloquear las peticiones, así que ahora estoy bien, pero en el momento en que lo desactivo, en un par de horas los intentos de conexión con "administrator" vuelven a empezar, casi 4 a la vez, juntos, cada minuto. Para poder capturar las direcciones IP tendría que iniciar una captura de paquetes y filtrar entre todo el demás tráfico, porque windows no registra automáticamente la IP (por desgracia) en los fallos de RDP... si necesita más IP de origen puedo hacer una captura de paquetes y analizar los resultados durante el fin de semana. Avíseme, Luis.
19/07/17 15:54 de OVH:
Hola Luis,
Si tienes tiempo de hacer una captura de paquetes sería perfecto. Una vez que sepa de dónde vienen las peticiones y si están en nuestra red, puedo hacer algo al respecto. Envíamelas cuando puedas. Gracias,
Craig
19/07/17 16:11 de mí: Estimado Craig, acabo de crear un log del firewall con los paquetes descartados, se actualiza más o menos una vez por minuto, cuando el firewall vacía el búfer. Lo puedes encontrar aquí: http://XX.XX.com/fwdrops.txt Ahí ya puedes ver algunas IP que llegan a mi servidor, saltándose el firewall de OVH (no debes tener en cuenta los intentos de tráfico UDP a 224.0.0.252, que es "normal" en windows). Por ejemplo, en pocos minutos ya estoy recibiendo intentos de conexión al puerto TCP 445 desde las IP: 46.105.42.91 37.187.71.195 158.69.151.73 178.33.108.220 147.135.228.100 Ten en cuenta también que hace un mes uno de mis servidores fue golpeado por un "ransomware de la NSA", nunca entendí de dónde venían, ahora lo sé. En ese caso tenía una copia de seguridad y pude recuperar el servidor e instalar todas las actualizaciones para evitar problemas futuros. Saludos, Luis.
19/07/17 17:10 de OVH:
Hola Luis,
Sí, parece que entra efectivamente por la red. Es un problema muy extraño.
Contacté con el equipo de abuso y me dijeron que deberías rellenar el siguiente formulario: https://www.ovh.ie/abuse/
Y pegar los logs de cada IP. Una vez hecho, escríbeme y lo haré arreglar.
Gracias,
Craig
19/07/17 17:32 de mí: Vale, hecho. Referencia de la denuncia de abuso #PVRKZWNFXB Gracias, Luis.
20/07/17 09:43 de OVH:
Hola Luis,
Gracias por eso. He hablado con el equipo de abuso y se investigará y se reparará con alta prioridad.
Saludos cordiales,
Craig
25/07/17 16:08 de mí: Hola Craig, ¿tienes alguna novedad sobre este asunto ? Sigo recibiendo más de 650 intentos de conexión diarios desde IP distintas, todas procedentes de la red de OVH... Saludos cordiales, Luis.
25/07/17 16:36 de OVH:
Hola Luis,
Habría supuesto que ya estaba resuelto. Déjame contactar con el equipo de abuso a ver si puedo averiguar más.
Espero solucionarlo pronto. Te informaré.
Saludos cordiales,
Craig
25/07/17 16:39 de mí: Gracias, por si lo necesitas he movido los logs del firewall aquí, siempre actualizados cada minuto. http://www.XXXXX.it/fwdrops.txt Saludos cordiales, Luis. Il 25/07/2017 17:36, OVH Customer Support Service ha scritto: > Hola Luis, > > Habría supuesto que ya estaba resuelto. Déjame contactar con el equipo de abuso > a ver si puedo averiguar más. > > Espero solucionarlo pronto. Te informaré. > > > Saludos cordiales, > > Craig
26/07/17 13:51 de OVH
Hola Luis,
Gracias por eso. He estado en contacto con el equipo de abuso y dicen que te han escrito.
Si necesitas cualquier ayuda por mi parte, avísame y haré lo que pueda para asistirte.
Saludos cordiales,
Craig
26/07/17 14:02 de mí: Estimado Craig, confirmo que el equipo de abuso me contactó ... pidiendo a MÍ que investigue y arregle el comportamiento de intrusión que estoy haciendo (!!!!) violando los términos de servicio de OVH, e incluyendo como prueba ... los mismos informes que les envié yo para demostrar que estoy recibiendo ataques desde una lista de IP. Sinceramente, no sé si reír o llorar. Saludos cordiales, Luis.
26/07/17 16:34 de OVH:
Hola Luis,
Lamento eso. Es verdaderamente una locura. Estaba hablando con uno de nuestros ingenieros de red sobre el problema y decía que, como las IP son internas, no las bloquea el firewall de OVH, ya que este protege contra el tráfico exterior. La mejor línea de acción para protegerse de estas conexiones sería desactivar RDP en estas máquinas. Si RDP es necesario, pon en lista blanca solo las IP necesarias. Esto resolverá el problema.
También vamos a investigar las IP que intentan conectarse a tu servidor y a hacer que las eliminen. Pero de verdad consideraría apagar el Escritorio remoto si no es necesario.
Saludos cordiales,
Craig
26/07/17 16:48 Estimado Craig, gracias por la respuesta. Es una locura que cualquiera que tenga un servidor dentro de OVH pueda hacer escaneos de puertos TCP a todos los demás servidores de OVH e intentar atacar a cada servidor, y sobre todo es increíble que lo máximo que puede hacer el equipo de abuso sea ... reenviar el correo al presunto atacante pidiéndole amablemente que pare :-) Pensaba que la red interna de OVH estaba mucho más controlada, segura y aislada... Tomo nota y subiré reglas de seguridad adecuadas en mis servidores. Gracias y saludos cordiales, Luis.
27/07/17 15:40
Hola Luis,
Nuestra red interna bloquea los ataques maliciosos. La razón por la que este no fue el correo más amenazante enviado por el equipo de abuso es que tenemos que tener en cuenta el riesgo de que el cliente sea legítimo y simplemente haya escrito una IP incorrecta. Si detectamos algo que suponga una amenaza seria para nuestros servicios o clientes, lo detenemos inmediatamente y cerramos la cuenta/los servicios del cliente. Creo que en este caso, al tratarse de intentos RDP sin intentos de contraseña, eran menos maliciosos.
De todos modos, lamento mucho que se haya alargado tanto. Me dijeron que lo pasara al equipo de abuso y en el futuro sabré que es mejor no hacerlo. Si tienes más problemas o inconvenientes en el futuro, avísame y lo resolveré mucho, mucho más rápido que esto.
Saludos cordiales,
Craig
Si te apetece hablar de ello, escríbeme.
info@bitnrg.com
Comentarios
Andrés
Any solution for this? I use Ubuntu. They attack me through TCP.
Luis Dragotto
yes, you have to mount your own firewall... under Ubuntu, I suggest ufw (apt-get install -y ufw)
Andy
Hey Luis, I don't know whether to shout at you for being such a patient dude or to simply loose my faith in humanity! Surely you have taken your custom elsewhere right? Tell me you have, please! By saying that "we only send soft warning to alleged offenders is completely missing the point - HELLO! Offending or not, there IP's should NOT have access to your machines. Don't get me started on the customer "service" provided by OVH, I've yet to find anyone that has any good thing to say about them. Let me go and urge my client to liquidate on OVH and shift to AWS (yes they own the world but at least it's a secure world!)
Luis Dragotto
Hello Andy. At the end, I moved some of my services outside, but still have some others in OVH. They're the cheaper ones with the highest DDoS protection in the world, and unfortunately they have no competitors still in 2021. AWS is very good, but it can get very complicated to configure (at least initially), and they are one of the more expensive out there - but they have really really damn good engineers on the customer support side. OVH improved in the meanwhile their support packages too, thank god, and they now have standard, premium, business and enterprise, with the business (for 360 usd/month) having a real 24/7 incident management (finally). In my case, with AWS I should spend around 4x what I'm currently paying to OVH, to have exactly the same things, so I'm forced to stay with OVH and cross my fingers that everything will run smooth. A good additional DDoS protection, but just for some kind of configurations (not my case), is now possible with CloudFlare, and at an affordable price (around 200 usd/month)... so it's easy to combine CloudFlare with some other provider to add that DDoS protection extra layer that normally costs around 3K usd/month just "to start talking". Regarding the problem of customer support not being able to provide a decent support level to customers has become, sadly very common since several years now, and it's getting worse year after year. I'm just trying to get used to it: my only way to fight it is to provide the best support I can to my customers while waiting to see improvements somewhere else. But, honestly, I'm still waiting... :-(
Othman
@Luis Thank you very much for writing this post and for your steeled patience. Unfortunately we are experiencing a similar issue but ours is from external (at least currently). Our OVH server keeps getting hit by malicious attacks on port 445 (SMB), 3389 (RDP), and 5985 (RDP via HTTP) from all sorts of public IPs (I suspect the source IPs are spoofed though) constantly throughout the day every minute (or several times per minute). OVH have offered very potato support to resolve this issue, and have even sent as an email stating that we are violating conditions because we are port scanning others (We've opened at least 5 tickets with them asking them to help us investigate the large number of port scans against our server!). There is some evidence also to suggest that OVH has been shutting down our server when a large DDoS attack against it happens... It is partially understandable since they would want to protect their infrastructure from using up too much resources, but at the same time it is rather problematic, considering they don't notify us officially of these hard resets. All in all, after a lot of packet captures, firewall log analysis, etc, we have disabled RDP and opted to use Teamviewer to login remotely, and blocked the three ports mentioned above. We will also be moving some of our firewall rules from our OVH server to the OVH firewall, in hopes that OVH will less likely reboot our server (a forum somewhere implied that OVH shutsdown servers to maintain its 'integrity' if it is being heavily attacked by DDoS).
Luis Dragotto
Dear @Othman , thanks for your comment. It's almost 8 years I'm with OVH, I can assure you I've been gone trough several DDoS attacks, and I never had any server shut down by them. But I was using a PCC (private cloud), which recently I had to switch with single VM's inside a public cloud project. At the end, the best thing to do is to use a combination of both OS Firewall (windows firewall, or ufw on linux) together with their OVH Firewall, and then setup a custom VPN Server (I made one with ubuntu) to access your internal private network. Under Windows you need to play a little to to separate "Private" and "Public" networks, so you can restrict RDP/SMB only on the internal/private network, and block it on the "public" interface. This way you can stop OVH customers trying to access your servers, and get the DDoS protection from the OVH Firewall from the "outsiders", which you can also keep it "always on" when you see several attacks coming trough (otherwise, you'll need to wait for the triggers to realize, which sometimes could not run immediately). The email you received from OVH stating that you were violating conditions because of port scanning seems the same I received back in 2017 when I wrote this post. Looks they haven't improved at all, under this point of view.