„Ahoj, hele nefunguje mi mail a na webmailu se ukazuje nějaký cizí web.“ Tímto telefonátem začalo řešení záhady s DNS…
Středa ráno, přicházím do práce, udělám si kafe, zkontroluji, zda se přenesly noční zálohy mezi pobočkami, pročtu logwatch zprávy od serverů a začínám s naplánovanými úkoly na dnešní den. Prostě ranní rutina.
Zhruba o hodinu později zvoní telefon: „Ahoj, hele nefunguje mi mail a na webmailu se ukazuje nějaký cizí web.“
Říkám, že je to divné a že to prověřím a zavolám zpět. Maily z noci přišly, takže mail evidentně funguje. Zkouším webmail, ale hned mě trkne, že Jirka je mimo kancl a že mě stránka webmailu vrátí místní server kvůli lokálním DNS. Pouštím tedy webmail z mobilu, a ejhle, opravdu jiný web, a to web našeho poskytovatele hostingu.
TESTING
Otevírám web administraci poskytovatele s temnými myšlenkami, že nám někdo hackl účet. Po přihlášení ale zjišťuji, že DNS záznamy jsou v naprostém pořádku. Přepínám okno na již otevřený terminál a píšu „dig A nase.domena @8.8.8.8″ k mému překvapení se zobrazuje IP adresa 222.222.222.222 místo naší adresy 111.111.111.111 co to kruci je? Však v administraci vidím správnou IP adresu, proč mi google vrací takovou blbost? Zadávám znovu „dig A nase.domena @1.1.1.1“ ten vrací správnou IP. Hmm divné. Zkouším ještě ověřeni u našeho webhostera, ale i ten vrací 222.222.222.222. Nechám resolv prověřit ještě jinými DNS servery a už vidím že máme zaděláno na velký problém.
Jelikož máme webhosting zřízený přes našeho webmastera a tuším, že u hostingu se se mnou nikdo nebude bavit, zvedám telefon a volám na našeho webmastera. Vysvětluji mu, co máme za problém a že je potřeba to co nejrychleji řešit, protože nejsme schopni odesílat a přijímat maily a ať mi dá obratem vědět, zda se to vyřeší rychle nebo zda mám začít měnit dns či přesouvat nameserver někam jinam, třeba na CloudFlare. Chlapík mě ujistil, že to bude nějaká banalitka a že za chvíli to bude určitě opravené. Ta chvíle trvala 6 hodin, ale nebudeme předbíhat.
Dobré je, že ostatní pobočky problém nepostihl. Mají jiné subdomény a vlastní mail servery, takže se jich problém nedotkl.
VŠICHNI naši administrátoři jsou momentálně obsazeni, spojeni budete za 150 let
Jelikož jsme dnes měli naplánovanou služební cestu, dodělal jsem, co bylo třeba, pobalil noťas a vyrazilo se na cestu. Uplynula hodina a problém nebyl stále vyřešen. Jelikož se na webmastera nedovolám, volám přímo na poskytovatele hostingu, třeba se dovolám a bude se se mnou někdo bavit. Chyba lávky. Nejprve se ozvala plechová huba, mačkám tedy 2 pro technickou podporu a jelikož neznám č. smlouvy čekám.
„Všichni naši senior administrátoři jsou momentálně obsazeni, jakmile to bude možné, bude se vám některý z nich věnovat,“ a hovor se ukončil. Chudák senior administrátor musí sedět na hotline, pomyslel jsem si. Ale prd proč se mi ukončil hovor. Zkusil jsem to takhle ještě 5x ale marně. No nic, tak zkusíme chat na jejich webu. „Všichni naši operátoři…“ tohle dokáže nastat.
Asi po 10 minutách hovor z cizího čísla: „Dobrý den, mám tu od vás pět nepřijatých hovorů.“ Aaaa, webhosting se probral. Představím se a slyším: „Aaa vidím, že píšete i do chatu.“
Ty vole, na venek krásně vypadající firma sídlící v hezké aministrativní budově je snad one man show.
„Dobrý den, máme u Vás webhosting a Vaše DNS mají asi problém, protože z mail.nasedomena.cz se vrací jiná IP než ta co je nastavena v administaci,“ hlásím trochu nasraně pánovi na druhém konci linky.
„No ale s vámi já se vůbec nebudu bavit, vy nejste oprávněná osoba, to musíte řešit s vaším webmasterem,“ odvětil chlapík.
„Hmm tak to zkusíme jinak, zeptám se obecněji. Evidujete nějaký problém s vašimi DNS servery?“ říkám podpoře.
„Problém na vaší doméně evidujeme,“ hlásí chlapík. Na otázku, v jakém časovém horizontu to bude opravené, jsem dostal odpověď, že neví, že to záleží na TTL.
„Takže vy už to máte opravené, jen čekáte, až se to propíše všude po světě?“
„Ano,“ odpověděl pán na druhém konci telefonu.
„A kde byla chyba?“ táži se.
„Měli jste špatně nastavenou subdoménu.“ No, větší blábol vymyslet nemohl. Subdoména je nastavená už asi rok a nikdo do toho nezasahoval. Svojí lží mě technik vytočil na 200 % a tak hlásím: „A proč tedy vaše nameservery stále vrací špatnou IP?“
„Pane já se s vámi nemohu bavit, nejste oprávněná osoba, problém se řeší, naschle.“ On mi to típl!
Asi po dvou hodinách volá (konečně) webmaster: „Je to vyřešené. Až se propíšou záznamy, tak to bude fungovat.“
Sláva a tři dny se radujte! Pro jistotu po ukončení hovoru otevírám v mobilu IP Tool a zkouším dig na naši subdoménu mail s ns servery hostingu. Zadaná subdoména neexistuje. WTF? co s tím ti šaolini proboha dělají? Otevírám web administraci a nestačím se divit. Ti kreténi smazali záznam mail, vytvořili nový záznam mail2 a mx záznam upravili na mail2. Gratulace, to je oprava tak akorát na ránu pěstí. Mažu tedy záznam mail2, dodávám záznam mail, měním MX záznam a s napětím čekám, jak se změna projeví.
Cestou domů ze služebky kontroluji na mobilu, jak se krásně ve světě propisují záznamy na tu správnou IP adresu. Krize zažehnána, maily fungují. Ale co se vlastně stalo?
INVASTIGATION
Co se vlastně stalo? Hned druhý den ráno jsem psal našemu webmasterovi, co to mělo být a kde byl problém. Mezitím jsem zkontroloval všechny záznamy v DNS, opsal si je a přepsal na CloudFlare. Webmaster mi odpoledne volá a vysvětluje co se vlastně stalo. Dodavatel webhostingu, měnil v noci DNS servery a nějak je správně nenapasoval na systém plesk, který používá k správě domén a celého webhostingu. Webhosting také selhal v tom, že technici, co v noci dělali změny, měli volno, takže podpora, co by byla kvalifikovaná problém vyřešit, měla volno a technici v DC nevěděli, co mají dělat. I proto se řešení problému protáhlo.
JAK POSTUPOVAT DÁL?
Nastavil jsem na všech našich doménách a subdoménách monitoring na DNS. Dále jsem připravil potřebnou půdu pro převod NS na CloudFlare. S webmasterem jsme se domluvili, že jakékoli změny v DNS budeme nejprve diskutovat spolu a následně se budou provádět. Jak tomu předejít? Zvolte si správně firmu, co se Vám bude starat o DNS. Neříkám, že malé jsou špatné, ale když je nějaký problém, tak u těch velkých hráčů to bude řešit celý team zkušených lidí. A v případě problému u CloudFlare či OVH vám to bude stejně jedno, protože nepojede půlka internetu.
CO DĚLAT KDYŽ MI NĚKDO DOMÉNU NAPADL?
Ve světě DNS jsou různé způsoby, jak vám může někdo napadnout doménu:
- Změna IP po cestě mezi DNS serverem a vámi či zákazníkem: Ochranou je nastavení DNSSEC, který chrání domény proti podvodnému přesměrování.
- Hackli registrátora domény: u .cz domény je oproti jiným doménám hezké to, že ji lze uzamknout na úrovni registru. To znamená, že jste schopni uzamknout doménu přímo u cz nic a ani registrátor domény s vaší doménou nehne. Více info zjistíte pomocí doménového prohlížeče – https://www.domenovyprohlizec.cz/.
- Někdo otrávil DNS cache: zde je ochrana poměrně jednoduchá, a to nastavení krátkého TTL.
foto: Designed by Freepik