När katastrof inträffar!

i lågor

De senaste 48 timmarna har inte varit kul. Teknik är en fantastisk sak, men den är aldrig perfekt. När om det misslyckas är jag inte säker på att det verkligen finns så mycket förberedelser du kan ha ... men du måste reagera.

Du kanske har lagt märke till att vår webbplats gick ansträngande långsamt de senaste veckorna. Det var konstigt med tanke på att vi har det på en bra värdpaket kombinerat med en databasserver och innehållsleveransnätverk. Eftersom vi hade mycket utrymme var vi värd för andra webbplatser där också ... och det var vårt misstag!

Ett av våra projekt är en verktyg för övervakning av sociala medier som ansluter till Twitter och Facebook, samlar in data om tusentals lag på sportmarknaden. En gång om dagen samlar den information om fans och följare och samlar den i databasen. Vi har utvecklat mycket på projektet och märkte nyligen att en del av statistiken var fel. Vår klient, Pat Coyle, har varit tålmodig med oss ​​eftersom vi har felsökt problemet.

Då bröt allt! Det verkar som om processen för att samla in information började köras inom några minuter istället för en gång om dagen. Vår databas växte till över 1G inom några dagar, vilket saktade ner vår server och tog massor av utrymme på den. Den andra natten tittade jag faktiskt på när varje webbplats vi hade på kontot började gå ner en efter en. Usch.

Vi planerade redan att flytta Martech till WPEngine att placera den i en dedikerad miljö med säkerhetskopior, integrerad innehållsleverans och en flammande snabb uppsättning servrar. Vi har ett par andra kunder på det och har varit mycket nöjda med både tjänsten och deras otroliga support. Det är inte så att Mediatemple var dåligt, det är helt enkelt att den här miljön byggdes för publikationsbloggar som vår som får massor av trafik. Mitt på natten skrev jag killarna på WPEngine och de hade upp mig på morgonen! Tack hörni!

Därefter började vi titta på hur man fixar databasen. Det stoppade faktiskt databasservern och skadade den största tabellen (den med ALLA centrala data!). Eftersom servern var full kunde vi inte reparera ... vi kunde inte komma åt filerna, kunde inte säkerhetskopiera den ... vi satt fast. Folket på MediaTemple hoppade in och reparerade bordet. Vi kunde sedan göra en fullständig säkerhetskopiering och börja ta upp de andra webbplatserna.

Flytten till WPEngine var inte utan smärta. Eftersom vi inte kunde komma åt vår databas var vi tvungna att ta en ny ögonblicksbild av databasen ... som av någon anledning förlorade all vår kategoriinriktning under processen. Vi har externa WordPress-säkerhetskopiorockså, men vår databas är så stor att sätta ihop alla säkerhetskopieringssegment skulle ta alldeles för lång tid.

Så vi har återställt data och rotat igenom 2,500 inlägg och omklassificerat dem noggrant. Jag är säker på att vi kommer att ta lite av en träff på SEO eftersom det ändrade webbadressvägar ... så vi tog en ännu större träff och ändrade vår permalänkstruktur (utan kategorin). Det är något jag har behövt göra ett tag, så nu var det bättre än senare.

Vi skrotade vårt gamla tema. Det var grafiskt tungt (utan CSS-sprites) och var inte så vänligt att ändra storlek. Vi har beslutat att bara modifiera Tjugo elva tema det är standard med WordPress för nu. Det är HTML5-klart och har massor av responsiva designfunktioner som det var bra att dra nytta av.

Under tiden höll Jenn ner fortet vid DK New Media - jonglera några projekt och slå ut dem i stor tid. Stephen drog en heldag (han arbetar redan nätter!), God vän Adam Small sparkade in och hjälpte, MediaTemple slog det ur parken, och WPEngine hjälpte också. Tack till alla ... vi är tillbaka för att blogga igen!

Nu är det dags för mig att sova lite :). Då fixar vi våra iPad- och mobilteman!

4 Kommentarer

  1. 1

    Doug

    Jag är mycket ledsen att höra att du har haft dessa problem. Det är här en IT-professionell, som jag själv, kunde ha och BOR ha övervakat dina system för att förhindra en sådan situation. Jag är säker på att du får många sådana kommentarer och inlägg, men situationen är enkel. Korrekt underhåll, tillväxtplanering och prognoser borde ha förberett dina webbplatser och din databas för denna trafiknivå. Jag skulle vara intresserad av att prata med dig angående denna situation och åtgärder som kan vidtas för att förhindra i framtiden. Vi har pratat tidigare, du känner mig på din twitterström som @indyscompugeek.

    Daniel, HeadGeek för Indys Computer Geek

  2. 3

    Doug - UGH! är rätt. Jag var på den här webbplatsen för ungefär en vecka sedan och läste en blogg och jag märkte hur långsam det var. Jag funderade allvarligt på att skicka e-post till dig och säga så, men jag tänkte vem jag är att säga 'The Man' att hans webbplats var "trög." Nu vet jag varför! Så glad att du (och din posse) kunde få tillbaka den och fungera. Har du någonsin funderat på att integrera StudioPress Genesis Framework - http://www.studiopress.com - Jag använder om för min webbplats och alla mina klientsidor. Mycket solid mjukvara - älskar det!

    • 4

      Hej Greg! Jag har hört fantastiska saker om Genesis-ramverket. Vi har inte använt det ännu men jag tror att jag kanske får ut WordPress-guru, Stephen, för att bygga ett tema med det. Detta tema började med Twenty Eleven men det har blivit helt anpassat och optimerat. Hittills verkar det hålla sig bra!

Vad tror du?

Den här sidan använder Akismet för att minska spam. Läs om hur din kommentardata behandlas.