Uurimus: kui suur osa internetiliiklusest kuulub pornosaitidele?
Google'i meediaplaneerimise teenuse DoubleClick Ad Planner andmetel on võimsaim pornosait Xvideos, mis kogub 4,4 miljardit lehekülastust kuus, kirjutab ExtremeTech.
Sellele järgnevad suuruse järjekorras YouPorn, Tube8, Pornhub - tohutu liiklusega saidid, millele jäävad alla peaaegu kõik väljaspool Google'i ja Facebooki impeeriumeid.
Lehekülastused on saidi suuruse määramiseks ehk sobiv alguspunkt, aga siin loevad ka muud tegurid, eriti see, mida külastajad saidil teevad.
Mõõtkava
Porno- ja mittepornosaitide peamine erinevus seisneb külastusajas. Nt Engadgeti taolise uudistesaidi külastus kestab keskmiselt 3-6 minutit, millest piisab ühe-kahe looga tutvumiseks. Pornosaidil veedetakse aga korraga keskmiselt 15-20 minutit.
Teine erinevus on sisu. Tavasaidid sisaldavad eelkõige teksti ja pilte, pornosaidid voogvideot. Näiteks ExtremeTechi kodulehe laadimiseks piisab paarist megabaidist ja edasi võib-olla 500 kilobaidist artikli kohta.
Porno puhul peab arvestama enamaga. Kui eeldadada, et videoresolutsioon on madal, näiteks 480 x 200, oleks see 100 kilobaiti sekundis. 15 minuti puhul on tulemus seega umbes 90 MB.
Korrutades 90 MB külastuste arvuga kuus (mis on Xvideosil 350 miljoni kandis), saame tulemuseks 29 petabaiti edastatud andmeid kuus, ehk 50 gigabaiti sekundis. Võrrelge oma koduse netiühenduse edastusvõimega - see on tõenäoliselt tuhandeid kordi väiksem.
Lühidalt, pornosaidid pistavad rindu tohutute andmehulkadega. Selles astuvad neile kandadele hetkel vaid videopõhised Hulu ja YouTube. Ja isegi siin ületab YouPorn Hulu suuruse kuuekordselt.
Infrastruktuur
Videoedastus nõuab palju enam ressursse kui tekst ja fotod. Pornosaidi puhul võib eeldada, et see pakub umbes 50-200 terabaiti sisu. See pole odavate 2 TB ketaste ajastul iseenesest ületamatult kulukas.
Pornosait pakub tuhandetest videodest koosnevat dünaamilist, otsitavat andmebaasi. Kui kasutaja klõpsab suvalisele klipile, loetakse konkreetne fail kõvakettalt ja voogedastatakse neti kaudu. Kui olete suurt faili üle kohtvõrgu kopeerinud, aimate, kui koormav see on.
Täpseid riistvaralisi vajadusi on võimatu ära arvata. Suurt pornosaiti hoiavad tõenäoliselt käigus neljatuumsete kesktöötlusseadmega serverite püstikud, gigabitised switchid ja koormuse tasakaalustajad. Tarkvaraliselt on vaja kõrge läbilaskevõimega andmebaase nagu Redis (videode salvestus ja edastus) ja kergekaalulisi HTTP-servereid nagu Nginx (veebilehtede edastus).
Lõpuks ribalaius. Xvideosi näitel peab sait edastama keskmiselt 50 GB andmeid sekundis. Keskmine andmekiirus on 400 Gbit/s, aga see kasvab tippliiklusega isegi üle 1 Tbit/s. Võrdluseks - Londoni ja New Yorgi vaheline ühendus ongi umbes 15 Tbit/s.
Sellise liiklusega toimetulekuks on vaja luua oma andmekeskus, rentida püstikuid juba eksisteerivas andmekeskuses või toetuda pilveteenusele (Amazoni AWS, Microsofti Azure vms).
Näide reaalsest maailmast
YouPorn, suuruselt teine pornosait veebis, jagas artikli autoriga oma tegevust puudutavaid numbreid. Selgub, et DoubleClick AdPlanneri pakutud arvud jäävad reaalsetele alla.
YouPorn pakub "üle 100 TB pornot" ja saab "üle 100 miljoni lehekülastuse päevas". See on keskmiselt 950 TB andmeedastust päevas ja umbes 28 PB kuus, peaaegu kõik video voogedastuse all.
YouPorn saab tippliiklusega 4000 lehekülastust sekundis, mis annab siis liikluseks umbes 100 GB sekundis ehk 800 Gbit/s.
Nende Redis-server saab andmebaasist 300 000 päringut sekundis ja tunnis logitakse 8-15 GB andmeid (külastajad, nende tegevused jne).
***
Ööpäevane ülemaailmne internetiliiklus on umbes pool eksabaiti. Eelneva põhjal võib järeldada, et ühelt pornosaidilt tuleb ligi 2% kogu sellest liiklusest. YouPorni suuruseid pornosaite on aga tosinaid, pisemaid aga sadades.
Seega on realistlik arvata, et internetis igapäevaselt liikuvatest andmetest tubli 30% pärineb pornosaitidelt.
Jälgi Forte uudiseid ka Twitteris!