Nedetid 04.01.2024

Fringegirl skrev:
Fotballside?

Jeg er ikke på dette forumet pga fotball.
Jeg var på VGD pga debatt og film.
Samme på FriD.

Men om Diskutopia nå er blitt ett hovedforum for Fotball så bør man vel egentlig bytte navn på forumet… ellers blir det veldig misvisende å kalle dette Diskutopia hvis det i grunnen er kun 90% fotball det går i ? 🧐
Klikk for å utvide...
Diskufotia
 
Fictitious skrev:
Prisverdig å være såpass transparent (ironisk nok skjuler jeg det, for å spare plass), det tror jeg er en fordel når man drifter et brukerfinansiert forum. Jeg vil tro åpenhet om slike issues, og inkludering av brukere under planlegging av fremtidig arbeid, gjør det enklere for brukere å føle seg inkludert i prosessen og føle et visst eierskap over forumet, som igjen gjør at man ønsker å tilbringe mer tid her.
Klikk for å utvide...
Jeg har aldri likt hvordan alt alltid skal skjules hele tiden på «alle» andre nettsteder. En av forutsetningene mine for å være med på dette prosjektet her var at vi skulle være åpne og transparente, og det var det heldigvis aldri noen uenighet om – alle i ledelsen ønsket det samme. Vi er jo tross alt en non-profit organisasjon, med eksplisitt mål om å ikke tjene penger, så vi har ikke noen forretningshemmeligheter eller andre grunner til å sitte og knuge på interne detaljer.

Detaljene om både tekniske løsninger og økonomi skal være tilgjengelige for de av dere som ønsker det. I den grad vi utelater noe informasjon fra kunngjøringer som dette, så er det bare fordi vi prøver å tilpasse teksten til et bredt spekter av brukere med ulike bakgrunner. Hvis det er noen teknikere der ute som vil ha flere detaljer, så er det bare å spørre, vi deler gjerne det vi har, så lenge det ikke går på sikkerhet og personvern løs.


Testikkel-John skrev:
Antyder du hacking av noe slag?
Klikk for å utvide...
Hacking (i form av at noen har fått tilgang på serveren) har vi absolutt ingen indikasjoner på.

Noen medier omtaler (uriktig) DDoS-angrep som hacking.
Det er litt prematurt å skulle konkludere med angrep her. Det gjenstår fremdeles mye analyse, men selv om vi har opplevd merkbart økt trafikk den siste tiden, så var det ikke noen plutselig tsunami av trafikk som slo oss ut i går.


Det vi vet, er at vi rundt nyttår plutselig begynte å bruke merkbart mer prosessorkraft, selv midt på natta, og i andre perioder hvor det ikke var så mye som skjedde på forumet.

Det samme skjedde tidligere i høst, men da var nivået fremdeles godt innafor komfortsonen, og langt under «rødlinja» vår, så det var ikke nødvendig med noen umiddelbar etterforskning og utbedring.

Vi har ikke herjet rundt og eksperimentert med mye rart – etter at vi fikk opp forumet i starten av juli, så har serveren fått stå i fred og putre og gå av seg selv, uten at vi har blandet oss noe særlig inn i det hele tatt, så det at vi ved minst to anledninger (i høst, og ved nyttår) plutselig opplever et merkbart og vedvarende steg opp i prosessorforbruk virker veldig rart. Teorien min i høst var at Amazon endret et eller annet i hvordan de regner ut forbruket vårt. Vi eier jo tross alt ikke metallet vi kjører på, det er det Amazon som gjør, og så beregner de forbruket vårt på chippene vi leier. Når vi da i høst gikk fra å ligge meget komfortabelt på godt under 10 % forbruk, til over natta å hoppe opp på nesten 20 % forbruk (i stille perioder, som midt på natta), så mistenkte jeg at Amazon gjorde noe på sin side. Når det nå skjedde igjen, og vi hoppet opp fra rundt 20% til litt over 30% over natta (som TexMurphy sa, så kicker «reservetanken» inn ved 30% forbruk), så er det noe muffens. Men Amazon er jo et gigantisk og formodentlig seriøst selskap, så jeg synes det blir litt konpiratorisk å mistenke Amazon for å svindle oss for kronestykkene våre. Men glipper og feil kan jo naturligvis skje. Dette var bare min første tanke i høst, og forklaringen kan naturligvis være en helt annen, men dette har som sagt skjedd ganske plutselig, uten at vi har gjort noen endringer på vår side. Det er også en vedvarende og stor nok økning til at det ikke er tilfeldig eller forbipasserende.

Som sagt, vi har opplevd økt trafikk, men (med forbehold om at vi ikke har fått analysert dette veldig grundig enda) disse plutselige doblingene av «tomgang»-forbruk over natta kan ikke forklares med en jevn økning i trafikk over tid.

Når det er sagt, så er en helt tussete stor andel av trafikken vår rett og slett bots, så vi kommer til å sperre tilgangen for en del av disse. Enkelte bots er kjekke å ha, f.eks. GoogleBot og BingBot, som indekserer oss slik at vi kan dukke opp hos folk som søker på relevante ord og uttrykk, eller DownDetectorBot, som stikker innom en gang i blant for å sjekke at forumet er oppe, slik at brukere som opplever at forumet er nede kan sjekke på DownDetector om det bare gjelder dem, eller om det faktisk er nede. Vi ser heller ikke noe galt med uskyldige, «hjemmesnekrede» scrapere til personlig forbruk, slik jeg f.eks. antar at 6347 bruker for å få datagrunnlag til sine fantastiske forumstatistikker,

Den store majoriteten av bots som scanner oss, er imidlertid noe som neppe gagner oss i det hele tatt. Vi har flere hundre bots som crawler forumet her, og som regel er det flere titalls inne her til enhver tid. Det er noen særdeles aggressive bots som scanner mange ganger i sekundet, og som ikke respekterer etablerte retningslinjer for bots. Som regel er dette også bots vi ikke får noe nytte av, da de f.eks. tilhører obskure søkemotorer ingen bruker, eller nettsteder på andre siden av jorda, eller datainnsamling til forskningsformål, eller datainnsamling til å trene opp en eller annen AI-språkmodell.

En av jobbene vi har foran oss nå, er å gå gjennom denne lange listen av hundrevis av bots, finne ut hvilke (få) vi ønsker og hvilke (mange) vi ikke ønsker, for deretter å prøve å finne ut hvordan vi best mulig kan sperre ute disse bottene, spesielt de aggressive som ikke respekterer vanlige «inngang forbudt»-skilt.

Én bot som bare leser, vil i seg selv ikke være veldig ressurskrevende, men når det er titalls, eller hundretalls, som scanner aggressivt og kontinuerlig, så tror jeg de i sum opptar en del ressurser vi gjerne vil frigjøre. Vi har flere millioner botforespørsler hver uke, og som sagt er det de færreste av disse som er nyttige for oss.
Som sagt, så er ikke forbruksproblemet vårt nødvendigvis korrelerbart med økt trafikk, så det er ikke sikkert dette vil løse det opprinnelige problemet, men det kan i alle fall ikke skade å bli kvitt en del bots.

Grundigere analyser vil også kunne avdekke om det er annen uønsket trafikk som ikke er scanne-/botrelatert. Vi vil i så fall naturligvis forsøke å bli kvitt dette også.
 
tomi skrev:
Jeg har aldri likt hvordan alt alltid skal skjules hele tiden på «alle» andre nettsteder. En av forutsetningene mine for å være med på dette prosjektet her var at vi skulle være åpne og transparente, og det var det heldigvis aldri noen uenighet om – alle i ledelsen ønsket det samme. Vi er jo tross alt en non-profit organisasjon, med eksplisitt mål om å ikke tjene penger, så vi har ikke noen forretningshemmeligheter eller andre grunner til å sitte og knuge på interne detaljer.

Detaljene om både tekniske løsninger og økonomi skal være tilgjengelige for de av dere som ønsker det. I den grad vi utelater noe informasjon fra kunngjøringer som dette, så er det bare fordi vi prøver å tilpasse teksten til et bredt spekter av brukere med ulike bakgrunner. Hvis det er noen teknikere der ute som vil ha flere detaljer, så er det bare å spørre, vi deler gjerne det vi har, så lenge det ikke går på sikkerhet og personvern løs.



Hacking (i form av at noen har fått tilgang på serveren) har vi absolutt ingen indikasjoner på.

Noen medier omtaler (uriktig) DDoS-angrep som hacking.
Det er litt prematurt å skulle konkludere med angrep her. Det gjenstår fremdeles mye analyse, men selv om vi har opplevd merkbart økt trafikk den siste tiden, så var det ikke noen plutselig tsunami av trafikk som slo oss ut i går.


Det vi vet, er at vi rundt nyttår plutselig begynte å bruke merkbart mer prosessorkraft, selv midt på natta, og i andre perioder hvor det ikke var så mye som skjedde på forumet.

Det samme skjedde tidligere i høst, men da var nivået fremdeles godt innafor komfortsonen, og langt under «rødlinja» vår, så det var ikke nødvendig med noen umiddelbar etterforskning og utbedring.

Vi har ikke herjet rundt og eksperimentert med mye rart – etter at vi fikk opp forumet i starten av juli, så har serveren fått stå i fred og putre og gå av seg selv, uten at vi har blandet oss noe særlig inn i det hele tatt, så det at vi ved minst to anledninger (i høst, og ved nyttår) plutselig opplever et merkbart og vedvarende steg opp i prosessorforbruk virker veldig rart. Teorien min i høst var at Amazon endret et eller annet i hvordan de regner ut forbruket vårt. Vi eier jo tross alt ikke metallet vi kjører på, det er det Amazon som gjør, og så beregner de forbruket vårt på chippene vi leier. Når vi da i høst gikk fra å ligge meget komfortabelt på godt under 10 % forbruk, til over natta å hoppe opp på nesten 20 % forbruk (i stille perioder, som midt på natta), så mistenkte jeg at Amazon gjorde noe på sin side. Når det nå skjedde igjen, og vi hoppet opp fra rundt 20% til litt over 30% over natta (som TexMurphy sa, så kicker «reservetanken» inn ved 30% forbruk), så er det noe muffens. Men Amazon er jo et gigantisk og formodentlig seriøst selskap, så jeg synes det blir litt konpiratorisk å mistenke Amazon for å svindle oss for kronestykkene våre. Men glipper og feil kan jo naturligvis skje.

Som sagt, vi har opplevd økt trafikk, men (med forbehold om at vi ikke har fått analysert dette veldig grundig enda) disse plutselige doblingene av «tomgang»-forbruk over natta kan ikke forklares med en jevn økning i trafikk over tid.

Når det er sagt, så er en helt tussete stor andel av trafikken vår rett og slett bots, så vi kommer til å sperre tilgangen for en del av disse. Enkelte bots er kjekke å ha, f.eks. GoogleBot og BingBot, som indekserer oss slik at vi kan dukke opp hos folk som søker på relevante ord og uttrykk, eller DownDetectorBot, som stikker innom en gang i blant for å sjekke at forumet er oppe, slik at brukere som opplever at forumet er nede kan sjekke på DownDetector om det bare gjelder dem, eller om det faktisk er nede. Vi ser heller ikke noe galt med uskyldige, «hjemmesnekrede» scrapere til personlig forbruk, slik jeg f.eks. antar at 6347 bruker for å få datagrunnlag til sine fantastiske forumstatistikker,

Den store majoriteten av bots som scanner oss, er imidlertid noe som neppe gagner oss i det hele tatt. Vi har flere hundre bots som crawler forumet her, og som regel er det flere titalls inne her til enhver tid. Det er noen særdeles aggressive bots som scanner mange ganger i sekundet, og som ikke respekterer etablerte retningslinjer for bots. Som regel er dette også bots vi ikke får noe nytte av, da de f.eks. tilhører obskure søkemotorer ingen bruker, eller nettsteder på andre siden av jorda, eller datainnsamling til forskningsformål, eller datainnsamling til å trene opp en eller annen AI-språkmodell.

En av jobbene vi har foran oss nå, er å gå gjennom denne lange listen av hundrevis av bots, finne ut hvilke (få) vi ønsker og hvilke (mange) vi ikke ønsker, for deretter å prøve å finne ut hvordan vi best mulig kan sperre ute disse bottene, spesielt de aggressive som ikke respekterer vanlige «inngang forbudt»-skilt.

Én bot som bare leser, vil i seg selv ikke være veldig ressurskrevende, men når det er titalls, eller hundretalls, som scanner aggressivt og kontinuerlig, så tror jeg de i sum opptar en del ressurser vi gjerne vil frigjøre. Vi har flere millioner botforespørsler hver uke, og som sagt er det de færreste av disse som er nyttige for oss.
Som sagt, så er ikke forbruksproblemet vårt nødvendigvis korrelerbart med økt trafikk, så det er ikke sikkert dette vil løse det opprinnelige problemet, men det kan i alle fall ikke skade å bli kvitt en del bots.

Grundigere analyser vil også kunne avdekke om det er annen uønsket trafikk som ikke er scanne-/botrelatert. Vi vil i så fall naturligvis forsøke å bli kvitt dette også.
Klikk for å utvide...
Takk for utfyllende svar. Var muligens DDoS-angrep jeg mente med hacking. Var slik jeg tolket spekulasjonene. Virker som dere har kontroll :)
 
PapaSmurf skrev:
Ja, det er brukerne som bestemmer hva som diskuteres, og i tillegg viste jo statistikken til 6347 at vi har en fin aktivitet over hele forumet.
Klikk for å utvide...
Kan jo også presisere, uten at det sikkert er nødvendig, at vi som moderatorer og resten av teamet har 0 visjoner eller ønsker om å gjøre dette til et rent fotballforum.

Det var jo det som gjorde VGD så bra og interessant i sin tid, at man kunne diskutere alt mellom himmel og jord på ett sted. Og det håper man jo fortsetter her inne også i mange år fremover😄
 
SirJames skrev:
Jeg mistet 4 innlegg i natt.

Når dere finner dem hadde jeg satt pris på at dere sender dem til meg med brevdue.

På forhud takk.
Klikk for å utvide...
Kode: 
| SirJames | Den Store Backstage/Off topic jumbomumbo Tråd! | 2024-01-04 22:27:40 |
Sirup er overvurdert                                                                                                                                                                                                                                                                   


| SirJames | Hvilken serie så du sist? | 2024-01-04 22:32:38 |
Riktige vinnere av "The Amazing Race" S35 👍🏻👍🏻                                                                                                                                                                                                                                         
                                                                                                                                                                        

| SirJames | Den Store Backstage/Off topic jumbomumbo Tråd! | 2024-01-04 22:33:21 |
Shots fired                                                                                                                                                                                                                                                                           


| SirJames | Den Store Backstage/Off topic jumbomumbo Tråd! | 2024-01-04 22:34:06 |
Tar en tur ned i the rabbithole, aka Youtube

Så får man se om man kommer ut igjen

Later, sirupsnipper
 
Jeg er United fan, så min go-to er å skylde på Glazers.

Nå har jeg enda en grunn til å hate Glazers.. Makan til frekkhet å gå løs på Diskutopia. FÅ DET VEKK!
 
tomi skrev:
Kode: 
| SirJames | Den Store Backstage/Off topic jumbomumbo Tråd! | 2024-01-04 22:27:40 |
Sirup er overvurdert                                                                                                                                                                                                                                                                  


| SirJames | Hvilken serie så du sist? | 2024-01-04 22:32:38 |
Riktige vinnere av "The Amazing Race" S35 👍🏻👍🏻                                                                                                                                                                                                                                        
                                                                                                                                                                       

| SirJames | Den Store Backstage/Off topic jumbomumbo Tråd! | 2024-01-04 22:33:21 |
Shots fired                                                                                                                                                                                                                                                                          


| SirJames | Den Store Backstage/Off topic jumbomumbo Tråd! | 2024-01-04 22:34:06 |
Tar en tur ned i the rabbithole, aka Youtube

Så får man se om man kommer ut igjen

Later, sirupsnipper
Klikk for å utvide...
Noterer meg at dere grillet og spiste nevnte brevdue.

Spank you very much, anyways 😎
 
Bare for å ha nevnt det her også:

I kveld ble vi oversvømt av bots. Det gjorde at database-tabellen som holder styr på aktive sesjoner rett og slett ble full, og ikke godtok flere nye sesjoner. De fleste som allerede var logget inn merket ikke noen problemer, men for enkelte, og spesielt gjester / ikke-innloggede, så ble man møtt med en feilmelding på forumet.

Det tok en times tid før vi i det hele tatt ble klar over dette problemet (forumet funket jo fint for oss mods/teknisk), men da vi ble gjort oppmerksom på problemet via andre kanaler, var det en veldig kvikk fiks. Vi tuppet like så godt ut samtlige bots (mange tusen) ved å avslutte alle sesjonene deres. Det hjalp umiddelbart, og legitime brukere fikk tilgang til forumet igjen. Dessverre er disse bottene voldsomt på hugget, og bare to minutter etter at vi hadde rensket ut samtlige, så var det et tresifret antall bots på plass igjen allerede. En halvtime etter utrenskingen undersøkte vi litt grundigere, og fant ut at Bytespider (botten til Bytedance/TikTok) hadde over 2000 aktive sesjoner alene. Sperret så denne ute, hardt og brutalt, og det så ut til å ha umiddelbar effekt.

Vi vil på et senere tidspunkt fortsette å gå gjennom denne lange listen av bots, for å se hvilke vi skal sperre ute. Enn så lenge ser det i alle fall ut til å gå meget smooth igjen her nå, og serveren kjører med rolig hvilepuls. Forhåpentligvis er det en problemfri opplevelse for dere også nå.

Nå er vi i alle fall meget klare over at vi har svært mange roboter som vil inn og lese på forumet vårt, og nå er vi også klare over at sesjonstabellen faktisk kan bli full, så da holder vi et ekstra øye med denne fremover.
 
Du må logge inn eller registrere deg for å svare her.

Nyeste kunngjøringer

Tråder du følger

Mest sette tråder

Mest likte innlegg

Tilbake
Topp