Dedupe er en forkortelse av det engelske ordet deduplication, på norsk deduplisering. Dette innebærer at man eliminerer unødige kopier av en fil eller deler av en fil. I noen lagringssystemer kan dette gjøres automatisk som en måte å frigjøre plass på.
Deduplisering gjelder for den type filer som mange brukere i et system lagrer i identiske kopier, uavhengig av hverandre. Eksempler på slike filer kan være bildefiler og PDF-filer. Når en deduplisering utføres erstattes alle eksempler utenom den som er peker mot den filen som faktisk er igjen.
Ulike typer av deduplisering
Det finnes fem ulike typer av deduplisering. Nedenfor er noen av de som det er smart å kjenne til:
Target deduplication
Dette er når dedupliseringen skjer på en lagringsenhet, det vil si disker som er sammenkoblet, kan for eksempel være en del av et backup-system.
Post-process deduplication
Er når enheten dedupliserer data etter at filene har blitt skrevet. Det reduserer bruken av lagringsplass, men påvirker ikke bredbåndsbruken i nettverket. Enheten kan bli full i de tilfeller der dedupliseringen ikke henger med hvis det er virkelig store skrivninger, som for eksempel kan skje når du leser tillbake sikkerhetskopier.
In-line deduplication
Dette er når dedupe-enheten går igjennom data i samme sekund som den mottar den. Denne teknikken reduserer risikoen for at enheten blir full ved gjennomlesing eller ved en annen stor skrivning. Dog er behovet for bredbånd ved overføring like stort som uten deduplisering.
Source deduplication
Det er når dedupliseringen ved hjelp av programvare kan gjøres på klientene før de sender data over nettverket. Det er verdt å vite at noen produkter bare dedupliserer under en og samme sikkerhetskopiering, noe som betyr at mange av fordelene med dette forsvinner.
Filer og blokk
Dette er produktene som utelukkende sammenligner innholdet i hele filer, noe som betyr at filene må være ekte duplikater for at de skal bli deduplisert. For å gi et eksempel er det ikke med en slik deduplisering mulig å utføre deduplisering av databaser. Det er således ingen produkter som utfører avanserte deduplikasjoner uten å tilhøre enklere varianter av de produktene som allerede finnes.
I Cegal har vi kunder som benytter dedupe på sine backup-disker. Vi har blandt annet utført gjenopprettingstester for å se hvor stor forskjellen er med deduplisering. Det er nyttig å vite at gjenoppretting tar lang tid – og avhengig av RTO (Recovery Time Objective) kan dette bli en «deal breaker».