Dedupe är en förkortning av deduplication, på svenska deduplicering. Det innebär att man eliminerar onödiga kopior av en fil eller delar av en fil. I vissa lagringssystem kan det göras automatiskt som ett sätt att frigöra utrymme.
Deduplicering gäller sådana filer som många användare i ett system sparar i identiska exemplar, oberoende av varandra. Exempel på sådana filer kan vara bildfiler, VDI-filer och pdf-filer.
När en dedpulicering utförs ersätts alla exemplar utom ett av pekare till den fil som de facto finns kvar.
Olika typer av deduplicering
Det finns olika typer av deduplicering, nedan är några som är bra att ha koll på.
Target deduplication – är när dedupliceringen görs på en lagringsenhet, det vill säga sammankopplade diskar som till exempel kan vara en del av ett backupsystem.
Post-process deduplication – är när dedupe-enheten deduplicerar datat efter att filerna har skrivits. Det reducerar lagringsutrymmet men tar inte upp någon bandbredd i nätverket. Enheten kan bli full i de fall där dedupliceringen inte hinner med om det är riktigt stora skrivningar, det kan till exempel ske vid återläsning av backuper.
In-line deduplication – är när dedupe-enheten går igenom datat i samma sekund som den tar emot den. Denna teknik reducerar risken att enheten blir full vid återläsning eller vid en annan stor skrivning. Dock är behovet av bandbredd vid överföringar lika stort som utan deduplicering.
Source deduplication – är när dedupliceringen med hjälp av mjukvara kan göras ute på klienterna före de skickar data över nätverket. Värt att veta är att vissa produkter endast deduplicerar under en och samma backupkörning vilket betyder att många av fördelarna med detta försvinner.
Filer och block – är de produkter som jämför innehållet uteslutande i hela filer, vilket betyder att filerna måste vara äkta duplikat för att de ska kunna dedupliceras. Med en sådan deduplicering går det inte att utföra deduplicering av databaser för att ge ett exempel. Det är således ingen ingen produkt som gör avancerade dedupliceringar utan tillhör en enklare variant av de produkter som finns.
På Cegal har vi kunder som använder dedupe på sin backupdisk och där har vi haft möjligheten att utföra återställningstester för att se hur stor skillnaden är med deduplicering. Det är nämligen bra att veta för att återställningarna tar mycket längre tid och beroende på din RTO (Recovery Time Objective) kan det bli en ”deal breaker”.