Data Quality CZ - portál věnující se tématu kvalitních dat

Výzkum v oblasti řízení datové kvality

Metody pro validaci a verifikaci

[13.12.2013] D. Pejčoch

Popis záměru

Cílem výzkumu v této oblasti je klasifikace existujících technik pro verifikaci a validaci a experimentální ověření možnosti automatické extrakce validačních pravidel z dat.

Klasifikace metod pro verifikaci a validaci podle metodiky CADAQUES

  • Povolený rozsah hodnot
  • Lookup / join do referenční báze
  • Ověření referenční integrity
  • Validace syntaxe pomocí regulárních výrazů
  • Validace pomocí kontrolních součtů
  • Byznys pravidla
  • Validace realizací procesu
  • Validace uživatelem
  • Finanční účetnictví
  • Penetrační testy

Přiřazení validačních technik redukované sadě vlastností podle metodiky CADAQUES

Dimenze Vlastnost dat Způsob validace
Endogenní dimenze Důvěryhodnost Validace uživatelem
Unikátnost Popisné statistiky, byznys pravidla
Sémantická správnost Povolený rozsah, lookup / join do referenční báze, kontrolní součet
Syntaktická správnost Regulární výrazy
Přesnost Validace konfrontací s reálnou entitou nebo referenčním zdrojem
Časová dimenze Aktuálnost Byznys pravidla
Včasnost Byznys pravidla
Volatilita Byznys pravidla
Časová synchronizace Byznys pravidla
Kontextuální dimenze Konzistentnost Referenční integrita, byznys pravidla
Úplnost Popisná statistika, byznys pravidla
Pokrytí Popisná statistika, byznys pravidla
Dimenze užití Dostupnost Validace uživatelem
Srozumitelnost Validace uživatelem
Interoperabilita Validace uživatelem
Bezpečnost přístupu Penetrační testování
Ekonomická dimenze Náklady na pořízení a aktualizaci dat Finanční účetnictví
Náklady na uložení, sdílení, distribuci zálohování a archivaci dat Finanční účetnictví
Náklady na ochranu dat Finanční účetnictví

Realizované experimenty

Použité nástroje

Použité datové sety

Data Set Number of Instances Data Source Descriptive Statistics
MPG Data 398 src html
Motor Vehicle Repository Original: 91,459
After transformation: 4,500,000
Sample: 450,000
src html
eBay listings 77,863 NA NA

Publikované výstupy

Document Tree

Publish DateDocument NameDocument MetadataDocument FormatInformation Steward
.
Stránka byla naposledy aktualizována dne 4.5.2015
Powered by HOLOPAGE
©2011 - 2015 D. Pejčoch