Data Quality CZ - portál věnující se tématu kvalitních dat
Výzkum v oblasti řízení datové kvality
Metody pro validaci a verifikaci
[13.12.2013] D. Pejčoch
Popis záměru
Cílem výzkumu v této oblasti je klasifikace existujících technik pro verifikaci a validaci a experimentální ověření možnosti automatické extrakce validačních pravidel z dat.
Klasifikace metod pro verifikaci a validaci podle metodiky CADAQUES
- Povolený rozsah hodnot
- Lookup / join do referenční báze
- Ověření referenční integrity
- Validace syntaxe pomocí regulárních výrazů
- Validace pomocí kontrolních součtů
- Byznys pravidla
- Validace realizací procesu
- Validace uživatelem
- Finanční účetnictví
- Penetrační testy
Přiřazení validačních technik redukované sadě vlastností podle metodiky CADAQUES
| Dimenze |
Vlastnost dat |
Způsob validace |
| Endogenní dimenze |
Důvěryhodnost |
Validace uživatelem |
| Unikátnost |
Popisné statistiky, byznys pravidla |
| Sémantická správnost |
Povolený rozsah, lookup / join do referenční báze, kontrolní součet |
| Syntaktická správnost |
Regulární výrazy |
| Přesnost |
Validace konfrontací s reálnou entitou nebo referenčním zdrojem |
| Časová dimenze |
Aktuálnost |
Byznys pravidla |
| Včasnost |
Byznys pravidla |
| Volatilita |
Byznys pravidla |
| Časová synchronizace |
Byznys pravidla |
| Kontextuální dimenze |
Konzistentnost |
Referenční integrita, byznys pravidla |
| Úplnost |
Popisná statistika, byznys pravidla |
| Pokrytí |
Popisná statistika, byznys pravidla |
| Dimenze užití |
Dostupnost |
Validace uživatelem |
| Srozumitelnost |
Validace uživatelem |
| Interoperabilita |
Validace uživatelem |
| Bezpečnost přístupu |
Penetrační testování |
| Ekonomická dimenze |
Náklady na pořízení a aktualizaci dat |
Finanční účetnictví |
| Náklady na uložení, sdílení, distribuci zálohování a archivaci dat |
Finanční účetnictví |
| Náklady na ochranu dat |
Finanční účetnictví |
Realizované experimenty
Použité nástroje
Použité datové sety
| Data Set |
Number of Instances |
Data Source |
Descriptive Statistics |
| MPG Data |
398 |
src |
html |
| Motor Vehicle Repository |
Original: 91,459
After transformation: 4,500,000
Sample: 450,000
|
src |
html |
| eBay listings |
77,863 |
NA |
NA |
Publikované výstupy
Document Tree