A gépi tanulási folyamatok sikerének 80%-a nem magán az algoritmuson, hanem az adatok minőségén múlik. Ebben a modulban megvizsgáljuk, hogyan alakítjuk a nyers, strukturálatlan információt precíz matematikai vektorokká, amelyek alkalmasak a neurális hálózatok tanítására.
Időráfordítás az adatok tisztítására
Pontossági növekedés validálás után
Gyorsabb konvergencia skálázással
Tolerancia a hiányzó értékekkel szemben
Az adattisztítás az a fázis, ahol a mérnök azonosítja és korrigálja az adathalmazban található hibákat, következetlenségeket és zajt. Fontos megérteni, hogy a hibás bemeneti adatok ("Garbage In, Garbage Out" elv) elkerülhetetlenül hibás predikciókhoz vezetnek, függetlenül attól, mennyire komplex a választott algoritmus. A folyamat első lépése a duplikációk és irreleváns megfigyelések eltávolítása, amelyek feleslegesen növelnék a számítási kapacitást.
"Az adatok tisztasága nem esztétikai kérdés, hanem a matematikai integritás záloga. Egyetlen hibás tizedesvessző képes tönkretenni egy több millió paraméteres neurális hálózat gradiens süllyedését."
A normalizálás és standardizálás célja, hogy az adathalmazban található különböző skálájú jellemzőket (például életkor 0-100 és éves jövedelem 0-10.000.000) egy közös nevezőre hozzuk. Ha ezt a lépést kihagyjuk, a modell tévesen nagyobb súlyt tulajdoníthat a nagyobb abszolút értékkel rendelkező változóknak, ami torzításhoz vezet.
Különösen kritikus ez a lépés a távolságalapú algoritmusoknál, mint a KNN vagy az SVM, de a gradiens alapú optimalizálás sebességét is drasztikusan növeli. Figyeljük meg, hogy a normalizálás során az adatok eloszlása megmarad, csupán a tartományuk változik meg.
Az értékeket egy meghatározott [0, 1] közötti tartományba transzformálja. Ideális olyan esetekben, ahol ismerjük a határértékeket.
Az adatokat úgy alakítja át, hogy az átlaguk 0, a szórásuk pedig 1 legyen. Kevésbé érzékeny a kiugró értékekre.
Az interkvartilis tartományt használja, így kimondottan hatékony olyan adathalmazoknál, ahol sok a zaj.
Segít az aszimmetrikus eloszlások (pl. vagyoneloszlás) normalizálásában és a linearitás közelítésében.
A jellemzők kinyerése és létrehozása az a folyamat, ahol a domain-specifikus tudást felhasználva új változókat hozunk létre a meglévőkből, ezzel segítve az algoritmust a rejtett mintázatok felismerésében.
Mivel a gépi tanulási modellek csak számokkal tudnak dolgozni, a szöveges kategóriákat (pl. városnevek, színek) numerikus formába kell önteni. A "One-Hot Encoding" minden kategóriához külön oszlopot rendel, míg a "Label Encoding" sorszámokat használ.
Terminológia megtekintése →Túl sok jellemző esetén felléphet a "dimenzionalitás átka", ahol a modell túlilleszkedik (overfitting). A PCA (Főkomponens-elemzés) segítségével úgy csökkenthető a változók száma, hogy az információveszteség minimális maradjon.
Hálózati alapok →Egy időbélyeg önmagában kevés információt hordoz. A Feature Engineering során kinyerhetjük belőle a hét napját, az órát, vagy azt, hogy az adott nap ünnepnap-e, ami alapvetően befolyásolhatja a fogyasztói viselkedést.
Gyakorlati példák →Az adatelőkészítés csupán a kezdet. Ismerje meg, hogyan épülnek fel azokra az adatokra az öntanuló rendszerek, amelyek képesek predikciókat alkotni és komplex döntéseket hozni.