Web crawlerek 2.

Ahogy azt már egy Facebook bejegyzésemben írtam, rátaláltam a Selenium WebDriverre, ami egy nagyon jó eszköz az adatok levadászását végző crawlerek elkészítésére is. Alapvetően nem erre készül, hanem a tesztelési feladatok automatizálására és feldolgozására, de ahogy azt a Quora-n feltett kérdésemre válaszolták, kiváló az én céljaimra is.

Olvass tovább

Web crawlerek

Egy igazán izgalmas téma a programozás során a különféle web crawlerek elkészítése, és ehhez például a Java is tökéletes. Most nem fogok azon vitatkozni, hogy melyik programozási nyelven lehetne a leggyorsabb crawlert megírni, mert számomra irreleváns. A Java van kéznél, és nekem nagyon jól megfelel.

Olvass tovább

Lottó projekt 2. rész: tartalom

A múltkor már felvázoltam egy lottó projektet, amikor az interneten szabadon fellelhető lottószámokból lehet weboldalt építeni. Azóta már bőven túlhaladtam az akkori tudásom, az adatbázisokat is kiválóan használom, és a StudiCore segítségével sokat gyakoroltam az SQL nyelv használatát is.

Tehát a lottóprojekt most már adatbázis alapú. Vagyis lenne, mert végül nem ezt kezdtem el, hanem egyelőre félretettem. A fő oka az, hogy a lottós weboldalt nehéz monetizálni, a Google reklámokat tilos kitenni rá, Magyarországon meg nincs olyan lottós cég, aki jutalékot fizetni a vásárlókért. Az amerikai lottósorsolások meg viszonylag kevés magyar látogatót érdekelnek.

Szóval más projektet választottam, amiről a következő bejegyzésben fogok írni. Ebben most megmutatom azt a példaszöveget, amit a lottós weboldal sorsolások aloldalaira írtam. A koncepció szerint ugyanis minden húzásnak külön aloldala lesz, erre kerül fel az alábbi szöveg. Még nem teljes, kb. a végtelenségig tudnám fokozni.

Elkezdtem átírni változónevekkel, de aztán visszacsináltam, talán jobban érthető így, ahogy van. Nézzük a szöveget, aztán utána elmondom, mit, hogyan terveztem vele pontosan. A 2016-os éve egyik sorsolását választottam a tartalom alapjául.

Olvass tovább

Lottó projekt 1. rész: koncepció

Most, hogy már megismertem a fájlkezelést a StudiCore online Java tanfolyam segítségével, itt az ideje nekiesni a különféle adatbázisoknak, és tesztelgetni, mit bír a Google. Első feladatként egy ötöslottó-archívum weboldal felépítését tűzöm ki célul, kifejezetten gyakorlási céllal.

Nem csak a Java programozást fogom gyakorolni, de a keresőoptimalizálást is. Utóbbi ugyanis nem olyan egzakt tudomány, mint a programozás, és gyakran vannak másképp a dolgok, mint ahogy arról a hivatalos infó szól.

Ebben a bejegyzésben leírom a lottó projekt koncepcióját, azokat az eszközöket használva, amelyeket már ismerek. Lesz majd ennél jobb megoldás, és meg is tudnám keresni az interneten, mit, hogyan kell csinálni, de gyakorlás közben akarok rájönni a dolgokra, majd később továbbfejleszteni az eredeti ötletem. Az is dokumentálva lesz itt, a blogon, és szerintem érdekes lesz visszaolvasni, hogyan fejlődök menet közben. Nekem mindenképpen 🙂

Ennek megfelelően a weboldal most egy statikus adathalmaz lesz, fixen legenerált html fájlokkal. A dizájnon sem sokat fogom törni magam, esetleg igyekszem reszponzívra készíteni. Most még nem használok fel adatbázist, tehát az adatokat sem onnan olvasom ki. Nem fog frissülni az archívum sem, tehát egy kiválasztott dátumot megelőző ötöslottó húzások szerepelnek majd benne, nem követi a legújabb eredményeket.

Olvass tovább