Efectuarea științei datelor în cloud cu ScraperWiki

Publicitate

Dacă ai chops-uri mentale, un stil de programare și povestire și un ochi pentru design, poți face mai rău decât să intri în știința datelor. Este noul mare lucru în tehnologie; foarte trendy și foarte plătit, oamenii de știință de date fiind căutați de unele dintre cele mai mari companii din lume.

ScraperWiki este o companie care este asociată cu mult timp în domeniul științei datelor. În ultimii ani, această pornire bazată pe Liverpool a oferit o platformă pentru codificatori să scrie instrumente care să obțină date, să le curețe și să le analizeze în cloud.

Cu o actualizare recentă și cererea din ce în ce mai mare pentru oamenii de știință de date din întreprindere, merită să aruncăm o privire bună la ScraperWiki.

Dezvăluire completă: am fost intern la ScraperWiki vara trecută.

Ce face ScraperWiki?

ScraperWiki se comercializează ca un loc de obținere, curățare și analiză a datelor și livrează la fiecare dintre aceste numărate. În forma sa cea mai simplă, vă permite - utilizatorului - un loc unde puteți scrie cod care preia date dintr-o sursă, instrumente pentru a converti acesta într-un format ușor de analizat și de stocare pentru a-l păstra pentru vizualizarea ulterioară - pe care îl puteți gestiona și cu ScraperWiki.

De asemenea, vine cu o serie de instrumente pre-construite care automatizează sarcini repetitive, inclusiv obținerea de date din PDF-uri, care sunt notoriu dificil de decodificat. Acest lucru este în plus față de Căutare pe Twitter 5 Trucuri cool de căutare pe Twitter pentru a monitoriza ceea ce spun oamenii despre tineDacă dețineți un site web sau încercați doar să câștigați bani online ca freelancer, este întotdeauna bine să știți ce spun oamenii despre dvs. pe Internet. Oamenii pot cita ... Citeste mai mult și utilități de razuire. Nu aveți nevoie de experiență de dezvoltare software pentru a le utiliza.

Cost

Așa cum am menționat anterior, ScraperWiki îmbracă modelul de prețuri freemium și oferă un serviciu care are mai multe niveluri. Cei care încep doar să lucreze cu știința datelor sau cu nevoi limitate pot folosi serviciul gratuit. Aceasta vă oferă trei seturi de date - în care vă stocați datele și codul.

Cei care intenționează să scrie mai multe răzuitoare sau care doresc să facă munți de analiză a datelor pot elimina niște bani pentru un cont premium. Acestea încep de la 9 dolari pe lună și oferă 10 seturi de date. Dacă tot nu este suficient, puteți oricând să faceți upgrade la nivelul cel mai înalt, care conține 100 de seturi de date și costă 29 USD pe lună.

Codificare

Programatorii sunt adesea destul de particulari când vine vorba de modul în care codează. Unii preferă limbajele de script decât limbile compilate. Unii preferă experiența retrasă a unui editor de text decât cea a unui mediu de dezvoltare integrat (IDE). ScraperWiki recunoaște acest lucru și oferă utilizatorului o cantitate imensă de alegeri atunci când vine vorba despre modul în care îți scrie codul.

Dacă sunteți atât de înclinat, puteți scrie codul în browser. După cum vă așteptați de la orice grad profesional, web-based Cele mai bune 3 IDE bazate pe browser să se codeze în cloud Citeste mai mult instrument de dezvoltare, acesta vine cu caracteristici pe care orice programator le-ar considera esențiale, cum ar fi evidențierea sintaxei.

Există o serie de limbi disponibile. Acestea includ Piton Cele mai bune 5 site-uri web pentru a învăța programarea PythonVrei să înveți programarea Python? Iată cele mai bune metode de a învăța Python online, multe dintre ele fiind complet gratuite. Citeste mai mult , un limbaj de script popular utilizat de Google și NASA; Rubin 3 Moduri interactive, distractive, gratuite de a începe învățarea limbajului de programare RubyRuby este un limbaj de scripturi expresiv, la un nivel foarte înalt. Este utilizat pe Web, în ​​principal, ca parte a cadrului de dezvoltare web Ruby on Rails, dar și de sine stătător. Dacă sunteți curios despre ce este Ruby (nu ... Citeste mai mult , care alimentează o serie de site-uri web populare, cum ar fi Living Social; și limbajul popular de analiză statistică, R.

În plus, puteți scrie cod și din linia de comandă folosind SSH, Git și orice editor de text vă place să utilizați. Da, ai citit asta. SSH Ce este SSH și cum este diferit de FTP [Tehnologia explicată] Citeste mai mult . Fiecare casetă pe care o utilizați este propriul cont Linux și vă puteți conecta la el, așa cum ar fi un VPS sau orice alt cont shell. Există o serie de editori de text, inclusiv sevă Top 7 motive pentru a oferi editorului de text Vim o șansăAni de zile, am încercat un editor de text după altul. Îl numești, am încercat. Am folosit fiecare dintre acești editori de peste două luni ca redactor principal al meu de zi cu zi. Cumva, eu ... Citeste mai mult care poate fi extins cu ajutorul pluginurilor și prin editarea configurației. Cei intimidați de Vim pot utiliza Nano, care este un editor de text de linie de comandă ușor.

Bibliotecile instalate ar trebui să fie suficiente pentru instrumentele de scriere pentru a prelua date și pentru a le prelucra. Dacă aveți nevoie de ceva ceva mai obscur, puteți crea întotdeauna un virtualenv din linia de comandă. După cum puteți vedea, există o sumă imensă de flexibilitate oferită dezvoltatorilor.

Vizualizare date

Deci, aveți datele dvs. Ați normalizat-o. L-ai curățat. L-ați analizat. Acum este timpul să faceți câteva vizualizări și să arătați lumii ce ați învățat.

ScraperWiki permite dezvoltatorilor să își afișeze datele folosind pagini web construite din trifecta foarte cunoscută de HTML, CSS și JavaScript. În plus, componentele Bootstrap sunt acceptate din cutie.

Există o serie de vizualizări pre-făcute disponibile, inclusiv cele care plasează datele dvs. pe o hartă și găsesc tendințele în cadrul concluziilor dvs. Pentru a le folosi, trebuie să vă asigurați că datele dvs. sunt stocate ca fișier SQLite cu numele de fișier „scraperwiki.sqlite”. Apoi adăugați pur și simplu vizualizarea care vă interesează. Simplu, nu?

Concluzie

ScraperWiki oferă foarte mult dezvoltatorilor care doresc să facă unele analize de date fără ca mediul lor de dezvoltare să-și ia în cale, având în același timp flexibilitate pentru a satisface chiar și cei mai pretențioși dintre utilizatori. Dar ce crezi? Anunță-mă în comentariile de mai jos.
Credit foto: Stiinta rachetelor (Dan Brown)