Efectuați studii de cercetare web vizionare folosind date Web Deep și interogări Web Excel

Publicitate

Ce ați spune dacă v-aș spune că aveți instrumentele la dispoziție pentru a face cercetări înfiorătoare, care cutreieră Pământul? Ei bine, da, și îți voi arăta cum.

Guvernele, instituțiile academice și organizațiile de cercetare non-profit publică tabele pline cu date în domeniul public. Fără ca cineva să folosească aceste informații, adevărata ei valoare nu va fi niciodată cunoscută. Din păcate, puțini oameni au informații, abilități sau instrumente pentru a lua datele și a face corelații interesante între informațiile aparent neconectate.

fundal

Multe din cercetările pe care le fac pentru propriul blog implică să săpar prin ceea ce este cunoscut sub numele de web invizibil Cele mai bune 12 motoare de căutare pentru a explora Web-ul InvizibilGoogle sau Bing nu pot căuta totul. Pentru a explora web-ul invizibil, trebuie să utilizați aceste motoare speciale de căutare. Citeste mai mult , pentru a descoperi date care au fost lansate publicului, dar ascunse de motoare de căutare Cele mai avansate 5 motoare de căutare de pe Web Citeste mai mult

în cadrul unei baze de date online. Acesta este internetul abisal TorSearch urmărește să fie Google pentru Web-ul profundTor este un serviciu ascuns și face parte din Deep Web. TorSearch este un nou motor de căutare anonim pe care fondatorul său Chris MacNaughton dorește să-l creeze „Google of Tor”. Citeste mai mult și este plin de date valoroase. De foarte multe ori, întâlnesc pagini web doar cu câteva dintre cele mai valoroase date despre subiecte care vin în gama de date de recensământ până la studii epidemiologice asupra bolilor rare. Am constant idei noi despre cum să încercați și să corelați acele surse de date disparate folosind diverse instrumente - și unul dintre cele mai valoroase instrumente pe care le-am găsit este interogarea Web din Microsoft Excela.

Găsirea unor corelații de date interesante

Ceea ce vă voi arăta astăzi este un exemplu despre cum puteți utiliza interogările Web Excel pentru a obține date din diferite site-uri web și trageți-le unul împotriva celuilalt pentru a căuta corelații potențiale între date.

Modul de a începe un exercițiu ca acesta este să vină cu o ipoteză interesantă. De exemplu - pentru a menține lucrurile interesante aici - o să postulez la întâmplare acele rate de autism care se ridică în Statele Unite. sunt cauzate fie de inoculările vaccinului, fie de prezența crescândă a câmpurilor electromagnetice la copii și din jurul lor, cum ar fi celulele telefoane. Este o ipoteză nebună pe care o veți găsi pe majoritatea site-urilor web ale teoriei conspirației, dar asta este ceea ce face acest lucru distractiv. Să începem, nu-i așa?

Mai întâi, deschideți Excel, accesați elementul din meniul de date și găsiți pictograma „Din Web” în panglica de meniu.

Acesta este ceea ce veți utiliza pentru a importa diferite tabele de date de pe numeroasele site-uri web de acolo care le-au publicat.

Importarea datelor web în Excel

Deci, pe vremuri, va trebui să încercați să copiați datele din tabelul respectiv pe o pagină web, să le lipiți în Excel și apoi să tratați toate problemele de formatare nebune implicate în acest lucru. Problema totală și de multe ori nu merită durerea de cap. Ei bine, cu interogările Web Excel, acele zile au dispărut. Desigur, înainte de a putea importa datele, va trebui să vă orientați pe Google pentru a găsi datele de care aveți nevoie în format tabel. În cazul meu, am găsit un site web care publicase statistici ale Departamentului Educației pentru numărul de studenți ai școlilor publice din SUA care au fost identificați ca având autism. Un tabel frumos a oferit numere din 1994 până la 2006.

Așadar, trebuie doar să faceți clic pe „From Web”, să lipiți adresa URL a paginii web în câmpul de adresă de interogare, apoi derulați în jos până când vedeți săgeata galbenă de lângă tabel cu datele pe care doriți să le importați.

Faceți clic pe săgeată pentru a deveni marcaj verde.

În cele din urmă, spuneți Excel ce câmp doriți să inserați datele tabelului în interiorul noii dvs. foi de calcul.

Atunci - Voila! Datele curg automat în foaia de calcul.

Așadar, cu o tendință a ratelor de autism școlar public din 1996 - 2006, este momentul să căutăm și tendințele de utilizare a vaccinării și a utilizării telefonului mobil.

Din fericire, am găsit rapid tendințele pentru abonații de telefoane mobile din SUA, din 1985 până în 2012. Date excelente pentru acest studiu particular. Din nou, am folosit instrumentul de interogare Web Excel pentru a importa tabelul respectiv.

Am importat masa respectivă într-o foaie curată și nouă. Apoi, am descoperit tendințele de vaccinare pentru procentul copiilor școlari vaccinați pentru diferite boli. Am importat tabelul cu instrumentul Interogare Web într-o a treia foaie. Deci, în sfârșit, am avut trei foi cu cele trei tabele umplute cu datele aparent neconectate pe care le-am descoperit pe Web.

Următorul pas, este utilizarea Excel pentru a analiza datele și a încerca să identifice orice corelații. Acolo intră în joc unul dintre instrumentele mele preferate de analiză a datelor: tabelul rotativ.

Analiza datelor în Excel cu tabelul rotativ

Cel mai bine este să-ți creezi tabelul rotativ într-o foaie goală, complet nouă. Vrei să folosești expertul pentru ceea ce urmează să faci. Pentru a activa expertul PivotTable în Excel, trebuie să apăsați Alt-D în același timp până când apare o fereastră de notificare. Apoi, dați drumul acelor butoane și apăsați tasta „P”. Apoi, veți vedea că vrăjitorul apare.

În prima fereastră a asistentului, doriți să selectați „Intervale de consolidare multiple”, ceea ce vă permite să selectați datele din toate foile pe care le-ați importat. Făcând acest lucru, puteți consolida toate aceste date aparent fără legătură într-una singură, puternic pivotabilă. În unele cazuri, este posibil să fie nevoie să masați unele dintre date. De exemplu, a trebuit să remediez câmpul „Anul” din tabelul autismului, astfel încât să apară „1994” în loc de „1994-95” - creând o linie mai bună cu tabelele din celelalte foi, care au avut și anul primar camp.

Acest câmp comun dintre date este ceea ce aveți nevoie pentru a încerca și corela informațiile, așa că rețineți acest lucru atunci când vindeți site-ul pentru datele dvs.

După ce PivotTable este finalizat și veți obține toate valorile de date diferite afișate într-un tabel, este timpul să faceți o analiză vizuală pentru a vedea dacă există vreo conexiune evidentă care vă iese.

Vizualizarea datelor este cheia

Să ai o grămadă de numere într-un tabel este excelent dacă ești economist, dar cel mai rapid și simplu mod de a avea că „aha!” momentul în care încercați să găsiți conexiuni precum un ac într-un cătun, este prin intermediul graficelor și grafice. După ce ai PivotChart în loc cu toate seturile de date pe care le-ai colectat, este timpul să creezi graficul tău. De obicei, un grafic liniar va face cel mai bine, dar depinde de date. Există momente în care un grafic de bare funcționează mult mai bine. Încercați să înțelegeți ce tip de date căutați și ce comparații de forme funcționează cel mai bine.

În acest caz, mă uit la date de-a lungul timpului, deci un grafic liniar este într-adevăr cel mai bun mod de a vedea tendințele de-a lungul anilor. Graficarea ratelor de autism (verde) împotriva ratelor de vaccinare reduse (albastru închis), varicelă (albastru deschis) și utilizarea telefonului mobil (violet), o corelație ciudată a apărut brusc în acest set de date pe care îl redau cu.

Ciudat, tendința de utilizare a telefoanelor mobile din 1994 până în 2006 s-a potrivit aproape perfect cu creșterea ratelor de autism în aceeași perioadă de timp. În timp ce modelul a fost complet neașteptat, este un exemplu perfect despre modul în care legați date interesante pot dezvălui conditii fascinante - oferindu-vă o perspectivă mai mare și motivație pentru a continua să faceți înainte și să căutați mai multe date care vă pot sprijini în continuare ipoteză.

O corelație de genul de mai sus nu dovedește nimic. Există o mulțime de tendințe care se ridică în timp - modelul ar putea fi coincidență, dar ar putea fi, de asemenea, un indiciu important în căutarea dvs. continuă pentru mai multe date pe Internet. Din fericire, aveți un instrument puternic numit interogări web Excel, care va face această căutare doar puțin mai ușoară.

Credit foto: Kevin Dooley prin intermediul photopincc