Mi a legkorábbi kereső. Orosz keresők. Akik az árnyékban vannak

Abban az időben, amikor az internet fejlődése még csak elkezdődött, viszonylag csekély volt a rendelkezésre álló információ mennyisége, és kevés volt a hálózathasználó. A hálózat fejlesztésének kezdeti szakaszában az egyetemek és kutatólaboratóriumok dolgozói használták az intézmények közötti információcserére. Abban az időben az internetes információkeresés nem volt releváns, ellentétben a mai nappal.

Az információs forrásokhoz való hozzáférés megszervezésének és rendszerezésének első módja a webhelykönyvtárak létrehozása volt. Elkezdték csoportosítani a linkeket egy adott téma szerint.

A terület úttörője a Yahoo volt, amely 1994 áprilisában jelent meg. Az idő előrehaladtával a webhelyek száma nőtt, és a Yahoo hozzáadott egy címtárkeresési lehetőséget. Ez nem a szó szoros értelmében vett keresőmotor volt, mert a keresés hatóköre a címtár erőforrásaira korlátozódott.

Ezt követően a címtárak elterjedtek és mindenhol elkezdték használni, de az internet nem állt meg, hanem tovább fejlődött. Ezzel együtt a keresési módszerek is fejlődtek. Jelenleg a címtárak már majdnem elvesztették népszerűségüket, ez annak a ténynek köszönhető, hogy egy modern címtár még akkor is, ha hatalmas mennyiségű erőforrást tartalmaz, a címtárban található információknak csak egy kis részéhez lesz képes hozzáférést biztosítani. a hálózat.

Ma a világ legnagyobb katalógusa az interneten az Open Directory Project vagy DMOZ, amely körülbelül 5 millió forrás információt tartalmaz, de ez viszonylag kevés, ha összehasonlítjuk például a Google keresőjével, amely körülbelül 8 milliárd dokumentumot tartalmaz.

Teljes értékű keresőmotor csak 1994-ben jelent meg, ez lett a WebCrawler kereső.

Egy évvel később, 1995-ben megjelentek az AltaVista és a Lycos keresőmotorok. Egyikük, különösen az AltaVista, hosszú éveken át vezető pozíciót töltött be a keresésben.

Két évvel később, 1997-ben, a Stanford Egyetem hallgatói, Sergey Brin és Larry Page kifejlesztették a Google keresőmotorját, amely ma a keresés terén vezető szerepet tölt be.

Ez az év lett az az év is, amikor hivatalosan is bejelentették a Yandex orosz keresőmotor létrehozását, amely továbbra is vezető szerepet tölt be a hálózat orosz nyelvű szegmensében.

Jelenleg csak 3 keresőmotor vált nemzetközivé, ezek az MSN Search, a Yahoo és a Google. Ezeknek a rendszereknek saját bázisuk és keresési algoritmusaik vannak. A legtöbb más keresőmotor használja az eredményeiket. Tehát a Mail.ru a Yandex adatbázist használja, a search.aol.com - Google -, valamint a Lycos, AltaVista és AllTheWeb - Yahoo.

Az orosz internetes keresések terén jelenleg a Yandex vezet, ezt követi a Rambler, ezt követi a Google, a Mail.ru, az Aport és a KM.ru.

A keresőmotorok különböző munkaalgoritmusokkal rendelkeznek, és ahhoz, hogy jó pozícióba kerüljön a keresési eredmények között, és célzott látogatókat vonzzon, ismernie kell a SEO optimalizálás jellemzőit a különböző keresőmotorokhoz. Például

Az internetes közösség kialakulásának kezdeti éveiben az aktív internetezők kisebbségben voltak, az internetes forrásokról szóló információ mennyisége viszonylag csekély volt. A világ információs hálózatához többnyire csak tudományos laboratóriumok és nagy oktatási intézmények alkalmazottai fértek hozzá. Általánosságban elmondható, hogy a hálózati erőforrások használata nem volt annyira releváns, mint manapság.

A keresőmotorok története

Nagy lépés az internet tömegekhez való elterjedése felé, hogy 1990-ben megjelent az info.centr.ch weboldal. Ez a webhely volt az internetes oldalak első nyilvános címtára. Az alkotó Tim Berners-Lee brit tudós, akit az URI, a HTTP, a World Wide Web és az URL megalkotójának is tartanak. Ettől a pillanattól kezdve az internetes oldalak nemcsak a speciális felhasználói körökben váltak fontossá, hanem az otthoni számítógépek szokásos tulajdonosai körében is. Ebben a címtárban a kényelem kedvéért az információs forrásokat hasonló témájú csoportok alapján rendeztük el, ami nagyban megkönnyíti az információkeresést.

A fejlődés azonban nem állt meg itt, és 1994-ben megszületett a Carnegie Egyetem, a Lucos néven kifejlesztett kereső technológia. Ez a katalógus, amelyet Michael Maldin készített, több mint 50 000 dokumentumot tartalmazott. A Lucosban a lekérdezéseket a lekérdezés hozzávetőleges egyezéseinek tekintették, és a keresési eredményt a bemeneti és a kimeneti információk egyezésétől függően rangsorolták. Ezenkívül az erőforrás folyamatosan bővült új internetes oldalakkal. Novemberre a Lucosnak több mint 55 millió oldala és dokumentuma volt, sokkal több, mint bármely akkori dokumentumkatalógus.

1994 végén megjelent az Infosek forrás. Számos előnnyel járt más erőforrásokkal szemben. Például webhelyek valós időben történő hozzáadása a felhasználó által a katalógus-adatbázishoz.

Az új keresőmotor szörnye 1995-ben az AltaVista volt. Gyorsan népszerűvé vált az internetezők körében, és vezető pozíciót szerzett a területén. Fő jellemzője az volt, hogy természetes, köznyelvi lekérdezéseket tudott megfogalmazni, valamint a felhasználók megadhatták saját URL-címeiket. Az AltaVista fő érdeme azonban több nyelvi csomag támogatása volt, mint például a koreai, japán és kínai, valamint az orosz.

Óriási lépés volt a keresőtechnológiában, hogy az interneten megjelent egy új kereső, amelynek nevét ma már minden felhasználó hallja, mégpedig a Google. 1997-ben L. Page és S. Brin a Stanford Egyetemről új funkciókat vezetett be utódaik keresési algoritmusaiba. A keresés során a rendszer által kiadott keresési eredmények relevanciarendszereit használtuk, a lekérdezésnél figyelembe vettük a morfológiát és az esetleges helyesírási hibákat.

A keresőmotorok piacán manapság három nagy vezető van: a Bing, a Google és a Yahoo. Rendelkezésükre állnak saját gyártású keresőalgoritmusok és adatbázisok. Sok keresőmotor, amelyekből sok van, ennek a három titánnak a fejlesztéseit használja a keresők között.

A keresőmotoroknak köszönhetően a hétköznapi ember könnyebben felfedezheti az információs mező hatalmas tárházát. Fejlesztésük nélkül lehetetlen javítani az emberek közötti információcsere módozatait.

Mi volt az első keresőmotor a Runetben? Yandex, Aport vagy Rambler?

A legelső Runet keresőmotorok (amelyek közül a Rambler egyik alapítója szerint 2 vagy 3 volt) nagyon gyorsan a feledés homályába merültek. Köztük voltak az AltaVista rendszer morfológiai kiterjesztései is, amelyek nem hagyták meg a nevüket. Ezért a maradók közül kell választanunk:

Turista

A "Rambler" létrehozása 1996-ban kezdődött, amikor csak néhány tucat webhely volt az internet orosz szegmensében. A fejlesztés az év őszén véget ért. A rambler.ru domain regisztrációja szeptember 26-án történt 1996. október 8, az egyik alkotó születésnapján a Rambler nyitva állt a felhasználók előtt.

Rambler – a Runet legelső keresője a jelenleg létezők közül.

Az Aport keresőt 1996 februárjában fejlesztették ki, de akkor még csak a russia.agama.com oldalon keresett. Fokozatosan nőtt az oldalak száma és a hivatalos megnyitóig 1997. november 11években az "Aport" már 10 000 oldalt keresett. Így az "Aport" volt az egyik első keresőmotor a Runetben, de a keresés korlátozott hatóköre miatt nem ismerhető fel a legrégebbiként.

Yandex

A Yandexet fejlesztő CompTek-et 1989-ben alapították. 1993-ban a CompTek kifejlesztette a Yandex-et, egy merevlemez-kereső programot. 1996-ban a weben való keresés lehetőségével bővült a program. 1997-ben megírták az első keresőrobotot, indexelték a Runetet és 1997. szeptember 23évben megtörtént a Yandex hivatalos bemutatója.

A CompTek Yandex nem a legrégebbi, de keresési technológiájuk, valamint nyelvészeti és morfológiai kutatásuk a legrégebbi Oroszországban.

A keresőmotorok népszerűsége Oroszországban, Ukrajnában és a világon. A keresőmotorok fejlődésének története. A Rambler és az Aport kihalt dinoszauruszok.
Mindig is vitatkoztam és érvelni fogok amellett, hogy egy szűk szakember, akit semmi más nem érdekel, csak a pusztán gyakorlati részletek, nem tud igazi magasságokat elérni a szakmájában. Az ilyen emberből nem „szűk”, hanem „szűk elméjű” lesz :-) Ezért nézzük meg a keresőmotorok fejlődésének történetét, valamint azt, hogy az egyes keresők milyen piaci részesedést foglalnak el jelenleg. A keresőmotorok népszerűsége Oroszországban és Ukrajnában nagyon fontos pillanat a promóció szempontjából.

A keresőmotorok története . A távoli 90-es években, amikor az internet csak kezdett életre kelni, a szó modern értelmében vett keresőmotorok nem léteztek. A szükséges erőforrás keresése oldalkönyvtárak segítségével történt, ahol az akkor elérhető internetes projekteket címsorok szerint rendezték. Mivel kevés felhasználó volt a hálózaton, és egyáltalán kevés a webhely, az adatok strukturálásának ez a módja meglehetősen kényelmes és megfelelő volt.

Az első teljes értékű kereső a WebCrawler projekt volt. Az alapvető különbség elődeihez képest az volt, hogy ez a kereső az ún. teljes szöveges keresés. Azok. nem csak lokálisan keresett valamilyen könyvtárban, nem csak a Kulcsszavak metatagban, hanem elemezte a weboldal teljes szövegét, ami lehetővé tette bármilyen kifejezés sikeres megtalálását (és nem csak azokat, amelyeket a webmester kulcsszóként jelölt meg a leírásban oldala).

Nekem személy szerint a WebCrawler név nem mond semmit - túl távoli a múlt, Oroszországban akkoriban még nem mindenki hallotta az Internet szót :-) De az 1996-ban megjelent Lycos már régebbi webmesterek ajkán van. , mindenesetre ez a sok ismerős. Nem sokkal a Lycos után elindult korának legjobb keresője, az AltaVista – ezt a nevet biztosan hallottad. Körülbelül 2000-ig az AltaVista a világ vezető keresője maradt.

1998-ban megalapították a Google-t. Fejlesztői, Sergey Brin és Larry Page forradalmasították a keresés minőségét azáltal, hogy kifejlesztették a PageRank algoritmust, amely lehetővé teszi egy oldal "súlyának" figyelembe vételét a rá mutató hivatkozások számától függően. Ez olyan radikálisan javította a keresés minőségét, hogy a Google gyorsan közönségre tett szert, és néhány éven belül a világ vezető keresőjévé vált, amely a mai napig az. Emlékszem, kb 2000-ben néztem egy vitát az intézetben a csoportunkban két diák között, hogy az Altavista szívás, és a Google jobban keres :-)

Aport kereső . Az Agama fejlesztése, amely 1996-ban jelent meg. Egy projekt, amely több évig a Runet vezető keresőmotorja maradt. Ezt írom, és kezdem magam is nagyon ősinek érezni :-) Hiszen valamikor diákként az Aportot kerestük. Nem volt más alternatíva, és nem is volt rájuk szükség, mert az Aport tökéletesen végezte a dolgát.

A kiváló kezdés azonban nem hozott ugyanolyan kiváló fejlődést a jövőben. Az Aport olyan finom falat volt, hogy többször is gazdát cserélt, minden alkalommal egyre drágábban kelt el. Úgy tűnik, ez ölte meg. A „hatékony menedzsment és marketing” került előtérbe, a technikai támogatás pedig elcsépelt „pontozás” volt. Ezt követően a Runet-felhasználók hátat fordítottak az Aportnak – szerencsére a másik két fő keresőmotor – a Rambler és a Yandex – aktívan küzdött a napfényes helyért.

Nem emlékszem a pontos dátumokra, de az Aport először felhagyott saját rangsoroló algoritmusaival, elkezdte használni a Yandex adatait, és néhány éve teljesen megszűnt keresőmotorként. Most egy online áruház található a híres domainen, és nem a legjobb minőségű.

Eh... de valamikor az Aportnak is volt saját katalógusa, amelybe a webmesterek szinte ugyanolyan erővel igyekeztek bejutni, mint most a Yandex. Az Aport első tervét egyébként Artemy Lebedev fejlesztette ki… szinte egyidőben a Yandex tervezésével.

Rambler kereső . A Rambler 1996-ban indult útjára, és csaknem egy évtizedig a piac egyik fő szereplője maradt. Az Aporttal ellentétben, amely nagyon-nagyon gyorsan „elhalványult”, Rambler lassan és ellenállással gurult le a jelenlegi „hajléktalan pozícióba”.

Szinte az utolsó pillanatig a Rambler tovább dolgozott saját keresőjével, ami egyébként jó minőséget adott. Gondoljunk csak bele – hosszú évekig a Rambler volt a második Runet kereső, a harmadik pedig nem a már félig halott Aport, hanem a hatalmas Google!

A Rambler piaci részesedése azonban egyre zsugorodott, és 2011-ben a Yandex kivásárolta, és a Yandexével megegyező eredményeket kezdett produkálni. Ezzel véget ért a Rambler története, amely egykor a legerősebb orosz keresőmotor volt.

Google és Yandex keresőmotorok . Jelenleg valójában csak két releváns keresőmotor létezik - a Yandex és a Google. Mindenféle Lucos és Altavistas már rég feledésbe merült, és nem működik keresőszolgáltatásként. A Ramblert a Yandex vásárolta meg, és most az utóbbi eredményeit mutatja. Az Aport online bolttá változott. A piac nagyon kis részesedése a Yahoo és a Bing tulajdonában van – keresés a Microsofttól. Oroszországban a Yandex és a Google mellett létezik a Mail.ru is, de nem rendelkezik saját keresővel, hanem a Google keresési eredményeit használja, csak kisebb módosításokat végezve rajtuk.

A keresőmotorok népszerűsége Oroszországban, Ukrajnában és a világon . Jelenleg Oroszországban a keresési piac körülbelül a következőképpen oszlik meg:

Yandex - 63%
Google - 26%
Mail.ru - 8%
Rambler - 1,5%
Bing – 0,6%

Ukrajnában az arány jelentősen eltér, a Yandex jóval lemaradt fő versenytársától, de lassan növeli piaci részesedését:

Google - 60%
Yandex - 29%
Mail.ru - 6%

A globális keresésben csak egy vezető, abszolút és feltétel nélküli - a Google.

Mellesleg Ön és én megérdemelt büszkeséget érezhetünk hazánk iránt - csak Oroszországban és Kínában hoztak létre saját keresőrendszert. Sehol máshol a világon nem jelentek meg jó minőségű keresőmotorok. Az európai országokban - Franciaországban, Németországban és másokban - a Google-t a felhasználók 97-99%-a használja, i.е. lényegében nincs alternatíva.

Ennek gyakorlati vonatkozása is van – egy orosz webmester nagyobb valószínűséggel szerez látogatókat a keresésből. Gyakran előfordul, hogy a Yandex „szereti” az oldalt, de a Google nem, vagy fordítva. De mindkét esetben az oldalnak vannak ügyfelei. Nyugati kollégáink a „mindent vagy semmit” elven dolgoznak.

Van egy második pont - a Google és a Yandex promóciója bizonyos mértékig különbözik, és a mindkét vezető csúcsára jutás vágya nyomot hagy a webhely promóciós modelljén.

Könyvem nyomtatott példányban jelent meg. Ha ez a tankönyv hasznosnak bizonyult az Ön számára, akkor nemcsak erkölcsileg, hanem kézzelfoghatóan is megköszönheti.
Ehhez el kell menni

A keresőmotor architektúrája általában a következőket tartalmazza:

Enciklopédiai YouTube

1 / 5

✪ 3. lecke: Hogyan működik a kereső. Bevezetés a SEO-ba

✪ Keresőmotor belülről

✪ Shodan – Fekete Google

✪ A Cheburashka keresőmotor felváltja a Google-t és a Yandexet Oroszországban

✪ 1. lecke – Hogyan működik a kereső

Feliratok

Sztori

Kronológia
Év	Rendszer	Esemény
1993	W3 katalógus?!	dob
	Aliweb	dob
	JumpStation	dob
1994	webrobot	dob
	infoseek	dob
	Lycos	dob
1995	AltaVista	dob
	Daum	Bázis
	nyitott szöveg webindex	dob
	Magellán	dob
	Izgat	dob
	SAPO	dob
	Jehu!	dob
1996	Dogpile	dob
	Inktomi	Bázis
	Turista	Bázis
	hotbot	Bázis
	Kérdezd meg Jeeves-t	Bázis
1997	Északi fény	dob
	Yandex	dob
1998	Google	dob
1999	AlltheWeb	dob
	GenieKnows	Bázis
	Naver	dob
	Teoma	Bázis
	Vivisimo	Bázis
2000	Baidu	Bázis
	Exalead	Bázis
2003	info.com	dob
2004	Jehu! Keresés	Végső indítás
	A9.com	dob
	sogou	dob
2005	MSN Keresés	Végső indítás
	Ask.com	dob
	Nigma	dob
	árukeresés	dob
Keress engem	Bázis
2006	wikikeresés	Bázis
	Quaero	Bázis
	Élő Keresés	dob
	ChaCha	Indítás (béta)
	Guruji.com	Indítás (béta)
2007	wikikeresés	dob
	Sproose	dob
	Wikia Keresés	dob
	blackle.com	dob
2008	DuckDuckGo	dob
	Tooby	dob
	Picollator	dob
	Viewzi	dob
	Cuil	dob
	Boogami	dob
	LeapFish	Indítás (béta)
	Erdő	dob
	VADLO	dob
	powerset	dob
2009	Bing	dob
	KAZ.KZ	dob
	Yebol	Indítás (béta)
	Mugurdy	bezárás
	cserkész	dob
2010	Cuil	bezárás
	Blekko	Indítás (béta)
	Viewzi	bezárás
2012	WAZZUB	dob
2014	Műhold	Indítás (béta)

Az internet fejlesztésének korai szakaszában Tim Berners-Lee a CERN honlapján közzétett webszerverek listáját vezette. Egyre több oldal volt, és egy ilyen lista manuális karbantartása egyre nehezebbé vált. Az NCSA webhelyén volt egy külön „Újdonságok!” rész. (hun. What's New!), ahol új oldalakra mutató hivatkozásokat tettek közzé.

Az első számítógépes program az interneten való kereséshez az volt Archie(angolul archie - archívum a "c" betű nélkül). 1990-ben hozták létre Alan Emtage, Bill Heelan és J. Peter Deutsch, a montreali McGill Egyetem informatikus hallgatói. A program letöltötte az összes fájl listáját az összes elérhető névtelen FTP-kiszolgálóról, és létrehozott egy adatbázist, amelyben fájlnevek alapján lehetett keresni. Az Archie programja azonban nem indexelte ezeknek a fájloknak a tartalmát, mivel az adatmennyiség olyan kicsi volt, hogy mindent könnyen meg lehetett találni kézzel.

A Gopher hálózati protokoll fejlesztése és terjesztése, amelyet 1991-ben Mark McCahill alkotott meg a Minnesotai Egyetemen, két új keresőprogram létrehozásához vezetett, Veronikaés Jughead. Archie-hoz hasonlóan megkeresték a Gopher indexrendszereiben tárolt fájlneveket és fejléceket. Veronica (angol) Nagyon egyszerű rágcsáló-orientált, egész hálózatra kiterjedő index a számítógépes archívumokhoz) engedélyezte a kulcsszavas keresést a legtöbb Gopher menüfejlécre az összes Gopher listán. A Jughead program Jonzy Univerzális Gopher-hierarchia ásatása és megjelenítése) bizonyos Gopher szerverekről lekérte a menüinformációkat. Bár Archie keresőjének neve nem a képregénysorozathoz kapcsolódott "Archie", ennek ellenére Veronica és Jughead karakterek ezekben a képregényekben.

1993 nyarára még nem létezett egyetlen rendszer a weben való kereséshez, bár számos speciális címtárat karbantartottak manuálisan. Oscar Nierstrasz a Genfi Egyetemen egy sor Perl-szkriptet írt, amelyek rendszeresen lemásolták ezeket az oldalakat, és átírták őket egy szabványos formátumra. Ez lett az alapja W3 katalógus?!, az első primitív internetes kereső, 1993. szeptember 2-án indult el.

Valószínűleg az első Perlben írt keresőmotor a "World Wide Web Wanderer" volt, Matthew Gray botja 1993 júniusában. Ez a robot létrehozta a "Wandex" keresési indexet. A Wanderer robot célja az volt, hogy megmérje a világháló méretét, és megtalálja az összes olyan weboldalt, amely a lekérdezésben szereplő szavakat tartalmazza. 1993-ban megjelent a második keresőmotor, az Aliweb. Az Aliweb nem használt bejárót, hanem a webhelyek rendszergazdáinak értesítésére várt egy bizonyos formátumú indexfájl jelenlétéről a webhelyükön.

JumpStation, amelyet 1993 decemberében hozott létre Jonathan Fletcher, weblapokat keresett és indexelt egy bejáró segítségével, valamint webes űrlapot használt felületként a keresési lekérdezések megfogalmazásához. Ez volt az első internetes keresőeszköz, amely egyesítette a keresőmotor három alapvető funkcióját (ellenőrzés, indexelés és tényleges keresés). A korabeli korlátozott számítógépes erőforrások miatt az indexelés, így a keresés csak a bejáró által talált weboldalak címeire és címeire korlátozódott.

A keresőmotorok az 1990-es évek végén részt vettek a Dot-com buborékban. Számos cég lépett be látványosan a piacra, rekord nyereséget produkálva az IPO során. Vannak, akik felhagytak a nyilvános keresőmotorok piacával, és csak a vállalati szektorral dolgoznak, mint pl Északi fény.

A Google 1998-ban vette fel a kulcsszavak értékesítésének ötletét, amikor egy kis cég volt, amely keresőmotort működtet a goto.com oldalon. A lépés azt jelentette, hogy a keresőmotorok az egymással való versengésről az egyik legjövedelmezőbb internetes üzleti vállalkozássá váltak. A keresőmotorok elkezdték eladni a keresési eredmények első helyeit az egyes cégeknek.

A Google keresőmotorja a 2000-es évek eleje óta előkelő helyen van. A cég magas pozíciót ért el a PageRank algoritmussal végzett jó keresési eredményeknek köszönhetően. Az algoritmust Sergey Brin és Larry Page, a Google alapítói "A keresőmotor anatómiája" című cikkében mutatták be a nyilvánosságnak. Ez az iteratív algoritmus a weboldalakat a weboldalra mutató hiperhivatkozások becsült száma alapján rangsorolja, feltételezve, hogy a „jó” és „fontos” oldalak több hivatkozást kapnak, mint mások. A Google felülete spártai stílusban van kialakítva, ahol nincs semmi felesleges, ellentétben sok versenytársával, akik beépítették a keresőt a webportálba. A Google kereső annyira népszerű lett, hogy megjelentek utánzói pl. Rejtélykereső(titkos kereső).

Orosz nyelvű információk keresése

1996-ban az orosz morfológiát figyelembe véve keresést hajtottak végre az Altavista keresőmotoron, és elindították az eredeti orosz Rambler és Aport keresőmotorokat. 1997. szeptember 23-án megnyílt a Yandex kereső. 2014. május 22-én a Rostelecom megnyitotta a Szputnyik országos keresőt, amely 2015-ben béta tesztelés alatt áll. 2015. április 22-én új Szputnyik szolgáltatás indult. Gyermekek kifejezetten fokozott biztonságú gyermekek számára.

A klaszteranalízis és a metaadat-keresés módszerei nagy népszerűségre tettek szert. Az ilyen típusú nemzetközi gépek közül a leghíresebb volt "Clusty" cégek Vivisimo. 2005-ben a Moszkvai Állami Egyetem támogatásával Oroszországban elindult a Nigma kereső, amely támogatja az automatikus klaszterezést. 2006-ban megnyílt az orosz Quintura metagép, amely vizuális klaszterezést kínál címkefelhő formájában. Nigma vizuális klaszterezéssel is kísérletezett.

Hogyan működik a kereső

A keresőmotor fő összetevői: keresőrobot, indexelő, kereső.

A rendszerek általában szakaszosan működnek. Először a bejáró megkapja a tartalmat, majd az indexelő létrehoz egy kereshető indexet, végül pedig a bejáró biztosítja az indexelt adatok keresésének funkcióját. A keresőmotor frissítéséhez ez az indexelési ciklus megismétlődik.

A keresőmotorok úgy működnek, hogy sok olyan weboldalról tárolnak információkat, amelyeket a HTML-oldalakról kapnak. Keresőrobot vagy "bejáró" (eng. Crawler) - olyan program, amely automatikusan követi az oldalon található összes hivatkozást, és kiemeli azokat. A bejáró hivatkozások vagy előre meghatározott címlista alapján olyan új dokumentumokat keres, amelyeket még nem ismer a kereső. A webhely tulajdonosa kizárhat bizonyos oldalakat a robots.txt segítségével, amellyel megakadályozhatja a webhely fájlok, oldalak vagy könyvtárak indexelését.

A kereső elemzi az egyes oldalak tartalmát a további indexelés érdekében. A szavak kivonhatók címekből, oldalszövegekből vagy speciális mezőkből - metacímkékből. Az indexelő egy olyan modul, amely elemzi az oldalt, miután részekre bontja, saját lexikális és morfológiai algoritmusai segítségével. A weboldal minden eleme elkülönítve van, és külön elemzi. A weboldal adatait egy index-adatbázis tárolja a későbbi kérésekben való felhasználás céljából. Az index lehetővé teszi, hogy gyorsan információt találjon a felhasználó kérésére. Számos keresőmotor, például a Google, az eredeti oldalt vagy annak egy részét, az úgynevezett gyorsítótárat, valamint a weboldallal kapcsolatos különféle információkat tárolja. Más rendszerek, például az AltaVista, minden talált oldal minden szavát tárolják. A gyorsítótár használata felgyorsítja az információk kinyerését a már meglátogatott oldalakról. A gyorsítótárazott oldalak mindig azt a szöveget tartalmazzák, amelyet a felhasználó a keresési lekérdezésben megadott. Ez akkor lehet hasznos, ha a weboldal frissítésre került, vagyis már nem tartalmazza a felhasználó kérésének szövegét, és a gyorsítótárban lévő oldal még régi. Ez a helyzet a kapcsolatok elvesztésével kapcsolatos (eng. linkrot) és a Google felhasználóbarát (használhatósági) megközelítése. Ez magában foglalja a rövid szövegrészek kiadását a lekérdezés szövegét tartalmazó gyorsítótárból. A legkisebb meglepetés elve érvényesül, a felhasználó általában elvárja, hogy a kapott oldalak szövegében a keresett szavakat látja ( felhasználói elvárások). A gyorsítótárazott oldalak használatával végzett keresések felgyorsítása mellett a gyorsítótárazott oldalak olyan információkat is tartalmazhatnak, amelyek máshol már nem elérhetők.

A keresőmotor az indexelőtől kapott kimeneti fájlokkal dolgozik. A keresőmotor elfogadja a felhasználói kéréseket, index segítségével feldolgozza azokat, és visszaadja a keresési eredményeket.

Amikor a felhasználó beír egy lekérdezést a keresőbe (általában kulcsszavak használatával), a rendszer ellenőrzi az indexét, és visszaadja a legrelevánsabb weboldalak listáját (valamilyen kritérium szerint rendezve), általában egy rövid megjegyzéssel, amely tartalmazza a dokumentum címét és néha a szöveg egyes részeit. A keresési index egy speciális technika szerint épül fel, weboldalakról kinyert információk alapján. 2007 óta a Google keresője lehetővé teszi az idő alapú keresést, a keresett dokumentumok elkészítését (hívja a "Keresőeszközök" menüt és adja meg az időtartományt). A legtöbb keresőmotor támogatja a logikai AND, OR, NOT operátorok használatát a lekérdezésekben, ami lehetővé teszi a keresett kulcsszavak listájának finomítását vagy bővítését. Ebben az esetben a rendszer pontosan úgy keresi a szavakat vagy kifejezéseket, ahogyan beírta. Egyes keresőmotorok lehetővé teszik hozzávetőleges keresés, ebben az esetben a felhasználók kiterjesztik a keresési területet a kulcsszavak távolságának megadásával . Vannak még fogalmi keresés, amely a keresőszavak és kifejezések weboldalak szövegeiben való használatának statisztikai elemzését használja. Ezek a rendszerek lehetővé teszik a természetes nyelvű lekérdezések összeállítását. Ilyen keresőmotorra példa az ask com webhely.

A keresőmotor hasznossága a talált oldalak relevanciájától függ. Míg több millió weboldal tartalmazhat szót vagy kifejezést, egyesek relevánsabbak, népszerűbbek vagy hitelesebbek lehetnek, mint mások. A legtöbb keresőmotor rangsorolási módszereket használ, hogy a "legjobb" eredményeket a lista elejére hozza. A keresőmotorok döntik el, hogy mely oldalak relevánsabbak, és milyen sorrendben jelenjenek meg az eredmények különböző módokon. A keresési módszerek, mint maga az internet, idővel változnak. Így a keresőmotorok két fő típusa jelent meg: előre definiált és hierarchikusan rendezett kulcsszavak rendszerei, illetve olyan rendszerek, amelyekben szövegelemzés alapján fordított indexet generálnak.

A legtöbb kereső olyan kereskedelmi vállalkozás, amely a reklámozásból profitál, egyes keresőkben térítés ellenében lehet felső pozíciókat vásárolni adott kulcsszavakra. Azok a keresők, amelyek nem kérnek pénzt a találati sorrendért, a kontextuális reklámozással keresnek, míg a reklámüzenetek megfelelnek a felhasználó kérésének. Az ilyen hirdetések a keresési eredmények listáját tartalmazó oldalon jelennek meg, és a keresőmotorok minden alkalommal keresnek, amikor a felhasználó a hirdetési üzenetekre kattint.

Keresőmotorok típusai

Négy típusú keresőmotor létezik: robotizált, embervezérelt, hibrid és metarendszerek.

• keresőrobotokat használó rendszerek

Három részből állnak: egy bejáróból ("bot", "robot" vagy "pók"), egy indexből és egy keresőszoftverből. A bejáróra a hálózat megkerüléséhez és a weboldalak listájának létrehozásához van szükség. Az index a weboldalak másolatainak nagy archívuma. A szoftver célja a keresési eredmények értékelése. Tekintettel arra, hogy ebben a mechanizmusban a bejáró folyamatosan feltárja a hálózatot, az információk naprakészebbek. A legtöbb modern keresőmotor ilyen típusú rendszer.

• ember által vezérelt rendszerek (erőforrás-katalógusok)

Ezek a keresőmotorok listákat kapnak a weboldalakról. A címtár tartalmazza a címet, a címet és a webhely rövid leírását. Az erőforrás-katalógus csak a webmesterek által beküldött oldalleírásokból keresi az eredményeket. A könyvtárak előnye, hogy minden erőforrást manuálisan ellenőriznek, így a tartalom minősége jobb lesz az első típusú rendszer által automatikusan kapott eredményekhez képest. De van egy hátránya is - ezeknek a könyvtáraknak a frissítése manuálisan történik, és jelentősen elmaradhat a dolgok valós állapotától. Az oldalak rangsorolása nem változhat azonnal. Ilyen rendszerek például Yahoo könyvtár, dmoz és Galaxy.

• hibrid rendszerek

Az olyan keresőmotorok, mint a Yahoo, Google, MSN egyesítik a keresőrobotok és az ember által irányított rendszerek funkcióit.

• meta-rendszerek

A metakeresők kombinálják és rangsorolják egyszerre több keresőmotor eredményeit. Ezek a keresőmotorok akkor voltak hasznosak, ha minden keresőmotornak egyedi indexe volt, és a keresőmotorok kevésbé voltak "okosak". Mivel a keresés mostanra sokat fejlődött, csökkent az igény rájuk. Példák: MetaCrawlerés MSN Search.

Keresőmotorok piaca

A Google a világ legnépszerűbb keresője 68,69%-os piaci részesedésével. A Bing a második helyet foglalja el, részesedése 12,26%.

A világ legnépszerűbb keresőmotorjai:

Keresőrendszer	Piaci részesedés 2014 júliusában	Piaci részesedés 2014 októberében	Piaci részesedés 2015 szeptemberében
Google	68,69 %	58,01 %	69,24%
Baidu	17,17 %	29,06 %	6,48%
Bing	6,22 %	8,01 %	12,26%
Jehu!	6,74 %	4,01 %	9,19%
AOL	0,13 %	0,21 %	1,11%
Izgat	0,22 %	0,00 %	0,00 %
Kérdez	0,13 %	0,10 %	0,24%

Ázsia

A kelet-ázsiai országokban és Oroszországban a Google nem a legnépszerűbb keresőmotor. Kínában például népszerűbb kereső Soso?!.

Dél-Koreában a Naver szabadalmazott keresőportálját a Yahoo! 70%-a használja. Japán és a Yahoo! Tajvan a legnépszerűbb keresőmotorok Japánban, illetve Tajvanon.

Oroszország és orosz nyelvű keresők

A LiveInternet 2015. júniusi adatai szerint az orosz nyelvű keresési lekérdezések lefedettségéről:

• Minden nyelven:
  • Jehu! (0,1%) és a cég tulajdonában lévő keresőmotorok: Inktomi, AltaVista , Alltheweb
• Angolul beszélő és nemzetközi:
  • AskJeeves(Teoma mechanizmus)
• Oroszul beszélő - a legtöbb "orosz nyelvű" keresőmotor számos nyelven indexel és keres szövegeket - ukrán, fehérorosz, angol, tatár és mások. Abban különböznek a „minden nyelvű” rendszerektől, amelyek sorban indexelnek minden dokumentumot, mivel elsősorban az orosz nyelv domináns tartományi zónáiban található erőforrásokat indexelik, vagy más módon az orosz nyelvű oldalakra korlátozzák robotjaikat.

Egyes keresőmotorok külső keresőalgoritmusokat használnak.

A Google Keresőmotor mennyiségi adatai

Folyamatosan növekszik az Internet-felhasználók és a keresőmotorok száma, valamint az ezekre a rendszerekre vonatkozó felhasználói igények. A szükséges információk keresésének sebességének növelése érdekében a nagy keresőmotorok nagyszámú szervert tartalmaznak. A szervereket általában szerverközpontokba (adatközpontokba) csoportosítják. A népszerű keresőmotorok szerverközpontjai szerte a világon szétszórva vannak.

A Google 2012 októberében indította útjára a Where the Internet Lives projektet, ahol a felhasználóknak lehetőségük nyílik megismerkedni a cég adatközpontjaival.

A Google keresőmotorja a következőket tudja az adatközpontok munkájáról:

• Az összes Google adatközpont teljes kapacitását 2011-ben 220 MW-ra becsülték.
• Amikor a Google 2008-ban egy új, 6,5 millió m²-es, három épületből álló komplexum megnyitását tervezte Oregonban, a Harper's Magazine becslése szerint egy ilyen nagy komplexum több mint 100 MW villamos energiát fogyasztana, ami egy 300 000 lakosú város energiafogyasztásához hasonlítható. .
• A Google szervereinek becsült száma 2012-ben 1 000 000.
• A Google adatközpontokra fordított kiadásai 2006-ban 1,9 milliárd dollárt, 2007-ben pedig 2,4 milliárd dollárt tettek ki.

A Google által indexelt világháló mérete 2014 decemberében körülbelül 4,36 milliárd oldal.

Keresőmotorok, amelyek figyelembe veszik a vallási tilalmakat

Az internet globális elterjedése és az elektronikus eszközök növekvő népszerűsége az arab és muszlim világban, különösen a Közel-Kelet és az indiai szubkontinens országaiban hozzájárult az iszlám hagyományokat figyelembe vevő helyi keresőmotorok fejlődéséhez. Az ilyen keresőmotorok speciális szűrőket tartalmaznak, amelyek segítenek a felhasználóknak elkerülni a tiltott, például pornográfiát tartalmazó oldalak elérését, és csak olyan webhelyeket használhatnak, amelyek tartalma nem ellentétes az iszlám hittel. Nem sokkal a muszlim Ramadán hónap előtt, 2013 júliusában mutatkozott be a világ Halal guglizás- olyan rendszer, amely csak halal "helyes" linkeket ad a felhasználóknak azáltal, hogy szűri a más keresőmotoroktól, például a Google-tól és a Bingtől kapott keresési eredményeket. Két évvel korábban, 2011 szeptemberében indult el az I'mHalal kereső a Közel-Kelet felhasználóinak kiszolgálására. Ezt a keresőszolgáltatást azonban a tulajdonos szerint finanszírozás hiánya miatt rövidesen be kellett zárni.

A beruházások hiánya és a technológia elterjedésének lassú üteme a muszlim világban hátráltatta a fejlődést és hátráltatta egy komoly iszlám keresőmotor sikerét. A muszlim életmódú webprojektekbe történő hatalmas befektetések kudarca, amelyek közül az egyik az volt Muxlim. Dollármilliókat kapott olyan befektetőktől, mint a Rite Internet Ventures, és most - az I'mHalal legfrissebb bejegyzése szerint, mielőtt leállt volna - azzal a kétes ötlettel áll elő, hogy "a következő Facebook vagy Google talán csak a Közel-Keleten lesz. . ha támogatod ragyogó fiatalságunkat." Mindazonáltal az iszlám internetes szakértők évek óta foglalkoznak azzal, hogy meghatározzák, mi felel meg a saríának és mi nem, és a webhelyeket „halal” vagy „haram” kategóriába sorolják. Az összes korábbi és jelenlegi iszlám keresőmotor csak egy speciálisan indexelt adathalmaz, vagy olyan nagy keresőmotorok, mint a Google, a Yahoo és a Bing, amelyek valamilyen szűrőrendszerrel akadályozzák meg, hogy a felhasználók hozzáférjenek a haraam webhelyekhez, például a meztelenséggel foglalkozó oldalakhoz. LMBT, szerencsejáték és minden más, ami iszlámellenesnek számít.

Más vallás-orientált keresőmotorok között gyakori a Jewogle, a Google zsidó változata és a SeekFind.org, egy keresztény webhely, amely szűrőkkel távol tartja a felhasználókat a hitüket aláásó vagy gyengítő tartalmaktól.

Személyes találatok és szűrőbuborékok

Számos keresőmotor, például a Google és a Bing, algoritmusokat használ annak kitalálására, hogy a felhasználó milyen információkat szeretne látni a rendszerben végzett korábbi tevékenységei alapján. Ennek eredményeként a webhelyek csak olyan információkat jelenítenek meg, amelyek összhangban vannak a felhasználó múltbeli érdeklődésével. Ezt az effektust "szűrőbuboréknak" nevezik.

Mindez oda vezet, hogy a felhasználók sokkal kevesebb olyan információt kapnak, amely ellentmond a nézőpontjuknak, és intellektuálisan elszigetelődnek saját „információs buborékukban”. Így a "buborék-effektus" negatív következményekkel járhat a polgári véleményformálásra.

A keresőmotor elfogultsága

Bár a keresőmotorok úgy vannak programozva, hogy népszerűségük és relevanciájuk kombinációja alapján rangsorolják a webhelyeket, a valóság az, hogy a kísérleti kutatások azt mutatják, hogy különböző politikai, gazdasági és társadalmi tényezők befolyásolják a SERP-ket.

Ez az elfogultság a gazdasági és kereskedelmi folyamatok közvetlen következménye lehet: a keresőmotorokon hirdető cégek népszerűbbé válhatnak az adott keresőmotor organikus keresési eredményei között. A helyi törvényeknek nem megfelelő keresési eredmények eltávolítása a politikai folyamatok befolyásának példája. Például a Google nem jelenít meg néhány neonáci webhelyet Franciaországban és Németországban, ahol a holokauszt tagadása illegális.

Az elfogultság társadalmi folyamatok következménye is lehet, mivel a keresőmotor-algoritmusok gyakran úgy vannak kialakítva, hogy kizárják a formázatlan nézőpontokat a "népszerűbb" találatok javára. A nagy keresőmotorok indexelő algoritmusai az amerikai oldalakat helyezik előtérbe.

A keresőbomba a keresési eredmények politikai, társadalmi vagy kereskedelmi okokból történő manipulálására tett kísérlet egyik példája.

Lásd még

• Qwika
• Elektronikus könyvtár#Könyvtárak és keresőrendszerek listája
• Webfejlesztő eszköztár

Megjegyzések

Irodalom

• Ashmanov I. S., Ivanov A.A. Weboldal promóció a keresőkben. - M. : Williams, 2007. - 304 p. - ISBN 978-5-8459-1155-1.
• Bajkov V.D. Internet. Információ keresése. Weboldal promóció. - Szentpétervár. : BHV-Petersburg, 2000. - 288 p. - ISBN 5-8206-0095-9.
• Kolisnichenko D.N. Keresőmotorok és weboldalak reklámozása az interneten. - M.: Dialektika, 2007. - 272 p. - ISBN 978-5-8459-1269-5.

• Lande D.V. Keressen tudást az interneten. - M. : Dialektika, 2005. - 272 p. - ISBN 5-8459-0764-0.

• Lande D.V., Snarsky A. A., Bezsudnov I.V. Internet: Navigáció komplex hálózatokon: modellek és algoritmusok. - M.: Librokom (Szerkesztői URSS), 2009. - 264 p. - ISBN 978-5-397-00497-8.

• Chu H., Rosenthal M.