Gigablast

Gigablast

Gigablast je výkonný, opensource, nový vyhledávač, který umožňuje indexování v reálném čase!
Gigablast je výkonný, opensource, nový vyhledávač, který provádí indexování v reálném čase!Funkce škálovatelné na tisíce serverů.Zvětšil na více než 12 miliard webových stránek na více než 200 serverech.Dvoujádrové čtyřjádrové jádro s 32 GB RAM a dvěma 160 GB Intel SSD, s 8 instancemi Gigablastu, dokáže při indexu 10 milionů stránek udělat asi 8 qps (dotazy za sekundu).Jednotky se budou blížit maximální skladovací kapacitě.Zdvojnásobení velikosti indexu více či méně sníží rychlost qps na polovinu.(Metriky výkonu mohou být provedeny asi desetkrát rychleji, ale zatím jsem se k tomu nepřiblížil. Využití místa na disku pravděpodobně zůstane stejné, protože je již docela efektivní.) 1 milion webových stránek vyžaduje 28,6 GB místa na disku.To zahrnuje index, meta informace a komprimovaný HTML všech webových stránek.Rychlost pavouku se pohybuje kolem 1 stránky za sekundu na jádro.Takže duální čtyřjádrové jádro může spider a indexovat 8 stránek za sekundu, což je 691 200 stránek za den.4 GB RAM vyžadováno pro instanci Gigablastu.(instance = process) Živé demo na Written in C / C ++ pro optimální výkon.Více než 500 000 řádků C / C ++.100% vlastní.Jeden binární.Webový server, databáze a vše ostatní je obsaženo v tomto zdrojovém kódu vysoce efektivním způsobem.Usnadňuje správu a odstraňování problémů.Spolehlivý.Od roku 2002 byl testován v živé produkci na miliardách dotazů na indexu přes 12 miliard unikátních webových stránek, 24 miliard zrcadlených.Super rychlé a efektivní.Jeden z mála vyhledávačů, které zasáhly tak velká čísla.Jediný vyhledávací nástroj s otevřeným zdrojovým kódem, který má.Podporuje všechny jazyky.Může poskytnout výsledky ve specifikovaných jazycích v době dotazu oproti jiným.Interně používá reprezentaci UTF-8.Sledování záznamů.Využívá ho mnoho klientů.Byl úspěšně použit v distribuovaném podnikovém softwaru.Ukládání do mezipaměti webových stránek se zvýrazněním termínu dotazu ....
gigablast

Webová stránka:

Kategorie

Alternativy Gigablast pro všechny platformy s komerční licencí

Inout Search Engine

Inout Search Engine

Stejně jako Google nebo Yahoo načítá výsledky, můžete také vytvořit soukromý vyhledávač s klonovacím skriptem.