Marklogic pekar upp sin Hadoop big-data framtid

Marklogic har understrukit sin avsikt att öka kopplingen mellan dess NoSQL databas och öppen källkod big-dataplattform Hadoop.

Enterprise Software;? TechnologyOne tecken AU $ 6,2 affären med jordbruk, Samverkan, Vad är organiserande princip i dagens digitala arbetsplatsen,? Enterprise Software, söt SUSE! HPE hakar sig en Linux-distributioner, Enterprise Software, Apple att släppa iOS 10 den 13 september, MacOS Sierra den 20 september

Företagets engagemang med Hadoop går tillbaka till november 2011 då den lanserades en Hadoop kontakt för sin XML-baserade databas, som kan hantera stora mängder ostrukturerade data i realtid.

En erfaren uppgifter forskare har sin syn på de utmaningar som organisationer möter när de tar sina första steg in i världen av stora uppgifter.

Nu säger Marklogic VD Gary Bloom detta förhållande kommer att utvecklas ytterligare med framtida versioner av databasen motorn bakom, BBC: s London OS 2012 webbplats, som hanteras upp till 25.000 transaktioner per sekund.

“Vi kommer att fortsätta att göra mer teknik i våra produkter för att samverka mer tätt med Hadoop miljön – och i synnerhet runt nivåindelad lagring”, sade han.

Betydelsen av nivåindelad lagring, enligt Bloom, är att all data inte behöver finnas på de dyraste EMC disksystem, vilket ger möjligheter för företag att anta lagring vid olika priser och med olika nivåer av tillgänglighet.

“Så servicenivåer som är förknippade med dem skulle tendera att gå ner lite när du går längre ut, även om vissa av dessa lägre nivåer är utvecklats till att bli mycket höga prestanda”, säger han.

Vad Marklogic kommer att göra är om jag har Hadoop och har skiktad mina uppgifter på flera nivåer av lagring, kan jag sedan söka i alla dessa data fortfarande -. Jag bryr mig inte vilken nivå det är i Om några av dessa uppgifter är offline – väl, jag bara inte kommer att söka dessa data vid denna tidpunkt. Jag har möjlighet att stanna upp och kör även om mina arkiverade data på en lägre nivå inte är igång.

Bloom sade att förhållandet med Hadoop har fortsatt att utvecklas sedan utseendet på kontakten. Att lanseringen följdes av tillkännagivandet att Marklogic kan köras på Hadoop distribuerade filsystemet, vilket gör att organisationer att använda Hadoop satsbearbetning för att ladda stora mängder data och sedan få det att fungera med Marklogic.

“Om du inte har en Marklogic stack ovanför Hadoop, i huvudsak måste du bygga din egen dataförvaltning arkitektur och sökfunktionen eftersom Hadoop i sig är i huvudsak ett filsystem. Det är bra för att lagra information på hårddisken och det gör det mycket effektivt “, säger Bloom.

I februari meddelade Marklogic det distribuerar Intels version av Hadoop, tillsammans med de verktyg som följer med det för att hantera Hadoop miljön.

Enligt Bloom, kan en typisk tillämpning av Marklogic-Hadoop kombination vara i en Wall Street-typ miljön eller sektorn för finansiella tjänster, där i vissa fall 10 eller 20 års data måste lagras.

Teradata: s senaste tillskotten till dess enhetlig dataarkitektur syftar till djupt integrera sina datalager system, Aster upptäckt plattform, Hadoop och best-of-breed hårdvara.

Du kan inte bara lägga den på en bandkopia och säga, “Jag har fått uppgifter”. Du vill kunna söka det. Sen om du går till kunder som gör sociala analyser och annat du pratar om, stora datamängder, och jag vill kunna räkna ut var att rikta mina produkter och hur man kör intäkter – ja, jag måste vara kunna söka alla mina uppgifter och jag kan nu göra det med olika typer av lagring “, säger Bloom.

Det är vad de hoppas att göra med Hadoop. Problemet som Hadoop har haft är att det är en riktigt intressant teknik, och många människor trodde Hadoop skulle lösa vad som nu framkommit som, den stora dataproblem. De trodde att det var en fristående lösning och vad de kommer att inse är att Hadoop i sig inte göra så mycket “, sade han.

Det är verkligen ett mycket avancerat filsystem. Det blir data på disken, den effektivt batch-processer och producerar data och gör några förbearbetning. Men när du har det på disken, måste man kunna söka det. Det är vad Marklogic sökmotor och databas är för: att skapa en miljö där du kan nu faktiskt få tillgång till alla dessa data.

Tillsammans med finansiella tjänster, Marklogic förväntar sig att hitta ytterligare kunder i media, regeringens säkerhetsstyrkor, upptäckt och sjukvårdsförsäkring bedrägeri. Det höjde nyligen $ 25m i nya medel för att finansiera en marknadsföring och försäljning tryck i nya vertikala marknader.

Bloom sade Marklogic fokuserar på tre teknologiteman. Tillsammans med nivålagring, är cloud computing en prioritet och att skapa verktyg för att hantera brast kapacitet för att möta efterfrågetoppar.

“Om jag använder Amazon, jag vill inte gå grab 50 noder för min topp period av behandling vid 07:00 och sedan komma in på 6:00 och ta reda på att jag har fortfarande 50 noder som tilldelats mig, eftersom jag ska att betala för dem “, sade han.

Det tredje området är att lägga semantik, utnyttja Marklogic position som en databas och en sökning leverantör.

“Eftersom vi ge våra kunder sökmotorn och databasen, kommer vi att göra en hel del av semantik arbete. Vi kommer att förbehandla en hel del av det som vi lägger in data i databasen”, sade han .

Så när data intas, kommer vi att att etablera en hel del av semantik kapacitet på den tiden och sedan göra den sista delen av semantik bearbetning i vår sökmotor.

Hadoop hanteringsverktyg

? TechnologyOne tecknar AU $ 6,2 affär med jordbruk

Vad är organiserande princip i dagens digitala arbetsplats?

Söt SUSE! HPE hakar sig en Linux-distributioner

Apple att släppa iOS 10 den 13 september, MacOS Sierra den 20 september

Finansiering för Marklogic försäljning tryck