Archiv pro štítek: software

Objektová úložiště jednou spolknou svět :-).

Objektová úložiště spolknou svět ?


! Nepropadejte panice ! 

Tradiční filesystémy a relační databáze zde budou s námi po mnoho dalších let o tom nemá smysl diskutovat, problém, ale vzniká dnes již na úrovni dat samotných, jsou totiž vysoce nestrukturovaná, bohužel nebo bohudík ?

Odhady říkají, že 80-90% dat kolem nás je nestrukturovaných, přesto se je snažíme popsat strukturou tabulek a relací, v nejhorším případě si uložíme string/json a ten si “žvýkáme” v aplikaci, otázka je zda-li je tento postup správný a nebojujeme proti vlastní “touze” dat být neorganizována.

Připomeňme si známý výrok Billa Jensena z knihy Simplicity.

Množství informací se zdvojnásobuje po každých 1100 dnech, tedy zhruba po třech letech, nicméně, čas, který nám zůstává k zpracování těchto narůstajících informací je stále stejný: 1440 minut denně".

Toto tvrzení bohužel již také není zcela platné, množství informace se zdvojnásobuje za polovinu času. :-(.

Strukturovaná data, ale mají stále a budou mít místo, jsou systémy, které generují “jen” tuto formu dat, senzory, čítače, čtečky, transakce, účto, sklady, … takové vše “bez lidí” z pohledu vývojářů je idylka, vše pevně zaškatulkováno, nikde nic nepřetéká, indexy indexují, ovšem reálný svět takový není.

NEstrukturovaná data jsou opačný extrémní protipól, svět plný chaosu jako kvantové fluktuace, je to náš svět takový jako jsou sami lidé, svět plný textů, audio a video obsahu, emailů, stránek, sociálna … je to “lidský” rozměr dat, pro vývojáře pekelný, nikdo přeci nechce “cpát” profilovou fotku či 100MB video jako blob do tabulky.

Nestrukturovaná data a web aplikace

Tradiční pohled dnešních web aplikací je generování strukturovaného výstupu dat na základě uživatelského vstupu (formuláře/upload) a ukládání na tradiční úložiště (filesystém, relační databáze), doba se však mění a uživatelé k nám budou (chtějí) tlačit data, které nelze jednoduše rozbít do “chlívečků”, protože jejich struktuře nerozumíme, typický zástupce největšího zdroje těchto dat jsou sociální media.

Proč objektová úložiště ?

Studie IDC z roku 2014 o nárůstu nestrukturovaných dat.

Proč “nová” objektová úložiště je zcela legitimní otázka, v první řadě je nutné pochopit (viz studie IDC), že internet je zaplavován masivním nárostem nestrukturovaných dat.

Je nutně změnit tedy přístup k těmto datům, je nutné je umět efektivně obsloužit, zvládnout je ukládat je jedna věc (zde by nebyl problém s klasickým filesystémem), ale většinou požadujeme další vlastnosti, snadný přístup, metadata, škálovatelnost (škálování relačních DB je obecně problém, distribuované FS mají své problémy), redundanci a výkon a flexibilitu (metadata nemohou mít pevnou strukturu tak jako to např. známe z filesystémů).

Objekt jako základ je elementární “struktura”, objekty nejsou na storage organizovány (flat), žádné adresáře ani hierarchie, objekt je reprezentován pouze svým ID, vyšší logiku, smysl, uspořádání zajišťuje aplikace a proto je důležité kvalitní API rozhraní, které je v těsnější integraci přímo s aplikací (aplikace “programuje”/řídí úložiště), z toho pohledu není překvapující, že některá cloud úložiště mají rozhraní přímo přes protokol HTTP/s (všimněte si, že filesystémy nebyly nikdo moc dobře stavěné na přístup přes HTTP/s).

object-storage-object-2016

object-storage-object-archi-2016

Ilustrace filesystému, blokového a objektového úložiště.

object-storage-compare-1200px-2016

Kde to najdu, kde to kvete, AWS S3, Google Cloud Storage a ti druzí …

Začít experimentovat je “snadné”, Amazon Web Services je cloud platforma jejíž součástí je i služba AWS S3 (Simple Storage Service), zajímavou alternativou na testing/vývoj je projekt Minio, což je minimalistický object storage s API kompatibilní s AWS S3.

Dalším zástupce je Google Cloud Storage, nemáme přímé zkušenosti, přednáška byla ovšem dost zajímavá, cenově asi “zatím” stále lépe než AWS, také si zatím hrajeme.

Z opensource možností projekt Ceph, distribuované objektové úložiště umožňující blokovou i file storage, predikuje se velká budoucnost, společnost RedHat koupila projekt Ceph a otevřela ho veřejnosti, předpokládá se integrace s platformou OpenStack a posazení vedle OpenStack Swift object storage, což je další open projekt storage řešení nebo můžete zkusit hodit oko na openio.io.

A to je vše, díky za pozornost.
František Havel, MOJEservery.cz

Řešení Hotel stack platform

hotel-rack-stack-hotel-logo-720  Hotel stack platforma


Co je to hotel stack ?

Hotelové prostředí v moderním pojetí dnes reprezentuje komplexní, živý a náročný „organismus“, dobře naladěný hotel poznáte během okamžiku, orchestrování hotelů dnes představuje manažerský kolotoč a bez kvalitního informačního zázemí se nelze obejít.

Jaká je však skutečnost technologického zázemí dnešních hotelů ?

Z naší praxe za 20 let pohybu v hotelovém segmentu musíme bohužel konstatovat, že zcela tristní !

Staré dosluhující systémy, bez podpory aktualizace software, často zcela bez zálohovacích nástrojů pro ochranu dat, hardware prvky za morální životností netrpělivě čekající na „křemíkové nebe“, v provozu často dva i více fyzických serverů, každý s využitím na zátěže  ~10%, energetická efektivita škoda mluvit a pravidelný restart 1x denně/týdně je dobrý standart. A co sítě ? Zde začíná teprve velmi slušný cirkus, plochá LAN, chaoticky vyzařující a vzájemně se rušící hotelové wifi, často sporadicky fungující wifi pro hosty, vouchery?, tickety? sms platby? haló je rok 2016, bezpečnost hotelové sítě, firewall, VPN, propojení lokalit, nic, nic, jen sprostá slova a VoIP, magie, která v komerčním prostředí funguje zcela spolehlivě, jen hotely mají 20+ staré ústředny, čest jejich památce, proč když začít je tak snadné.

Zní vám to povědomě ?

Proč hotel stack ?

Platforma hotel stack představuje naši evoluční odpověď na konsolidaci IT prostředí hotelových provozů, ucelená modulární platforma odbavující veškeré služby hotelu od datové konektivity pomocí metalických i optických sítí, bezpečnostní firewall s VPN, řešení pro výkonné bezdrátové sítě s centrálním řízením wireless controllerem, nástroje pro virtualizaci serverů a hotelového software, integrovanou moderní VoIP ústřednu s tarifikací a okamžitému nasazení, systém zálohování a obnovy dat, dohledový kamerový systém s podporou IP kamer, vše doručováno při vysoké efektivitě, modulárnosti, energetické úspoře a chráněno záložním zdrojem UPS s přepěťovou ochranou.

hotel-rack-stack-140-orig-2016

 

hotel-stack-icon-router-2016   Hotel stack Router, Switch

  • LAN, WAN, VPN, Wifi, IPTV podpora, PoE (volitelně)
  • Firewall, bezpečnost, VLAN, oddělení sítí
  • Propojení lokalit do jedné sítě (virtual private network, VPN)
  • Podpora záložního připojení k internetu
  • WIFI controller (komplexní hotelové wifi řešení)
  • Statistiky, www filtrování obsahu, reporting aktivit zaměstnanců

hotel-stack-icon-virtual-server-2016   Hotel stack virtual server

Virtualizace serverů a  operačních systémů přináší efektivní využití Vašich hardware prostředků , k čemu mít 5x fyzický server a každý využívat každý na 20%, když je možné jedno železo a vytížit ho plně, úspory značné v pořízení i provozu.

Reálná agregace z praxe je až 10x virtuálních strojů na 1x fyzický server.
Virtualizační technologie VMware server/KVM.
Možnost přechodu do cloud prostředí datacentra !
Nechcete udržovat vůbec vlastní serveru fyzický server?
Lze hostovat virtuální servery v našem datacentru.
Nabídka: 4x CPU, 16GB RAM, 300GB HDD SSD, Windows 2012R2
Cena:    1650Kč / měsíčně

Používáme výhradně certifikované servery Dell, IBM, Supermicro, Thomas Krenn, redundantní komponenty, RAID pole.

Podporujeme operační systémy:

  • Microsoft Windows
  • Linux
  • FreeBSD

Podpora pro hotelový software dodavatelů:

  • Agnis
  • Fidelio
  • Deneb
  • Abra
  • GUBI komplexní systém
  • Hores, ALTO
  • Medicus, Septim

Připravené scénáře k okamžitému nasazení na „jedno kliknutí“:

  • ZDARMA!
  • Konfigurace domény pro počítače (uživatelé, skupiny, zásady)
  • Sdílení souborů (CIFS)
  • Poštovní server (email, kalendář, kontakty, synchronizace, webmail, antispam)
  • DNS, NTP

hotel-stack-icon-voip-phone-2016   Hotel stack VoIP

Moderní VoIP ústředna, levné hovory do celého světa.

  • přesměrování hovorů, konferenční hovory, nahrávání hovorů
  • digitální recepční, hlasové schránky
  • podpora tarifikace (rozúčtování hotelovým hostům)
  • podpora pro vrátníky (intercom),  dálkové spínání
  • analogové brány (FXS/FXO), GSM brány
  • hotelové služby, programování modulů na zákázku (moduly úklid hotelu, buzení, objednávka služeb, digitální asistent)

hotel-stack-icon-backup-2016   Hotel stack zálohování, kamerový systém

Zálohování konfigurace celé platformy (router, switch, virtualizační server včetně virtuálních strojů), možnost synchronizovat zálohy na externí zrcadlo pro zvýšení bezpečnosti.

hotel-stack-icon-security-cam-2016 Kamerový systém představuje jednoduchý nástroj pro online 24/7 monitoring a ostrahu objektů, provozů, podpora pro IP kamery s vysokým rozlišením v kombinaci s VPN technologií poskytující zařízení hotel stack router je možné přenášet  a ukládat obraz ze vzdálených lokalit (spojení dva a více hotelů).

hotel-stack-icon-UPS-2016   Hotel stack UPS

Zálohované napájení energie pro platformu, ochrana přepětí sítě.

Hotel stack modulárnost, kompaktnost, podpora

Díky promyšlenému konceptu a v praxi odzkoušenému designu v kombinaci s výběrem kvalitních komponent je hotel stack platforma funkční řešení s přidanou hodnotou.

Modulární koncept, když chcete více nebo i méně, začít se dá i s minimalistickým hotel stackem, který bude s Vámi růst dle Vašich potřeb, chcete něco více docházkový systém, zabezpečovací ústřednu/alarm, definujte sami podobu svého hotelu.

Podpora → poskytuje SLA servisní smlouvu na celý stack na vybrané komponenty záruka 36 až 60 měsíců,poskytuje konfigurace a přizpůsobení, aktivní monitoring a reporting stavu stacku, dále vývoj řešení a aplikací na zakáznku v rámci hotel stacku včetně mobilních aplikací a napojení a třetí strany.

Zamilujte se !
Hotelové IT prostředí jako nikdy dosud...to je HOTEL STACK!
Technické konzultace, implementace, nacenění řešení.
Kontaktní e-mail: podpora@mojeservery.cz
Kontaktní telefon: +420 725 714 669

Hotel stack pro každého, nezáleží na provozu, pokryjeme stejně dobře potřeby škol, městských úřadů, knihoven, výrobních hal, skladů, malých i středních firem, nebojte se zeptat.

hotel-stack-demo1-2016 hotel-stack-demo2-2016 hotel-stack-demo3-2016

Advanced REST client pro testování REST API rozhraní

API


api-rest-client-1-2016

API, API, API (Application Programming Interface) je takové zaklínadlo dnešní doby, pokud služba/aplikace nedisponuje rozhraním pro komunikaci je vyřízená, nebrat doslovně, pojem API aby zde byl mnohem dříve než z něho web stihl udělat buzzword, konec konců už i DOS měl své API v podobě přerušení int 21h, služby BIOSu jsou API, systémová volání v moderních systémech nejsou nic jiného než opět API.

REST (Representational state transfer)

REST představuje jeden z konceptů (architektur) je vytvořit rozhraní, je postavená nad volání metod protokolem HTTP, datově orientované a masivně používané, oblíbené.

Malý pomocník, taky pomocník ...

Advanced REST client pro Google Chrome

ARC je aplikaci běžící uvnitř prohlížeče Chrome a dovoluje pohodlné odzkoušení API rozhraní, dříve jsme měli postup otestovat funkčnost a chování API pomocí jednoduchého řádkového klienta curl (a je stále dobré to umět, rozumět, lze to scriptovat a průběžně tak testovat) ještě předtím než zavoláte composer, požádáte ho o Guzzle a začnete “čarovat”.

“Absolutní výcuc” vyšel před lety na serveru Codingpedia.org.
http://www.codingpedia.org/ama/how-to-test-a-rest-api-from-command-line-with-curl/

Proč dát ARC šanci ?

  • GUI rozhraní, úplná “klikačka”, jednoduchost
  • Úplná kontrola na HTTP hlavičkou, lze upravit “cokoliv” (raw)
  • metody GET/POST/PUT/DELETE/HEAD/CONNECT/vlastní
  • Podpora pro WebSocket
  • Integrace s Google Drive
  • Import/export dat
  • Triviální instalace, okamžitá použitelnost

Užívejte moudře, děkujeme za pozornost.
MOJEservery.cz

api-rest-client-screen-2016-1

api-rest-client-screen-2016-2

api-rest-client-screen-2016-3

api-rest-client-screen-2016-4

GamesPlay Samorost 3 + soundtrack

Amanita Design


Velmi zřídka odbočujeme z našeho oboru, výjimečné věci si však zaslouží pozornost, chceme složit poklonu za úžasné dílo, umělecký počin. Amanita Design je pražské nezávislé herní studio založené v roce 2003 výtvarníkem Jakubem Dvorským, co více, práce týmu Amanita je do jisté míry odkaz a navázání na českou animátorskou školu (Švankmajer, Zeman, Trnka) v kombinaci s propojením na současné moderní technologie pro audiovizuální distribuci zážitků.

samorost-3-newts

Samorost 3


Třetí pokračování explorativní hry z žánru adventur, unikátní podání grafického zážitku, animace, brilantní hudba, atmosféra, hádanky a forma, vhodné pro všechny generace, nenásilné, promyšlené.

Samorost 3, hravé spojení umění s herním světem, děkujeme.

http://samorost3.net

Podpořte tvůrce zakoupením, zážitek je nepopsatelný!

GamesPlay (živá ukázka) ze hry.

Samorost 3 – Original Soundtrack

Linux CentOS 7 oficiálně dostupný pro Raspberry Pi 2

Linux CentOS 7 Raspberry Pi 2


S narůstajícím množstvím snadno dostupného ARM hardware v podobě single board computer Raspberry Pi 2, Banana Pi, Odroid, Orange,… přišlo oznamení o oficiální podpoře ARM pro CentOS7 jako vánoční dárek.

V oficiálním sestavení CentOS7 build 1511 je zahrnuta podpora pro ARMv7 zařízení, zatím jsou připravené “minimal” image pro Raspberry Pi 2, Banana Pi a CubieTruck ke stažení na FTP http://mirror.centos.org/altarch/7/isos/armhfp.

[   ] CentOS-Userland-7-armv7hl-Minimal-1511-BananaPi.img.xz 11-Dec-2015 08:07 335M
[   ] CentOS-Userland-7-armv7hl-Minimal-1511-CubieTruck.img.xz 11-Dec-2015 08:07 326M
[   ] CentOS-Userland-7-armv7hl-Minimal-1511-RaspberryPi2.img.xz 11-Dec-2015 08:07 275M
raspberrypi2-centos7-armv7-2015-1
Starší build CentOS7 1406 v průběhu vývoje (ARMv7)

Více se lze dozvědět na arm development mailing list nebo na IRC kanálu #centos-devel freenode.

Děkujeme! MOJEservery.cz

Linux mini-howto: Pigz, paralelní gzip implementace, komprimujte rychleji!

Linux mini-howto?
Krátce o nástrojích ze života sysadmina.

Pigz, unpigz , paralelní gzip implementace

Proč ? V dnešní době je téměř nemožné koupit procesor s jedním jádrem, výrobci tak obcházejí problém rychlejších procesorů (výšší frekvence) díky možnosti umístění více jader do jednoho fyzického  pouzdra a přenesení problému do oblasti software.

Paralelní výpočty rozdělují složitější úlohu na vícero jednoduchých,
ty jsou často vykonávány ve vláknech, které běží škálovatelně přes
jádra procesoru.

Paralelní programování je považováno za obtížnější formu vývoje
software, nese sebou celou řadu problému, zamykání, souběh, vyloučení, paralelní zpomalení, synchronizace atd, přesto jde o klíčovou oblast zejména pro řešení simulací, potřebujeme znát odpovědi na otázky které jsou analyticky neřešitelné (např. teoretická a experimentální fyzika)

K čemu to používáme? Zpátky na zem, smrtelník a sysadmin v našem případě nasadil pigz jako rychlou náhradu za klasický gzip pro komprimaci záloh databáze MySQL, zálohuje s v noci, komprimuje se v noci a jak praví klasik čas jsou peníze.

Instalace pigz

root@havel-machine:~# apt-get install pigz

Malá ukázka, vzorová data SQL dump 868MB , komprimace provedena nad stejnou db vždy metodou fast (-1, nejrychlejší) a best (-9, nejúčinější).

 FAST  BEST
 pigz (čas)  12.1s (cpu 392%)  16.5s (cpu 396%)
 gzip (čas)  44.6s (cpu 100%)  58s (cpu 100%)

Testováno na AMD A6-3670, 4GB RAM, disk SATA 7200rpm.

Jednoduchý benchmark ukazuje rychlejší zpracování dat za použití paralelní implementace gzip a to v obou případech, rozdíly jsou na první pohled signifikantní. Jak je patrné paralelní komprimace dává smysl a dokáže významně zkrátit časy v celém zálohovacích procesu a nárůstem počtu jader zkracujete čas, navíc je možné omezit pigz na konkrétní počet jader (např. 6 jader z 8).

http://zlib.net/pigz

http://linux.die.net/man/1/pigz

Užívejte moudře, díky za pozornost. František Havel, MOJEservery.cz


Bojujete se zálohování? Nabízíme pomoc.

Nabízíme firemní i osobní zálohovací systémy, onsite i offsite zálohování, replikační systémy, katalogové zálohování, komprimace, deduplikace, verzování záloh, synchronizace lokalit, ochrana záloh, reporting a zcela bezplatně konsultaci a poradentství.

Kontaktujte nás, najdeme nejlepší řešení za skvělou cenu.

MOJEservery.cz