Archiv pro štítek: vývoj

Objektová úložiště jednou spolknou svět :-).

Objektová úložiště spolknou svět ?


! Nepropadejte panice ! 

Tradiční filesystémy a relační databáze zde budou s námi po mnoho dalších let o tom nemá smysl diskutovat, problém, ale vzniká dnes již na úrovni dat samotných, jsou totiž vysoce nestrukturovaná, bohužel nebo bohudík ?

Odhady říkají, že 80-90% dat kolem nás je nestrukturovaných, přesto se je snažíme popsat strukturou tabulek a relací, v nejhorším případě si uložíme string/json a ten si “žvýkáme” v aplikaci, otázka je zda-li je tento postup správný a nebojujeme proti vlastní “touze” dat být neorganizována.

Připomeňme si známý výrok Billa Jensena z knihy Simplicity.

Množství informací se zdvojnásobuje po každých 1100 dnech, tedy zhruba po třech letech, nicméně, čas, který nám zůstává k zpracování těchto narůstajících informací je stále stejný: 1440 minut denně".

Toto tvrzení bohužel již také není zcela platné, množství informace se zdvojnásobuje za polovinu času. :-(.

Strukturovaná data, ale mají stále a budou mít místo, jsou systémy, které generují “jen” tuto formu dat, senzory, čítače, čtečky, transakce, účto, sklady, … takové vše “bez lidí” z pohledu vývojářů je idylka, vše pevně zaškatulkováno, nikde nic nepřetéká, indexy indexují, ovšem reálný svět takový není.

NEstrukturovaná data jsou opačný extrémní protipól, svět plný chaosu jako kvantové fluktuace, je to náš svět takový jako jsou sami lidé, svět plný textů, audio a video obsahu, emailů, stránek, sociálna … je to “lidský” rozměr dat, pro vývojáře pekelný, nikdo přeci nechce “cpát” profilovou fotku či 100MB video jako blob do tabulky.

Nestrukturovaná data a web aplikace

Tradiční pohled dnešních web aplikací je generování strukturovaného výstupu dat na základě uživatelského vstupu (formuláře/upload) a ukládání na tradiční úložiště (filesystém, relační databáze), doba se však mění a uživatelé k nám budou (chtějí) tlačit data, které nelze jednoduše rozbít do “chlívečků”, protože jejich struktuře nerozumíme, typický zástupce největšího zdroje těchto dat jsou sociální media.

Proč objektová úložiště ?

Studie IDC z roku 2014 o nárůstu nestrukturovaných dat.

Proč “nová” objektová úložiště je zcela legitimní otázka, v první řadě je nutné pochopit (viz studie IDC), že internet je zaplavován masivním nárostem nestrukturovaných dat.

Je nutně změnit tedy přístup k těmto datům, je nutné je umět efektivně obsloužit, zvládnout je ukládat je jedna věc (zde by nebyl problém s klasickým filesystémem), ale většinou požadujeme další vlastnosti, snadný přístup, metadata, škálovatelnost (škálování relačních DB je obecně problém, distribuované FS mají své problémy), redundanci a výkon a flexibilitu (metadata nemohou mít pevnou strukturu tak jako to např. známe z filesystémů).

Objekt jako základ je elementární “struktura”, objekty nejsou na storage organizovány (flat), žádné adresáře ani hierarchie, objekt je reprezentován pouze svým ID, vyšší logiku, smysl, uspořádání zajišťuje aplikace a proto je důležité kvalitní API rozhraní, které je v těsnější integraci přímo s aplikací (aplikace “programuje”/řídí úložiště), z toho pohledu není překvapující, že některá cloud úložiště mají rozhraní přímo přes protokol HTTP/s (všimněte si, že filesystémy nebyly nikdo moc dobře stavěné na přístup přes HTTP/s).

object-storage-object-2016

object-storage-object-archi-2016

Ilustrace filesystému, blokového a objektového úložiště.

object-storage-compare-1200px-2016

Kde to najdu, kde to kvete, AWS S3, Google Cloud Storage a ti druzí …

Začít experimentovat je “snadné”, Amazon Web Services je cloud platforma jejíž součástí je i služba AWS S3 (Simple Storage Service), zajímavou alternativou na testing/vývoj je projekt Minio, což je minimalistický object storage s API kompatibilní s AWS S3.

Dalším zástupce je Google Cloud Storage, nemáme přímé zkušenosti, přednáška byla ovšem dost zajímavá, cenově asi “zatím” stále lépe než AWS, také si zatím hrajeme.

Z opensource možností projekt Ceph, distribuované objektové úložiště umožňující blokovou i file storage, predikuje se velká budoucnost, společnost RedHat koupila projekt Ceph a otevřela ho veřejnosti, předpokládá se integrace s platformou OpenStack a posazení vedle OpenStack Swift object storage, což je další open projekt storage řešení nebo můžete zkusit hodit oko na openio.io.

A to je vše, díky za pozornost.
František Havel, MOJEservery.cz

Mikroslužba ipinfo.io

Linux mini-howto?
Krátce o nástrojích ze života sysadmina.

Mikroslužba ipinfo.io


Pro menší projekt jsme hledali jednoduché řešení  realizace IP address look/whois/geolokace a to nejlépe formou služby s jednoduchým API, k ruce nám velmi vhod přišla právě mikroslužba ipinfo.io, zřejmě by to šlo vše realizovat svépomocí, ale máme rok 2016 tak proč se trápit.

Protože na více místech používáme RabbitMQ (message broker, fronty, zprávy) a opravdu čas se s tímto konceptem naučit se již vyplatil, nebyl velký problém napsat si vlastní službu na vyřizování požadavků z fronty  “rabbit whois” nad ipinfo.io, hlavní app je neinteraktivní a pouze přehazuje do fronty požadavky a nepotřebuje okamžitě odpověd, triviální.

ipinfo.io

Pohodlná služba s jednoduchým API, vrací výsledky v JSON (lze se i ptát v JSON), k dotazům lze použít vše co rozumí http protokolu (v placené variantě i https), základní verze je zdarma do 1000 dotazů/den, prostě super, nic více nepožadujeme, máme max. pár desítek požadavku za den a pokud se neplatu ipinfo běží na AWS.

Ukázka a více na http://ipinfo.io/developers.

ip@ip:~$ curl ipinfo.io/8.8.8.8
{
  "ip": "8.8.8.8",
  "hostname": "google-public-dns-a.google.com",
  "city": "Mountain View",
  "region": "California",
  "country": "US",
  "loc": "37.3860,-122.0838",
  "org": "AS15169 Google Inc.",
  "postal": "94035"
}

http://ipinfo.io/developers/tools

http://ipinfo.io

ipinfo-io-blog-header-2016

Pěkná služba, děkujeme.
MOJEservery.cz

Advanced REST client pro testování REST API rozhraní

API


api-rest-client-1-2016

API, API, API (Application Programming Interface) je takové zaklínadlo dnešní doby, pokud služba/aplikace nedisponuje rozhraním pro komunikaci je vyřízená, nebrat doslovně, pojem API aby zde byl mnohem dříve než z něho web stihl udělat buzzword, konec konců už i DOS měl své API v podobě přerušení int 21h, služby BIOSu jsou API, systémová volání v moderních systémech nejsou nic jiného než opět API.

REST (Representational state transfer)

REST představuje jeden z konceptů (architektur) je vytvořit rozhraní, je postavená nad volání metod protokolem HTTP, datově orientované a masivně používané, oblíbené.

Malý pomocník, taky pomocník ...

Advanced REST client pro Google Chrome

ARC je aplikaci běžící uvnitř prohlížeče Chrome a dovoluje pohodlné odzkoušení API rozhraní, dříve jsme měli postup otestovat funkčnost a chování API pomocí jednoduchého řádkového klienta curl (a je stále dobré to umět, rozumět, lze to scriptovat a průběžně tak testovat) ještě předtím než zavoláte composer, požádáte ho o Guzzle a začnete “čarovat”.

“Absolutní výcuc” vyšel před lety na serveru Codingpedia.org.
http://www.codingpedia.org/ama/how-to-test-a-rest-api-from-command-line-with-curl/

Proč dát ARC šanci ?

  • GUI rozhraní, úplná “klikačka”, jednoduchost
  • Úplná kontrola na HTTP hlavičkou, lze upravit “cokoliv” (raw)
  • metody GET/POST/PUT/DELETE/HEAD/CONNECT/vlastní
  • Podpora pro WebSocket
  • Integrace s Google Drive
  • Import/export dat
  • Triviální instalace, okamžitá použitelnost

Užívejte moudře, děkujeme za pozornost.
MOJEservery.cz

api-rest-client-screen-2016-1

api-rest-client-screen-2016-2

api-rest-client-screen-2016-3

api-rest-client-screen-2016-4

Oficiální kniha Raspberry Pi nápadů a projektů pro rok 2015!

raspberrypi-project-book-2015-1

Je to venku! Raspberry PI official book.

Oficiální kniha Raspberry Pi projektů 2015 je venku, 200 stránek nápadů, inspirací a návodů Vás motivují a pomohou Vám s Vašim novým projektem, vhodné pro děti, výuku, učitelé, vzdělání a vše za tu nejlepší cenu, zdarma ve formátu pdf, elektronická verze také dostupná obchodech Google Play a Apple store.

https://raspberrypi.org/magpi-issues/Projects_Book_v1.pdf

Kniha Vám pomůže a ukáže jak rychle začít s malinou, provede Vás instalací systému, nastavením, ukáže zajímavé realizované projekty, tutoriály (návody), recenze, namátkou vybráno.

  • PI Video Wall (Video stěna NASA)
  • LEGO-LUTION PI (spojení LEGO a Pi)
  • Raspeberry Pi Cluster
  • iDATA TRUNK (geolokace nákladních vozů s Pi)
  • Sound Fighter (spojení piana a Raspberry Pi , Arduino)
  • Super Nintendo emulátor s Raspberry Pi
  • Magické LED zrcadlo
  • PISCAN (ruční snímač čárových kódu ve spojení s Pi)

raspberrypi-project-book-2015-blog-header

 


Poskytujeme technickou podporu na minipočítač Raspberry Pi a Arduino , pomoc s rozběhnutím, instalace, zaškolení,  workshopy pro zájemce a nedílnou součástí je i vývoj software/hardware a řešení postavená na embedded platformou Raspberry Pi, nebojte se nas kontaktovat.

Raspberry Pi 2 skladem  Tachov, Planá, Mariánské Lázně

http://www.mojeservery.cz/raspberrypi/

Raspebbery Pi 2: Inovace pro Vaše projekty

http://www.mojeservery.cz/raspberry-pi-2-inovace-pro-vase-projekty-skladem-tachov-plana-marianske-lazne/

raspberry-pi-export-web-skladem-800

 

Kompilace OpenWrt pro ARM, Raspberry Pi

Komplikace OpenWrt pro ARM, Raspberry Pi


Nejrychlejší komplikace OpenWrt, pro úplné nováčky, nebojte se postavit si vlastní systém na míru, dle vlastních potřeb, díky automatizovanému build systému je to snadné.

openwrt-logo

Komplikaci provedeme na Debianu, budeme potřebovat cca 4GB volného místa a trpělivost, OpenWrt má vlastním buildovácí systém (Buildroot,  můžete na něj narazit leckde, je to populární nástroj pro sestavení embedded Linuxu) pro cross-compile (sestavuje na x86 ale výstup poběží na jiné platformě).

Nainstaluje nezbytné věci pro překlad,vývoj a git (build-essential, ať žije síla balíčkovacích systému), poté klonujeme git repozitář OpenWrt, jdeme na to.

root@havel-machine:~# apt-get install git-core build-essential libssl-dev
root@havel-machine:~# apt-get install libncurses5-dev unzip
root@havel-machine:~# apt-get install subversion mercurial

Budeme stahovat tzv. bleeding edge(trunk) verzi.

havel@havel-machine:~/Work$ git clone git://git.openwrt.org/openwrt.git
Cloning into 'openwrt'...
remote: Counting objects: 320253, done.
remote: Compressing objects: 100% (87004/87004), done.
remote: Total 320253 (delta 220190), reused 318758 (delta 219174)
Receiving objects: 100% (320253/320253), 112.66 MiB | 601.00 KiB/s, done.
Resolving deltas: 100% (220190/220190), done.
Checking connectivity... done.

Tak, máme základ OpenWrt stažen (cca 200MB), nyní potřebujeme balíčky (feeds, potravu) pro sestavení, další se budou dotahovat podle toho vše budeme chtít začlenit.

havel@havel-machine:~/Work$ cd openwrt
havel@havel-machine:~/Work/openwrt$ ./scripts/feeds update -a
havel@havel-machine:~/Work/openwrt$ ./scripts/feeds install -a

Tak konsole na nás hodně křičela, stáhlo se cca dalších 50MB dat, ale nebojte se ničeho, pokračuje dále k sestavení.

havel@havel-machine:~/Work/openwrt$ make defconfig
havel@havel-machine:~/Work/openwrt$ make prereq
havel@havel-machine:~/Work/openwrt$ make menuconfig

Po poslední příkazu se dostáváme k textovému menu, zde si vybereme co chceme sestavit, pro jakou architekturu, jaké balíčky zahrneme (ty se následně stáhnout ve formě zdrojového kódu a zkompilují), jak krásné a jednoduché.

openwrp-compile-menuconfig

Nejklíčovější je výběr správné cílové architektury (target), otevřete menu, vyberte Broadcom BCM2708/BCM2709 pro Raspebrry Pi 2, stejným způsobem můžete přeložit OpenWrt pro cokoliv jiného, výběr je velmi široký.  openwrp-compile-menuconfig-bcm27xx

Doporučuji si pohrát s v menu Target images -> Boot SD card partition size a Root filesystem partition size , což jsou velikosti oddílů pro boot a root, jako filesystém nechávám ext4.

V kernel -> Wireless si vyberte ovladače pro bezdratové adaptéry pokud je budete používat, já jsem si ještě začlenil VLAN (802.1q), zabbix agenta, LuCI, LuCI Asterisk, coova-chilli a pár dalších, hodí se i wpa_supplicant, obecně menuconfig je velmi bohatý projděte se ho až budete mít chvilku, vše co zaškrtáte má vliv na dobu komplikace, množství stahovaných dat i výslednou velikost image.

Jdeme buildovat (komplikovat), pozor z menuconfig vyberte Save, uložte do souboru .config a až poté exit.

*** End of the configuration.
*** Execute 'make' to start the build or try 'make help'.
havel@havel-machine:~/Work/openwrt$ make -j 3
 make[1] world
 make[2] tools/install
 make[2] package/cleanup
 make[3] -C tools/patch compile
 make[3] -C tools/expat compile
 make[3] -C tools/sstrip compile
 make[3] -C tools/make-ext4fs compile
 ... čekejte a čekejte ...
 ... pokud jste pozorní všimnete si, že openwrt si samo sestavilo gcc (překladač, či obecně tzv. toolchain) pro své pokračování v překladu ...
 make[3] -C toolchain/gcc/final compile
 make[3] -C toolchain/gcc/final install
 make[2] target/compile
 make[3] -C target/linux compile
openwrt-compile-top-cpuload
Překladače se neflákají a vytěžují systém, parametr -j 3 v příkazu make povoluje právě instance překladače zároveň.

Hotovo, výstup (připravený image) najdete v openwrt/bin/ , OpenWrt build automaticky sestavil image pro modely Raspberry b,b+ a CM (Compute Module).

openwrt-brcm2708-bcm2708-rpi-b-ext4-sdcard.bin
openwrt-brcm2708-bcm2708-rpi-b-plus-ext4-sdcard.bin
openwrt-brcm2708-bcm2708-rpi-cm-ext4-sdcard.bin

Instalace, pomocí nastroje dd vemte potřebný image a zapište na SD kartu /dev/sdX , dd if=image of=/dev/sdX bs=2M a je nainstalováno.

Kde sehnat balíčky pro opkg ?

OpenWrt obsahuje balíčkovací systém opkg, jde o repositáře s předkompilovaným software pro danou platformu, není nutné tedy software (userspace + ovladače) kompilovat pokud nechcete, ale ta možnost tu stále je. Pro úplnost, balíčky jsou soubory s koncovkou .ipk např. iperf_2.0.5-1_brcm2708.ipk.

http://wiki.openwrt.org/doc/packages

Pro Broadcom 2708 a 2709 tedy Raspberry Pi 2 použijte tento předkompilovaný repositář, nastavte si ho v /etc/opkg.con a udělejte opkg update, získáte přístup k rozsáhlému množství software.

https://downloads.openwrt.org/snapshots/trunk/brcm2708/generic/packages/base/

Hotovo, tak kompilujte, pokud bude zájem je možné si příště ukázat patchnutí a kompilace OpenWrt jako metarouter Mikrotik s instalací VoIP telefonní ústředny Asterisk, za velmi nízké náklady tak získáte router s Wifi, až ethernet 10portů pro LAN a VoIP telefony.

Užívejte moudře, díky za pozornost. František Havel, MOJEservery.cz.

Linux mini-howto: SSH login notifikace emailem

Linux mini-howto?
Krátce o nástrojích ze života sysadmina.

SSH login notifikace emailem

Krátké a jednoduché, chcete info(oznámení) do emailu po přihlášení uživatele na SSH server? Jednoduchý script ukazuje jak na to, nejde o náhradu za komplexní systémy s logování na centrání vzdálený server, ale pro malé použití a případně další čarování s sshrc se může hodit.

Kde spouštět SSHrc script?

  • ~./ssh/rc – lokální konkrétní uživatel
  • /etc/ssh/sshrc – globálně pro všechny uživatele

SSHrc script

Napsán pro Vás jednoduchý ukázkový script v bashi, použijte ho, upravujte dle potřeby.

mail=alertemail@mojeservery.cz
user=/usr/bin/whoami
ip=/usr/bin/last | head -1 | awk '{print $3}'
#read -d " " ip <<< $SSH_CONNECTION
date=$(date "+%d.%m.%Y %Hh%M")
reverseIP=$(dig -x $ip +short)
hostname=$(hostname)

mail -s "SSH Login: $USER@$hostname" $mail <<EOF
From: root@$hostname
User: $USER
Host: $hostname
From IP: $ip
Reverse: $reverseIP
Date: $date
EOF

A to je vše! (! script opravdu není uvozen #!/bin/bash )

Na serveru musí být v provozu mail subsystém, alespoň jako stmp relay, tak aby email mohl odejít, navíc může být zpracování sshrc potlačeno konfigurací (ForceCommand, ssh -N apod.).

Užívejte moudře, mějte přehled o přístupech na Váš SSH server.

Díky za pozornost. František Havel, MOJEservery.cz

Windows 10 IoT: Raspberry Pi 2, MinnowBoard Max, Intel Galileo

Windows 10 IoT Core Raspberry Pi 2

Připraveno ke stažení a použití, testujte je to zdarma !

Microsoft po předchozím developer insider preview uvolnil oficiální verzi Windows 10 IoT (Internet of Things) pro platformy Raspberry Pi 2, MinnowBoard Max a Intel Galileo.

Chcete Raspberry Pi 2? Skladem Tachov, Mariánské Lázně, Planá, můžete ho mít ještě dnes ! Kontaktujte nás.

http://www.mojeservery.cz/raspberry-pi-2-inovace-pro-vase-projekty-skladem-tachov-plana-marianske-lazne/

http://www.mojeservery.cz/raspberrypi/

Windows 10 IoT Core

Není plnohodnotná verze Windows 10 pro desktop! Je upravená pro mini počítače a vývoj, nepotřebuje display, lze použít k připojení SSH, integruje vývojové nástroje (python, node.js,…), podpora pro GPIO rozhraní, wireless rohraní, device-command-line tools, nástroje pro portování aplikací, powershell, integrace s Visual Studio, debugger, FTP, Arduino podpora a další nástroje.

Windows 10 IoT Core features:

http://ms-iot.github.io/content/en-US/win10/StartCoding.htm

SSH server na Raspberry Pi 2 (Windows 10 IoT Core)

Windows 10 IoT: Připojení k Raspberry Pi 2 přes SSH (putty)
Windows 10 IoT: Připojení k Raspberry Pi 2 přes SSH (putty)

Začněte s Windows 10 IoT Core

  1. Vyberte si své IoT zařízení
  2. Nastavte své desktop PC
  3. Nastavte své IoT zařízení
  4. Vyvíjejte
Windows 10 IoT Core: Raspberry Pi 2
Windows 10 IoT Core: Raspberry Pi 2
Windows 10 IoT Core: MinnowBoard Max (x86, Intel Atom E38XX)
Windows 10 IoT Core: MinnowBoard Max (x86, Intel Atom E38XX)
Windows 10 IoT Core: Intel Galileo (x86)
Windows 10 IoT Core: Intel Galileo (x86)
Stáhnout obraz pro podporovaná zařízení zde.

https://ms-iot.github.io/content/en-US/GetStarted.htm

Připravujeme otestování systému Windows 10 IoT Core na Raspberry Pi 2, obraz stažen, uděláme pro Vás screenshoty a první pocity.

MOJEservery.cz.

Tvořte, vyvíjejte, objevujte! Arduino platforma na dosah ruky za skvělé ceny, skladem Tachov, Planá, Mariánské Lázně.

Tvořte, vyvíjejte, objevujte!

Buďte kreativní, rozviňte výjimečný potenciál sebe i svých dětí, nabízíme Vám unikátní příležitost, nabízíme Vám platformu Arduino včetně možnosti školení za atraktivní ceny, poprvé skladem k osobnímu převzetí Tachov, Planá, Mariánské Lázně.

Objevte dokonalost a ještě dnes můžete mít Arduino u sebe, poštou expedujeme 24hodin (zpravidla druhý den u Vás).

! Připravuje od září 2015 jednoduchý eshop s Arduino a Raspberry Pi !

Školení!

Pro zájemce, jednotlivce i skupiny nabízíme možnost zaškolení do platformy Arduino, krátký praktický workshop Vám pomůže objevit kouzlo chytré elektroniky.

! Připravuje pro Vás jednoduché start-up video jak rychle začít s Arduino platformou !

UNO R3 ATMEGA328 kompatibilní s Arduino.

Arduino UNO R3 kompatibilní hardware.
Arduino UNO R3 kompatibilní hardware.

Cena: 199Kč/ks

Možnost osobního odběru Tachov, Planá, Mariánské Lázně nebo poštou pro přespolní za přijatelných 40Kč.

Jak objednat Arduino?

  • Stačí nás kontaktovat kontaktovat přes jednatele (František Havel), způsob je na Vás, telefon, email, facebook, twitter, zbytek zařídíme.

Součástí balení

  • 1x USB kabel pro připojení
  • pinové lišty pro možnost osazení Arduino do DPS (desky plošného spoje)

Hardware

  • 14x digitálních vstupů/výstupů
  • 6x PWM výstup
  • 6x analog vstupů
  • Krystal 12MHz
  • 5V logika!
  • Připojení k PC přes USB, programování, napájení
  • Napájení 6-20V (externí adaptér, doporučeno 7-12V)
  • Paměť 32 KB Flash pro
  • RAM(SRAM) 2 KB
  • EEPROM 1 KB
  • Rozměry: 68.6 mm x 53.4 mm
  • Váha: 25g
  • Programování ArduinoIDE/Wire/C/C++
  • Podpora pro Windows, Mac, Linux (čip CH340G)
  • Možnost použít jako programátor pro AVR µCPU
  • Bohaté rozšíření pomocí shieldů
  • Vhodné pro výuku, prototypování, rychlý vývoj, automatizaci

Expedujeme Arduino k Vám

Arduino UNO + příslušenství připravené k předání/odeslání
Arduino UNO + příslušenství připravené k předání/odeslání

 

SMTP-CLI: Nadupaný řádkový SMTP klient pro Vaše skripty

Hledáte řádkově orientovaný, jednoduchý a přitom schopný nástroj pro odesílání emailů z Vašich skriptů?

Zkuste smtp-cli, autorem je tuzemský vývojář Michal Ludvig (logix).

SMTP-CLI (smtp-client, smtp-command line interface) je smtp klient/nástroj napsaný v jazyce Perl (jeden samostatný soubor, ~ 30kb) s podporou pro:

  • STARTSSL, SMTP-AUTH
  • IPv4, IPv6
  • plaintext zprávy, html zprávy
  • přílohy, inline obrázky, mime-type
  • charset, text-encoding
  • načítání dat ze souborů
  • skriptovatelný
  • debug, testování SMTP

Instalaci,popis nasazení, ukázky nejlépe popisují přímo stránky smtp-cli a github.

http://www.logix.cz/michal/devel/smtp-cli/
https://github.com/mludvig/smtp-cli

Podpořte autora skrz Paypal.

Dnes to bylo rychlé, díky za Váš čas. František Havel