Rozdíl mezi odesíláním dat na servery třetích stran a provozem na vlastním železe definuje úroveň vaší bezpečnosti. V roce 2022 jsem pomáhal firmě v Ostravě, která omylem nahrála kompletní zákaznickou databázi do veřejného GPT modelu. Od té doby prosazuji striktní oddělení infrastruktury.
Zjistit výhody lokálního nasazení
Externí únik dat
Při lokálním běhu data nikdy neopustí vaši podnikovou síť LAN.
Minimum VRAM
Nutná kapacita grafické paměti pro plynulý chod 70B parametrů modelu.
Kontrola nad logy
Veškerá historie dotazů je uložena pouze na vašem šifrovaném disku.
„Pamatuji si na klienta ze Zlína, který provozoval vývojový tým a bál se o své zdrojové kódy,“ vyprávím často na školeních. Cloudové modely jsou sice rychlé na nasazení, ale postrádají fyzickou kontrolu nad datovým tokem. Lokální nasazení eliminuje riziko, že vaše citlivé údaje budou použity k trénování budoucích verzí veřejných modelů bez vašeho vědomí.
Využití techniky, kterou popisujeme v sekci Techniky anonymizace textových vstupů, je u lokálních modelů mnohem efektivnější, protože i v případě chyby v anonymizaci data zůstávají pod vaší správou. Je to jako mít vlastní trezor přímo v kanceláři místo pronájmu schránky v bance na druhém konci světa.
Pro efektivní provoz modelů jako Llama 3 nebo Mistral v lokálním prostředí potřebujete dedikované GPU. Doporučujeme karty s architekturou NVIDIA RTX s minimálně 24 GB VRAM pro středně velké modely. Procesor by měl disponovat alespoň 12 jádry pro rychlé zpracování systémových úloh.
Nastavení rozhraní →Na rozdíl od cloudu vyžaduje lokální řešení pravidelné aktualizace ovladačů a Docker kontejnerů. Je nutné zajistit chlazení a stabilní napájení, aby nedocházelo k výpadkům při dlouhých výpočetních cyklech. Tato investice se však vrací v podobě nulových poplatků za API dotazy.
Kontrolní seznam →Podívejte se na naše právní aspekty a GDPR, abyste pochopili, jak lokální modely usnadňují shodu s evropskou legislativou.
Prostudovat šifrování dat