A plataforma líder no mundo como a NVIDIA Jetson é uma sequência de placas de computação embarcadas que é usada principalmente em máquinas autônomas e outras aplicativos embutidos . Esta placa contém principalmente módulos Jetson, que são computadores de alto desempenho. O Jetson é adequado para software de IA semelhante e um fluxo de trabalho nativo da nuvem que é usado em outras plataformas NVIDIA e fornece desempenho com eficiência de energia para que os clientes criem máquinas autônomas baseadas em software. NVIDIA Jetson é usado para aplicações de visão computacional. Então, este artigo discute uma visão geral do NVIDIA Jetson – trabalhando e seus aplicativos.
O que é NVIDIA Jetson?
NVIDIA Jetson é um avançado sistema de incorporação placa que é usada para criar produtos inovadores de IA em vários setores. NVIDIA Jetson é uma das principais plataformas de hardware que é muito útil para entusiastas de tecnologia e também para estudantes para obter experiência prática por meio de uma variedade de projetos inovadores de IA. Esta placa é uma placa muito eficiente para IA, que inclui computadores de ponta modulares, de fator de forma pequeno e de alto desempenho. Além disso, esta placa também contém o JetPack SDK usado para aceleração de software, bem como um ecossistema completo para auxiliar no aumento do processo de desenvolvimento de projetos personalizados de IA.
Arquitetura NVIDIA Jetson
Sabemos que o módulo Nvidia Jetson da Nvidia é uma sequência de placas de computação embarcadas. Todos os modelos de Jetson TX1, TX2 e TK1 carregam um processador SoC ou Tegra da Nvidia que incorpora uma CPU de arquitetura ARM. Aqui, o Jetson é um sistema de baixo consumo de energia projetado principalmente para acelerar aplicativos de aprendizado de máquina.
A arquitetura NVIDIA Jetson Xavier NX é mostrada abaixo. É o supercomputador AI mais avançado e pequeno usado para dispositivos de computação de ponta, bem como robótica autônoma . Este módulo tem a capacidade de implantar desempenho de classe de servidor em um fator de forma sólido de 70 x 45 mm e também fornece até 21 TOPS de computação abaixo de 15 W de potência, caso contrário, até 14 TOPS de computação abaixo de 10 W.
O diagrama acima contém um NVIDIA Volta de 384 núcleos incorporado GPU incluindo uma CPU NVIDIA Carmel ARMv8.2 de 64 bits de 6 núcleos, 48 Tensor Cores, LPDDR4x de 8 GB e 128 bits, codificadores e decodificadores de vídeo 4K, mecanismos duplos NVDLA (NVIDIA Deep Learning Accelerator), câmera para até seis vídeos instantâneos de alta resolução fluxos de sensor, Display Port duplo ou monitores HDMI 4K, expansão PCIe Geração 3, USB 3.1 e GPIOs com barramento I2C, SPI, I2S, UART e CAN.
As especificações do NVIDIA Jetson incluem o seguinte.
- A potência é modos de 10W ou 15W e entrada de 5V.
- A CPU é NVIDIA Carmel de 64 bits ARMv 8.2 de 6 núcleos a 1400MHz.
- A GPU é NVIDIA Volta de 384 núcleos a 1100MHz por meio de 48 Tensor Cores.
- DL são motores NVDLA duplos.
- A memória é LPDDR4x de 8 GB e 128 bits a 1600 MHz.
- 16 GB de armazenamento eMMC 5.1.
- A câmera é 12x MIPI CSI-2 pistas | Câmeras 3×4 ou 6×2.
- Até 6 câmeras (36 via canais virtuais).
- Térmicas de -25°C a 90°C.
- A tela é DP 1.4 ou eDP 1.4 ou HDMI 2.0 a/b a 4Kp60.
- Ethernet é 10 ou 100 ou 1000 BASE-T Ethernet.
- USB 3.1 e USB 2.0.
Este módulo é suportado por toda a pilha de software CUDA-X da NVIDIA e também pelo JetPack SDK para desenvolvimento de IA. Ele executa estruturas de aprendizado de máquina muito populares e DNNs difíceis em vários fluxos de sensores de alta resolução ao mesmo tempo, além de visão computacional em tempo real, gráficos e aplicativos multimídia em um ambiente Linux de desktop completo.
No momento, os desenvolvedores começaram a projetar aplicativos de IA para o Jetson Xavier NX com a ajuda do Jetson AGX Xavier Developer Kit. A aplicação de um patch de padrão de dispositivo próximo ao JetPack fará com que o dispositivo funcione como um Jetson Xavier NX. Isso modificará o número de núcleos de GPU e CPU obtidos por meio de software e definirá as frequências de clock, bem como as tensões dos núcleos no sistema.
O patch é completamente reversível, o que é utilizado para aproximar o desempenho do Jetson Xavier NX. Este módulo classificará modos de energia padrão de 10W e 15W atingindo entre 14 e 21 TOPS de desempenho máximo com base no modo ativo. A ferramenta nvpmodel é usada para lidar com perfis de energia para ajustar as frequências CLK mais altas para GPU, CPU, diversos relógios SoC e controlador de memória junto com os vários clusters de CPU.
Com base na carga de trabalho, o governador DVFS (Dynamic Voltage & Frequency Scaling) equilibra as frequências em tempo de execução até seus limites mais altos, conforme descrito pelo modelo nvp ativo, portanto, a utilização de energia é reduzida no modo inativo e com base na operação do processador. A ferramenta nvpmodel ajuda a criar e modificar novos modos de energia com base no TDP e nos requisitos do aplicativo.
O módulo NVIDIA Jetson leva o desempenho do supercomputador ao limite em um SOM (system-on-module) de fator de forma pequeno. Igual a 21 TOPS de computação acelerada envia a potência para executar redes neurais atuais em paralelo e processar dados de vários sensores de alta resolução. Este módulo é ideal para sistemas de IA baseados em alto desempenho, como instrumentos médicos, robôs comerciais, sistemas integrados AIoT, câmeras inteligentes, inspeção óptica automatizada, sensores de alta resolução, fábricas inteligentes, etc.
Programas
O módulo NVIDIA Jetson é simplesmente suportado por meio de arquiteturas de software combinadas, de modo que facilitará muito o trabalho dos desenvolvedores de software. Essa abordagem combinada simplesmente poupa o desenvolvedor do incômodo de codificação repetitiva, melhorando suas formações em outros módulos Jetson.
O NVIDIA JetPack SDK está disponível com um sistema operacional Linux, bibliotecas e APIs aceleradas CUDA-X para diferentes campos de aprendizado de máquina, como visão computacional, aprendizado profundo etc. bibliotecas.
NVIDIA Jetson oferece diferentes ferramentas de software para seus módulos que são discutidos abaixo.
NVIDIA JetPack SDK
Pacotes de software da plataforma Jetson como TensorRT, CUDA Toolkit, cuDNN, GStreamer, OpenCV e Visionworks são todos montados sobre o L4T por meio do kernel Linux LTS.
Pacote de driver NVIDIA Jetson Linux
Ele fornece o kernel Linux, drivers NVIDIA, bootloader, sistema de arquivos de amostra, utilitários flash e muito mais para a plataforma Jetson.
NVIDIA DeepStream SDK
É um conjunto de APIs e bibliotecas para ajudar os desenvolvedores a projetar e organizar soluções fortes de IVA (análise inteligente de vídeo) na plataforma Jetson. É usado para construir aplicações complexas como codificação, captura de imagem, decodificação, inferência com TensorRT, etc.
NVIDIA Isaac SDK
É um conjunto de bibliotecas, APIs, drivers e outras ferramentas que adicionarão IA aos robôs de próxima geração para navegação, percepção e manipulação. Portanto, ajuda na criação e implantação de robótica com tecnologia de IA.
Tipos de NVIDIA Jetson
O módulo NVIDIA Jetson vem com memória, GPU, CPU, interfaces de alta velocidade, gerenciamento de energia, etc. Esses módulos estão disponíveis em diferentes desempenhos, eficiência de energia e variações de formatos para torná-los utilizados em vários setores. Existem diferentes dispositivos NVIDIA Jetson disponíveis que são discutidos abaixo.
NVIDIA Jetson Nano
O módulo NVIDIA Jetson Nano é adequado para desenvolvedores ou estudantes e também para iniciantes porque foi projetado principalmente para aprendizado e ensino práticos. O tamanho deste módulo é pequeno, no entanto, sua eficiência de energia e desempenho são altos para torná-lo perfeito para executar várias redes neurais paralelas, cargas de trabalho de IA e processamento de dados de sensores de alta resolução ao mesmo tempo. Assim, o módulo Jetson Nano é um dispositivo de borda muito popular usado para criar produtos e soluções de IA incorporados.
Este módulo é perfeito para aplicativos de visão computacional baseados em AI e executa tarefas de visão AI, como detecção de objetos, segmentação de imagens, classificação de imagens, etc. Este módulo é muito compatível com software de visão computacional de código aberto e bibliotecas de aprendizado de máquina OpenCV.
NVIDIA Jetson Série TX2
O módulo NVIDIA Jetson TX2 Series foi projetado no tamanho de um cartão de crédito. Os recursos deste módulo incluem principalmente uma GPU NVIDIA Pascal, até 8 GB de memória, 59,7 GB/s de largura de banda de memória e interfaces de hardware padrão. Este módulo oferece desempenho de até 2,5 vezes em comparação com o módulo NVIDIA Jetson Nano.
Este módulo executa com muita eficiência redes neurais profundas em dispositivos de ponta para obter maior precisão. Os módulos disponíveis na série incluem principalmente Jetson TX2 4GB, Jetson TX2i, Jetson TX2 e Jetson TX2 NX. O módulo NVIDIA Jetson TX2 NX simplesmente compartilha compatibilidade de pinos e fator de forma por meio do Jetson Xavier NX e do Jetson Nano.
Os três módulos restantes compartilharão o fator de forma do módulo Jetson TX2 original. O uso da série TX2 simplesmente varia em vários setores, como agricultura, manufatura, ciências biológicas, varejo, etc. O módulo Jetson TX2i dos módulos restantes é mais adequado para dispositivos de IA de alto desempenho, como equipamentos médicos, câmeras de visão de máquina e robôs industriais porque de seu design forte.
Este módulo é um dispositivo de computação AI incorporado muito rápido que oferece alta eficiência de energia como 7,5 W, recursos de supercomputador principalmente para dispositivos de ponta AI e também várias interfaces de hardware para incorporar facilmente em diferentes produtos e fatores de forma.
NVIDIA Jetson Xavier NX
O módulo NVIDIA Jetson Xavier NX é muito pequeno em comparação com um cartão de crédito com alto desempenho e eficiência de energia. Também é conhecido como o menor supercomputador de IA para sistemas integrados e de ponta do mundo. Este módulo ajuda especialmente na execução de sistemas de IA completos.
Os recursos do Jetson Xavier NX também oferecem suporte a tecnologias nativas da nuvem, portanto, é fácil para os desenvolvedores atualizar e gerenciar produtos de IA. Este módulo suporta todos os modelos e estruturas populares de IA. Portanto, este módulo se adapta completamente a sistemas de IA de alto desempenho, como câmeras inteligentes, sistemas de visão de alta resolução alimentados por IA, drones, robôs comerciais ou equipamentos médicos.
O módulo NVIDIA Jetson Xavier NX oferece 21 operações Tera por segundo ou TOPS para executar uma carga de trabalho de IA atual consumindo 10 W de energia. O fator de forma deste módulo é mais compacto em comparação com um cartão de crédito. O módulo Xavier NX executa várias redes neurais ao mesmo tempo e processa dados de diferentes sensores de alta resolução. Este tipo de módulo é usado para projetar aplicativos para dispositivos de computação embarcados e de borda que precisam de alto desempenho, embora com restrições significativas de peso, tamanho e energia.
Série NVIDIA Jetson AGX Xavier
O módulo NVIDIA Jetson AGX Xavier Series é desenvolvido principalmente para máquinas inteligentes autônomas de próxima geração. Este módulo oferece até 32 TOPS ou Tera Operations per Second de desempenho de IA ao usar apenas 10 watts. O desenvolvedor de software pode simplesmente organizar redes neurais rapidamente com um conjunto de ferramentas de software AI da NVIDIA.
Este módulo fornece várias especificações e recursos de segurança funcional para que os desenvolvedores criem produtos com certificação industrial ou de segurança. O alto desempenho deste módulo pode torná-los apropriados para várias máquinas autônomas, como robôs logísticos e industriais, sistemas de fábrica e grandes drones.
Jetson Xavier NX Developer Kit
O kit de desenvolvedor jetson xavier nx inclui um módulo Xavier NX sólido e eficiente em termos de energia, usado para dispositivos de ponta alimentados por IA. Este módulo possui alguns recursos como suporte nativo da nuvem e acelera a pilha de software NVIDIA em apenas 10 W com desempenho 10 vezes superior ao do Jetson TX2. Este kit de desenvolvedor é usado por fabricantes de máquinas inteligentes, startups de IA e desenvolvedores de aplicativos para projetar produtos modernos com inferência de IA compacta e altamente precisa e fator de forma com baixo consumo de energia.
Jetson AGX Xavier Industrial
O módulo Jetson AGX Xavier Industrial faz parte da série AGX Xavier. O design deste módulo é um fator de forma compatível com pinos que controla os modelos de IA mais atuais em aplicações exigentes. Este módulo fornece vibração estendida, choque, especificações de temperatura, recursos avançados de segurança, até 4 vezes a memória e 20 vezes o desempenho do módulo TX2i.
Este módulo é muito útil para designers projetarem automação, robótica e outros produtos inteligentes. Além disso, também projeta produtos robustos e com certificação de segurança para oferecer alto desempenho para aplicativos funcionais e de segurança integrados à IA industrial em um design robusto e com fator de forma eficiente em termos de energia.
Vantagens
O vantagens do NVIDIA Jetson inclui o seguinte.
- NVIDIA Jetson é apropriado para estudantes, desenvolvedores individuais e diferentes organizações.
- A Plataforma Jetson é muito popular porque vem com vários benefícios, como flexibilidade modular, software unificado e suporte para tecnologias nativas da nuvem.
- Esta placa fornece um conjunto de módulos que são muito úteis para tudo, desde aplicativos básicos de IA até dispositivos muito complexos alimentados por IA.
- Esta placa é acionada por uma arquitetura de software unificada que ajuda os desenvolvedores na codificação repetitiva. Uma vez que eles precisam de capacidade AI/ML, eles podem incluir um módulo Jetson relacionado ao dispositivo e ele cuida do trabalho pesado.
- A plataforma NVIDIA Jetson simplesmente oferece suporte a tecnologias e fluxos de trabalho nativos da nuvem, como orquestração e conteinerização, proporcionando aos desenvolvedores a capacidade de desenvolver rapidamente e expandir produtos de IA.
- O NVIDIA JetPack SDK está disponível com sistema operacional Linux, APIs e bibliotecas de aceleração CUDA-X para uma variedade de domínios de aprendizado de máquina, como visão computacional e aprendizado profundo. Ele também fornece suporte para estruturas de aprendizado de máquina como Caffe e Keras, bibliotecas TensorFlow e OpenCV de visão computacional.
Desvantagens
Tem muito poucas desvantagens ao levar em consideração o preço
- O módulo NVIDIA Jetson nano não está disponível com wi-fi interno.
- O módulo NVIDIA Jetson nano inclui apenas dois pinos PWM na placa.
Formulários
Os aplicativos do NVIDIA Jetson incluem o seguinte.
- O módulo NVIDIA Jetson oferece sistemas de incorporação superiores que são usados para criar produtos de IA para uma variedade de cenários. Este é um módulo com baixo consumo de energia usado para IA que inclui computadores de borda de alto desempenho, modulares e de fator de forma pequeno.
- As placas Nvidia Jetson são projetadas principalmente para uso em sistemas embarcados como drones, robôs e outros dispositivos que precisam de processamento poderoso em um formato pequeno. As aplicações comuns das placas Jetson incluem principalmente dispositivos médicos, veículos autônomos, sinalização digital, headsets AR/VR, aplicativos de cidades inteligentes, etc.
- Este módulo oferece suporte a arquiteturas de software unificadas para simplificar o trabalho dos desenvolvedores de software.
Os módulos e dispositivos NVIDIA Jetson são dispositivos otimizados usados para desenvolver sistemas Edge AI. - O NVIDIA Jetson Nano Developer Kit é um computador muito poderoso e pequeno que executa várias redes neurais em paralelo para vários aplicativos, como detecção de objetos, classificação de imagens, processamento e segmentação de fala.
- O módulo NVIDIA Jetson Nano é perfeito para aplicativos de visão computacional baseados em IA e eles executam tarefas de visão de IA, como segmentação de imagem, classificação de imagem, detecção de objetos, etc.
- Os módulos Nano da NVIDIA Jetson trazem novos recursos incríveis para milhares de sistemas de IA pequenos e com baixo consumo de energia
- O módulo NVIDIA Jetson Nano é compatível com bibliotecas de aprendizado de máquina OpenCV e software de visão computacional de código aberto.
Q). Qual é o consumo de energia dos módulos Jetson?
A). O consumo de energia do módulo Jetson varia dependendo do modelo e do uso. O módulo Jetson Xavier, por exemplo, tem um consumo de energia típico em torno de 15w a 30w, enquanto o Jetson TX2 pode consumir entre 7w a 15w.
Q). O Jetson pode ser usado para detecção e rastreamento de objetos em tempo real?
A). Sim, as plataformas Jetson podem lidar com detecção e rastreamento de visão. O módulo Nano é uma GPU de alto desempenho com plataforma de computação de ponta que pode ser usada principalmente para detecção, contagem e rastreamento.
Q). Com quais tipos de sensores o Jetson pode interagir?
A). Os sensores de visão são usados para interfacear o Jetson com várias interfaces de câmera, como USB, MIPI CSI e Ethernet. Eles também podem interagir com lidar, sensor ultrassônico e outros tipos, bem como usar diferentes tipos de interface como I2C, SPI etc.
Q). Qual é a diferença entre Jetson e Raspberry Pi?
A). A principal diferença entre essas duas placas é; O NVIDIA Jetson foi desenvolvido para lidar com tarefas de IA e visão computacional altamente exigentes, enquanto a placa Raspberry Pi 4 tem GPU multimídia baseada em baixo consumo de energia usada para educação e computação de uso geral. O Jetson pode ser usado para recursos mais avançados, como decodificação e codificação de vídeo aceleradas por hardware usando sua poderosa GPU (unidade de processamento gráfico) e CPU (unidade central de processamento).
Q). O Jetson pode ser usado para aplicações de robótica autônoma?
A). A robótica autônoma e a industrial de amanhã serão impulsionadas por meio da NVIDIA Jetson para máquinas e robótica inteligentes.
Assim, este é uma visão geral do NVIDIA Jetson – vantagens e suas aplicações. Este módulo é a plataforma líder em todo o mundo usada por desenvolvedores para criar produtos avançados de IA em todos os setores. Esses módulos também são usados por alunos e entusiastas para obter experiência prática no aprendizado de IA para criar projetos incríveis. A plataforma da Jetson compreende principalmente pequenos kits de desenvolvimento e módulos de produção com baixo consumo de energia. Aqui está uma pergunta para você, o que é NVIDIA?
