Um novo marco na tecnologia de geração 3D
Recentemente, a equipa Mixed Yuan da Tencent voltou a fazer um grande avanço no campo da geração 3D ao lançar o novo modelo Hunyuan3D-PolyGen. Este modelo é considerado o primeiro modelo de grandes dimensões gerado em 3D da indústria a atingir padrões de nível artístico, o que não só realiza uma série de inovações a nível técnico, mas, mais importante ainda, mostra um grande valor comercial na aplicação prática. Segundo se sabe, o modelo foi utilizado pela equipa interna de desenvolvimento de jogos da Tencent, melhorando significativamente a eficiência dos artistas.
Em comparação com os modelos 3D tradicionais gerados, a maior caraterística do Hunyuan3D-PolyGen é a sua capacidade de gerar modelos 3D que cumprem os padrões artísticos profissionais. Isto significa que os modelos gerados não são apenas visualmente agradáveis, mas, mais importante, as especificações técnicas podem ser diretamente aplicadas a cenários profissionais, como o desenvolvimento de jogos e a produção de filmes e televisão.
Inovação tecnológica que ultrapassa os condicionalismos tradicionais
Conceitos de conceção para aplicações práticas
O Hunyuan3D-PolyGen foi concebido com um objetivo claro em mente: os modelos 3D gerados devem ser diretamente utilizáveis em projectos reais. Para tal, a equipa centrou-se em três questões fundamentais:
| Indicadores técnicos | Problemas com os métodos tradicionais | Soluções PolyGen |
|---|---|---|
| Número de superfícies de controlo | Demasiados rostos, afectando a renderização em tempo real | Controlo inteligente do número de superfícies para responder às necessidades do jogo |
| Qualidade da cablagem | A cablagem é confusa e difícil de editar na publicação | Gerar topologias regulares e eficientes |
| modelação | Modelação integral, inconveniente para modificações locais | Suporta a conceção de arquitetura por componentes |
Principais avanços tecnológicos
As inovações tecnológicas mais notáveis do modelo situam-se em dois domínios. A primeira é a melhoria significativa da capacidade de modelar geometrias complexas; o modelo é capaz de lidar com objectos complexos com mais de 20.000 faces, o que é difícil de conseguir em métodos anteriores de geração 3D autoregressiva. A segunda é a melhoria da estabilidade da geração, que reduz significativamente a probabilidade de falha da geração através da introdução de uma estratégia de formação especializada.
Análise da arquitetura técnica
Quadro de geração de grelha auto-regressiva
O Hunyuan3D-PolyGen utiliza um processo de geração autoregressivo completo, e todo o processo pode ser dividido em três fases principais:
- Fase de Tokenização da RedeInformação de vértice e folha de rosto: Converte a informação de vértice e folha de rosto de uma malha 3D numa sequência de tokens que podem ser compreendidos pelo modelo
- Fase de geração inteligenteGeração passo-a-passo de sequências Token de treliça completas com base em dados de nuvens de pontos de entrada utilizando modelação auto-regressiva
- Fase de reconstrução estrutural: recodificar a sequência Token gerada numa estrutura de malha 3D normalizada
Inovações na tecnologia de compressão BPT
Para resolver o problema da elevada redundância de tokens nos métodos tradicionais, a equipa desenvolveu uma técnica de compressão denominada BPT (Blocked and Patchified Tokenization). Esta técnica consegue uma compressão significativa através de duas estratégias:
Otimização do índice de blocosO número de Token é reduzido diretamente em cerca de 33%: Ao dividir o espaço 3D numa estrutura de blocos regulares e ao converter a representação original das coordenadas (x,y,z) na forma de (ID do bloco, offset), o número de Token é reduzido diretamente em cerca de 33%.
Compressão combinada de folhas de massaO Token de cerca de 41% é comprimido através da identificação dos vértices partilhados de facetas vizinhas, combinando várias facetas numa estrutura de retalhos para representação.
Combinando estas duas técnicas, a BPT conseguiu reduzir o número de Token necessários para representar a mesma malha em 74%, permitindo ao modelo lidar com geometrias mais complexas.
Estratégias de otimização da aprendizagem reforçada
Para resolver o problema da baixa tolerância a falhas e da fraca estabilidade na geração de malhas 3D, a equipa introduziu um quadro de pós-treino de aprendizagem por reforço especialmente concebido. Esta estrutura utiliza várias métricas de qualidade da arte como sinais de recompensa, incluindo:
- Avaliação da regularidade da cablagem
- Controlo da coerência geométrica
- Verificação da integridade do painel frontal
- Racionalidade topológica
Desta forma, o modelo aprende a gerar não só estruturas 3D, mas, mais importante, estruturas de alta qualidade que cumprem as normas profissionais.
Comparação de efeitos
Introduzir o diagrama:
Efeito:
Introduzir o diagrama:
Efeito:
Introduzir o diagrama:
Efeito:
Verificação do efeito da aplicação prática
Feedback autêntico de uma equipa de profissionais
De acordo com o feedback da equipa interna de desenvolvimento de jogos da Tencent, o Hunyuan3D-PolyGen tem um bom desempenho em projectos reais. Esta melhoria da eficiência reflecte-se principalmente em dois aspectos: em primeiro lugar, um aumento significativo da velocidade de geração do modelo inicial e, em segundo lugar, uma redução significativa da carga de trabalho de edição e ajustes pós-produção.
Suporte de entrada versátil
O modelo apresenta uma excelente adaptabilidade e é capaz de lidar com muitos tipos de factores de produção:
- Imagem únicaGerar um modelo 3D completo diretamente a partir de uma imagem
- Imagens de visualização múltiplaSuporte para até quatro imagens de referência de diferentes ângulos
- Entrada de linhagerar estruturas 3D pormenorizadas mesmo a partir de simples desenhos de linhas
- descrição textualGeração de modelos 3D correspondentes diretamente a partir de descrições em linguagem natural
Vantagem da comparação de qualidade
Em comparação com os métodos existentes de retopologia e topologia de IA, o Hunyuan3D-PolyGen apresenta vantagens claras. Em particular, em termos de controlo de facetas, o modelo é capaz de reter mais detalhes do modelo utilizando menos facetas, o que é especialmente importante para o desenvolvimento de jogos que exigem um equilíbrio entre desempenho e qualidade.
Significado técnico e perspectivas futuras
Do ponto de vista do desenvolvimento tecnológico, o sucesso deste modelo fornece novas ideias para toda a indústria. Em particular, a sua inovação em algoritmos de compressão e aplicações de aprendizagem por reforço estabelece as bases para trabalhos de investigação subsequentes. Simultaneamente, o sucesso deste modelo na aplicação prática também constitui uma forte prova da aplicação profunda da tecnologia de IA na indústria criativa.
Atualmente, os utilizadores podem experimentar esta tecnologia através da plataforma Hunyuan3D da Tencent, que oferece 20 utilizações gratuitas por dia. Com a melhoria contínua da tecnologia e a expansão dos cenários de aplicação, temos razões para acreditar que as ferramentas de IA como a Hunyuan3D-PolyGen desempenharão um papel cada vez mais importante na futura criação de conteúdos digitais, trazendo mudanças revolucionárias a toda a indústria criativa.
Endereço da experiência:3d.hunyuan.tencent.com
