{"id":1458,"date":"2025-07-05T03:25:21","date_gmt":"2025-07-05T03:25:21","guid":{"rendered":"https:\/\/aicloud.mygptmeta.com\/archives\/1458"},"modified":"2025-07-05T03:25:21","modified_gmt":"2025-07-05T03:25:21","slug":"songgeneration%ef%bc%9a%e5%bc%80%e5%90%afai%e9%9f%b3%e4%b9%90%e5%88%9b%e4%bd%9c%e6%96%b0%e6%97%b6%e4%bb%a3%e7%9a%84%e5%bc%80%e6%ba%90%e5%88%a9%e5%99%a8","status":"publish","type":"post","link":"https:\/\/aicloud.mygptmeta.com\/pt\/archives\/1458","title":{"rendered":"SongGeneration: a ferramenta de c\u00f3digo aberto que inaugura uma nova era de cria\u00e7\u00e3o musical com IA"},"content":{"rendered":"

Um novo marco na cria\u00e7\u00e3o de m\u00fasica com IA<\/h2>\n\n\n\n

Com o r\u00e1pido desenvolvimento da tecnologia de intelig\u00eancia artificial, o campo da cria\u00e7\u00e3o musical est\u00e1 a sofrer uma mudan\u00e7a sem precedentes. Recentemente, o Tencent AI Lab lan\u00e7ou um modelo de gera\u00e7\u00e3o de m\u00fasica de c\u00f3digo aberto chamado SongGeneration, uma inova\u00e7\u00e3o que fornece um forte apoio t\u00e9cnico \u00e0 vis\u00e3o de \"toda a gente pode criar m\u00fasica\".<\/p>\n\n\n\n

A cria\u00e7\u00e3o musical tradicional requer muitas vezes conhecimentos musicais profissionais e equipamento dispendioso, e o aparecimento do SongGeneration veio quebrar completamente estes limites. O modelo n\u00e3o s\u00f3 \u00e9 capaz de gerar composi\u00e7\u00f5es musicais de alta qualidade, mas, mais importante ainda, est\u00e1 aberto a toda a sociedade sob a forma de c\u00f3digo aberto, para que qualquer utilizador comum possa experimentar o encanto da cria\u00e7\u00e3o musical assistida por IA.<\/p>\n\n\n\n

Tendo como pano de fundo os actuais desafios comuns de desempenho de baixa qualidade de som, falta de musicalidade e velocidade de gera\u00e7\u00e3o lenta na tecnologia de gera\u00e7\u00e3o de m\u00fasica, o SongGeneration resolveu com sucesso estes problemas-chave atrav\u00e9s da sua inovadora arquitetura t\u00e9cnica e metodologia de forma\u00e7\u00e3o, estabelecendo uma nova refer\u00eancia para o campo da IA musical.<\/p>\n\n\n\n

Endere\u00e7o de experi\u00eancia do modelo SongGeneration:https:\/\/huggingface.co\/spaces\/tencent\/SongGeneration<\/a><\/p>\n\n\n\n

Funcionalidades poderosas que colocam a cria\u00e7\u00e3o de m\u00fasica na ponta dos seus dedos<\/h2>\n\n\n\n

O SongGeneration est\u00e1 equipado com quatro carater\u00edsticas principais, cada uma das quais demonstra a sua proeza tecnol\u00f3gica no dom\u00ednio da cria\u00e7\u00e3o de m\u00fasica:<\/p>\n\n\n\n

Controlo de texto inteligente<\/h3>\n\n\n\n

Os utilizadores s\u00f3 precisam de introduzir uma combina\u00e7\u00e3o simples de palavras-chave para gerar uma pe\u00e7a de m\u00fasica completa que corresponda ao estilo e \u00e0 disposi\u00e7\u00e3o pretendidos. Por exemplo, quando o utilizador introduz \"happy pop\", o sistema cria automaticamente uma can\u00e7\u00e3o pop com um ambiente alegre; quando o utilizador introduz \"intense rock\", gera uma pe\u00e7a de rock com um ritmo forte. Esta intera\u00e7\u00e3o intuitiva torna a cria\u00e7\u00e3o de m\u00fasica mais f\u00e1cil do que nunca.<\/p>\n\n\n\n

Estilo de precis\u00e3o seguinte<\/h3>\n\n\n\n

Esta funcionalidade permite aos utilizadores carregar um clip de \u00e1udio de refer\u00eancia de 10 segundos ou mais, que o SongGeneration analisa em profundidade e gera uma nova pe\u00e7a de m\u00fasica com um elevado grau de consist\u00eancia. Quer se trate de pop, rock, chin\u00eas ou qualquer um dos v\u00e1rios estilos \"sagrados\", o modelo consegue captar e reproduzir com exatid\u00e3o a sua ess\u00eancia, assegurando simultaneamente que a m\u00fasica rec\u00e9m-gerada tem uma boa musicalidade.<\/p>\n\n\n\n

Tecnologia de gera\u00e7\u00e3o multi-\u00f3rbita<\/h3>\n\n\n\n

O SongGeneration gera automaticamente faixas vocais e de apoio separadas, uma carater\u00edstica de grande import\u00e2ncia para a produ\u00e7\u00e3o musical. O sistema assegura um elevado grau de correspond\u00eancia mel\u00f3dica, estrutural, r\u00edtmica e orquestral, o que facilita grandemente a edi\u00e7\u00e3o e mistura de m\u00fasica ap\u00f3s a produ\u00e7\u00e3o.<\/p>\n\n\n\n

Capacidade de clonagem de tons<\/h3>\n\n\n\n

O seguimento de tons baseado em refer\u00eancias permite ao SongGeneration gerar actua\u00e7\u00f5es vocais que s\u00e3o \"clones de tons\". As can\u00e7\u00f5es resultantes n\u00e3o s\u00f3 soam muito semelhantes ao \u00e1udio de refer\u00eancia, como tamb\u00e9m mant\u00eam um som natural e uma qualidade de som excecional, para al\u00e9m de serem emocionalmente expressivas.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n
\"\"<\/figure>\n\n\n\n

Arquitetura tecnol\u00f3gica revolucion\u00e1ria e avan\u00e7os inovadores<\/h2>\n\n\n\n

A arquitetura t\u00e9cnica do SongGeneration consiste em dois componentes principais, o pipeline de processamento de dados e o modelo generativo, e alcan\u00e7a um desempenho superior atrav\u00e9s de uma s\u00e9rie de tecnologias inovadoras.<\/p>\n\n\n\n

Pipeline de processamento de dados<\/h3>\n\n\n\n

O modelo constr\u00f3i um sistema completo de processamento de dados musicais que integra v\u00e1rios m\u00f3dulos-chave, como a separa\u00e7\u00e3o \u00e1udio-acompanhamento, a an\u00e1lise da estrutura e o reconhecimento das letras. Atrav\u00e9s deste processo, o sistema \u00e9 capaz de extrair com precis\u00e3o a informa\u00e7\u00e3o da letra do \u00e1udio em bruto e, ao mesmo tempo, obter dados rotulados importantes, como a estrutura da m\u00fasica, o tipo de g\u00e9nero, o n\u00edvel de qualidade do som, etc., o que fornece uma base de dados de alta qualidade para o treino subsequente do modelo.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Codecs de taxa de bits ultrabaixa<\/h3>\n\n\n\n

A SongGeneration alcan\u00e7ou um grande avan\u00e7o no dom\u00ednio dos codecs de m\u00fasica ao desenvolver o codec de m\u00fasica de alta qualidade de 48kHz de canal duplo com a taxa de bits mais baixa da ind\u00fastria para modela\u00e7\u00e3o de c\u00f3digo aberto. O codec alcan\u00e7a os melhores resultados de reconstru\u00e7\u00e3o musical atualmente dispon\u00edveis a uma taxa de bits muito baixa de apenas 25Hz e 0,35kbps, reduzindo significativamente a carga de modela\u00e7\u00e3o dos modelos lingu\u00edsticos.<\/p>\n\n\n\n

O sistema foi concebido com dois modos de codifica\u00e7\u00e3o, H\u00edbrido e Duplo: os modos H\u00edbridos unificam a modela\u00e7\u00e3o dos vocais e dos backing vocals para garantir que s\u00e3o harmoniosamente coerentes, enquanto os modos Duplos s\u00e3o modelados independentemente uns dos outros para dar uma imagem mais clara dos detalhes.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Previs\u00e3o paralela de tokens multi-classe<\/h3>\n\n\n\n

O modelo \u00e9 pioneiro numa estrat\u00e9gia de previs\u00e3o paralela de \"mix first, double-track second\" para m\u00faltiplas categorias de tokens. Em primeiro lugar, o modelo de linguagem prev\u00ea tokens h\u00edbridos para orientar a disposi\u00e7\u00e3o geral da informa\u00e7\u00e3o estrutural de alto n\u00edvel, como a melodia e o ritmo, e, em seguida, o descodificador auto-regressivo alargado modela os tokens de duas faixas para captar as varia\u00e7\u00f5es finas das vozes e das vozes de apoio. Esta conce\u00e7\u00e3o permite uma previs\u00e3o paralela sem aumentar significativamente o comprimento da sequ\u00eancia e evita a interfer\u00eancia m\u00fatua entre tokens.<\/p>\n\n\n\n

Alinhamento multidimensional das prefer\u00eancias humanas<\/h3>\n\n\n\n

O SongGeneration \u00e9 o primeiro grande modelo de gera\u00e7\u00e3o de m\u00fasica do sector que alinha as prefer\u00eancias humanas multidimensionais, centrando-se em tr\u00eas dimens\u00f5es: prefer\u00eancia pela musicalidade, prefer\u00eancia pelo alinhamento das letras e prefer\u00eancia pela consist\u00eancia das sugest\u00f5es:<\/p>\n\n\n\n

Tipo de prefer\u00eancia<\/th>M\u00e9todos de constru\u00e7\u00e3o<\/th>efeito<\/th><\/tr><\/thead>
prefer\u00eancia musical<\/td>Treinar modelos de recompensa com uma pequena quantidade de dados de pontua\u00e7\u00e3o rotulados manualmente<\/td>Melhorar a arte e a experi\u00eancia auditiva de gerar m\u00fasica<\/td><\/tr>
Prefer\u00eancias de alinhamento das letras<\/td>C\u00e1lculo do n\u00famero de erros de fonemas utilizando um modelo ASR pr\u00e9-treinado<\/td>Assegurar que a letra da m\u00fasica corresponde exatamente ao que est\u00e1 a ser cantado<\/td><\/tr>
Prefer\u00eancias de consist\u00eancia das pistas<\/td>C\u00e1lculo da semelhan\u00e7a entre texto e \u00e1udio pelo MuQ-MuLan<\/td>Melhoria da conformidade do modelo com as instru\u00e7\u00f5es do utilizador<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

Paradigma de forma\u00e7\u00e3o em tr\u00eas fases<\/h3>\n\n\n\n

O modelo adopta uma estrat\u00e9gia inovadora de treino em tr\u00eas fases: a fase de pr\u00e9-treino centra-se no alinhamento modal de diferentes entradas condicionais com representa\u00e7\u00f5es musicais; a fase de treino de extens\u00e3o modular treina m\u00f3dulos de extens\u00e3o para conseguir uma modela\u00e7\u00e3o paralela de tokens de duas pistas; e a fase de treino de alinhamento de prefer\u00eancias m\u00faltiplas integra as prefer\u00eancias humanas para otimizar o modelo no sentido de gerar m\u00fasica que corresponda \u00e0s prefer\u00eancias humanas.<\/p>\n\n\n\n