Nan yon nouvo atik Point-E: Yon sistèm pou jenere nwaj pwen 3D soti nan siyal konplèks, ekip rechèch OpenAI a prezante Point E, yon sistèm sentèz kondisyonèl tèks nwaj pwen 3D ki sèvi ak modèl difizyon pou kreye fòm 3D varye ak konplèks kondwi pa tèks konplèks. siyal.an minit sou yon sèl GPU.
Pèfòmans etonan modèl dènye modèl jenerasyon imaj jodi a te ankouraje rechèch nan jenerasyon objè tèks 3D.Sepandan, kontrèman ak modèl 2D, ki ka jenere pwodiksyon an minit oswa menm segonn, modèl jeneratif objè tipikman mande pou plizyè èdtan nan travay GPU pou jenere yon sèl echantiyon.
Nan yon nouvo atik Point-E: Yon sistèm pou jenere nwaj pwen 3D soti nan siyal konplèks, ekip rechèch OpenAI la prezante Point·E, yon sistèm sentèz kondisyonèl tèks pou nwaj pwen 3D.Nouvo apwòch sa a sèvi ak yon modèl pwopagasyon pou kreye fòm 3D varye ak konplèks nan siyal tèks konplèks nan jis yon minit oswa de sou yon sèl GPU.
Ekip la konsantre sou defi konvèti tèks an 3D, ki enpòtan anpil pou demokratize kreyasyon kontni 3D pou aplikasyon pou mond reyèl la ki soti nan reyalite vityèl ak jwèt nan konsepsyon endistriyèl.Metòd ki egziste deja pou konvèti tèks nan 3D tonbe nan de kategori, chak nan yo ki gen dezavantaj li yo: 1) modèl jeneratif yo ka itilize jenere echantiyon yo avèk efikasite, men yo pa ka echèl avèk efikasite pou siyal tèks divès ak konplèks;2) yon modèl tèks-imaj pre-antrene pou okipe siyal tèks konplèks ak varye, men apwòch sa a entansif nan enfòmatik epi modèl la ka fasilman bloke nan minimòm lokal ki pa koresponn ak objè 3D ki gen sans oswa ki aderan.
Se poutèt sa, ekip la eksplore yon apwòch altènatif ki vize konbine fòs de apwòch ki anwo yo, lè l sèvi avèk yon modèl difizyon tèks-a-imaj ki resevwa fòmasyon sou yon seri gwo pè tèks-imaj (ki pèmèt li jere siyal divès ak konplèks) ak yon modèl difizyon imaj 3D ki fòme sou yon seri pi piti pè tèks-imaj.imaj-3D pè dataset.Modèl tèks-a-imaj la premye echantiyon imaj antre a pou kreye yon sèl reprezantasyon sentetik, epi modèl imaj-a-3D a kreye yon nwaj pwen 3D ki baze sou imaj la chwazi.
Pile jeneratif kòmandman an baze sou kad jeneratif ki fèk pwopoze pou jenere imaj kondisyonèl apati tèks (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Yo sèvi ak yon modèl GLIDE ki gen 3 milya paramèt GLIDE (Nichol et al., 2021), byen ajiste sou modèl 3D rann yo, kòm modèl transfòmasyon tèks-a-imaj yo, ak yon seri modèl difizyon ki jenere nyaj pwen RGB kòm yo. modèl transfòmasyon.imaj pou imaj.Modèl 3D.
Pandan ke travay anvan yo te itilize achitekti 3D pou trete nwaj pwen yo, chèchè yo te itilize yon modèl senp ki baze sou transducer (Vaswani et al., 2017) pou amelyore efikasite.Nan achitekti modèl difizyon yo, imaj nwaj pwen yo premye manje nan yon modèl ViT-L/14 CLIP pre-antrene epi apre sa may pwodiksyon yo manje nan konvètisè a kòm makè.
Nan etid anpirik yo a, ekip la te konpare metòd Point·E pwopoze a ak lòt modèl jeneratif 3D sou siyal ki bay nòt ki soti nan deteksyon objè COCO, segmantasyon ak siyati done.Rezilta yo konfime ke Point·E kapab jenere fòm 3D divès ak konplèks nan siyal tèks konplèks ak akselere tan enferans pa youn a de lòd nan grandè.Ekip la espere travay yo pral enspire plis rechèch sou sentèz tèks 3D.
Yon modèl pwopagasyon nwaj pwen ki deja antrene ak kòd evalyasyon ki disponib sou GitHub pwojè a.Dokiman Point-E: Yon sistèm pou kreye nwaj pwen 3D apati de endikasyon konplèks sou arXiv.
Nou konnen ke ou pa vle rate okenn nouvèl oswa dekouvèt syantifik.Abònman ak bilten popilè Synced Global AI Weekly nou an pou w resevwa mizajou AI chak semèn.
Tan pòs: 28-desanm 2022