Questo progetto sviluppato come task per Neural Networks in Sapienza è un’integrazione del paper sviluppato da Meta Ai CrossPoint: Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Understanding (CVPR’22) .
Il progetto consiste nell’apprendimento automatico delle caratteristiche degli oggetti usando un processo basato sul contrastive learning e usando il contributo di immagini 2D. Più dettagli nel paper.
Il contributo apportato consiste nella sperimentazione di altre combinazioni di modelli rispetto all’unica riportata nel paper (DGCNN e ResNet) e la reimplementazione del paper in Pytorch Lightning.
I modelli proposti sono :
- DGCNN + Vision Transfomer
- Point Cloud Transformer + Vision Transfomer
- Point Cloud Transformer + ResNet
Il codice è accessibile dal mio profilo github al link sul pulsante ‘Guarda’ oppure qui.