[PointPillars] MMdetection3D와 Kitti dataset 을 활용한 시도

https://github.com/zhulf0804/PointPillars

GitHub - zhulf0804/PointPillars: A Simple PointPillars PyTorch Implenmentation for 3D Lidar(KITTI) Detection.

 

엄밀히 말하면 MMdetection3D는 아니겠습니다.

원래는 MMdetection3D로 해보려 했는데, MMdetection3D의 패키지를 참조해 무척이나 쉽고 심플하게 구현했다고 하는 깃허브가 있어 이거로 해보려 하는 중 입니다.

 

Dataset

kitti
    |- training
        |- calib (#7481 .txt)
        |- image_2 (#7481 .png)
        |- label_2 (#7481 .txt)
        |- velodyne (#7481 .bin)
    |- testing
        |- calib (#7518 .txt)
        |- image_2 (#7518 .png)
        |- velodyne (#7418 .bin)

 

ISSUE

• compile 과정에서 에러 발생
  • fatal error: Python.h: No such file or directory
  • python3-dev 설치를 통해 해결.
  • https://callmescone.tistory.com/278
• train 과정에서 에러 발생
  • RuntimeError: Unable to find a valid cuDNN algorithm to run convolution
  • batch size를 6에서 4로 변경 후 해결.
  • https://velog.io/@hylee5642/Week-4-826-%EB%AA%A9-18%EC%9D%BC%EC%B0%A8-%ED%95%99%EC%8A%B5-%EC%A0%95%EB%A6%AC
• 현재 3d 데이터셋이 파악이 안되는 상황
  • 미해결

 

Inference

• 단일 이미지에 대한 inference
  • 왼쪽이 12번 학습한 결과 오른쪽이 160번 학습한 결과 입니다.
  • 파랑 : 자동차, 빨강 : 사람, 초록 : 자전거

오른쪽이 아무래도 상대적으로 더 잘 맞추는게 눈에 들어옵니다.

 

• 12번 epochs 한 결과

 

• 160번 epochs 한 결과

 

Evaluation

• 12번 epochs 에 대한 evaulation 결과

==========BBOX_2D==========
Pedestrian AP@0.5: 62.3826 59.2151 55.3635
Cyclist AP@0.5: 81.9855 70.2153 68.1186
Car AP@0.7: 90.7518 89.2172 86.8438
==========AOS==========
Pedestrian AOS@0.5: 38.9785 37.1477 34.5985
Cyclist AOS@0.5: 80.8186 67.0748 64.6423
Car AOS@0.7: 90.6161 88.6186 85.9201
==========BBOX_BEV==========
Pedestrian AP@0.5: 59.3245 54.1916 50.4645
Cyclist AP@0.5: 80.3786 64.0138 60.9641
Car AP@0.7: 89.9405 87.5176 85.5060
==========BBOX_3D==========
Pedestrian AP@0.5: 51.5515 45.9288 42.1583
Cyclist AP@0.5: 77.5950 60.9826 58.3813
Car AP@0.7: 86.1082 75.3617 68.3905

==========Overall==========
bbox_2d AP: 78.3733 72.8825 70.1086
AOS AP: 70.1377 64.2804 61.7203
bbox_bev AP: 76.5478 68.5743 65.6449
bbox_3d AP: 71.7516 60.7577 56.3100