angrimi의 개발 기록지

Meta SAM3D 인테리어 시스템 개발 기록 (6) — UV 텍스처 베이킹 vs 버텍스 컬러, 사용자 평가, 논문 제출

angrimilog — Sun, 14 Jun 2026 18:17:30 +0900

이번 글에서 다룬 것

가구 복원이랑 방 구성까지 다 잡고 나서 마지막으로 해결해야 했던 게 색상 재현 방식이었다. UV 텍스처 베이킹이랑 버텍스 컬러 중 뭘 쓸지 결정해야 했는데, 막상 실험해 보니까 결과가 생각과 달랐다. 그리고 논문 제출까지 마무리한 내용을 정리한다.

UV 텍스처 베이킹 vs 버텍스 컬러

뭔 차이일까?

UV 텍스처 베이킹은 3D Gaussian Splatting을 100개 시점에서 렌더링 한 다음 그 결과를 UV 텍스처에 합산하는 방식이다. 메쉬 추출 이후에 별도의 렌더링 파이프라인이 돌아간다.

버텍스 컬러는 SAM3D의 메쉬 디코더(SLatMeshDecoder)가 색상을 직접 회귀하는 방식이다. 추가 렌더링 없이 네트워크 출력이 곧 색상이다.

코드를 파고들어보니 SAM3D 내부에서 SparseFeatures2Mesh의 _calc_layout() 메서드가 color 피처(48채널)를 FlexiCubes 메쉬 추출기에 voxelgrid_colors로 직접 전달해서 버텍스 색상을 결정하는 구조였다. 즉 버텍스 색상은 렌더링 투영이 아니라 end-to-end 학습된 신경망의 직접 출력이다.

처음엔 UV 텍스처 베이킹이 당연히 더 예쁠 거라 생각했다. 근데 막상 해보니까 달랐다.

버텍스 컬러 사용했을때! 색상도 잘 뽑히고 예쁘게 잘 나온듯 하다

UV 텍스처 베이킹 버전이다..

그리고 심지어 UV 텍스처 베이킹은 버텍스 컬러보다 시간이 엄청 오래 걸린다.

객체	복셀 수	UV 텍스처 베이킹	버텍스 컬	단축 배율
테이블	6,383	53초	32초	1.7배
문	10,322	58초	32초	1.8배
의자	26,910	2,550초	40초	64배
침대	21,826	5,243초	39초	134배

의자 2,550초... 약 42분이다. 복셀 수가 더 적은 침대가 의자보다 2배 이상 긴 것도 특이했다. UV 베이킹은 복셀 수뿐만 아니라 메쉬 형상 복잡도(UV 아일랜드 구성 방식)에도 크게 좌우되기 때문이다. 곡면이 많고 구조적 구성 요소가 복잡할수록 UV 아일랜드 수가 폭발적으로 늘어난다.
색상 품질도 버텍스 컬러가 더 안정적이었다. UV 베이킹은 단일 이미지 조건에서 미관측 표면(뒷면, 측면)에 대한 실제 색상 정보가 없어서 인접 표면 색상이 UV 아일랜드 경계를 넘어 번지는 color bleeding 현상이 발생했다. 버텍스 컬러는 그런 문제없이 일관된 색상이 나왔다.
처리 시간 안정성, 색상 품질, SAM3D 아키텍처 설계 의도와의 정합성을 종합해서 버텍스 컬러를 최종 채택했다.

그렇지만 나는 Meta가 SAM3D 사용할 때 UV 텍스처 베이킹으로 잘 만든다는 사실로 알고 있었다.
그럼 왜 우리는 안되지?... 궁금해서 여러 번 시도했지만 결국 이게 최선이었다.
클로드에게는 물어보니..

잘 알려주는 건 지 모르겠지만(?) 향후 연구에 참고해 봐야겠다...
우리가 nvdiffrast 대신 pytoch3d를 사용해서 그런가??... 둘 차이는 이렇다.

pytorch3d:

페이스북이 만든 3D 딥러닝 라이브러리
소프트 래스터라이저 기반
gradient가 근사값이라 UV 최적화 정확도가 낮음
설치 쉬움

nvdiffrast:

NVIDIA가 만든 미분 가능 래스터라이저
해석적 안티앨리어싱 기반
gradient가 정확해서 UV 최적화 품질이 높음
CUDA 직접 컴파일이라 설치 까다로움

여기가 의심되는데,,,, 다음 연구 때 시도 해봐야겠다.

사용자 평가 — 20명, 7점 만점에 6.33점

논문 제출 전에 사용자 평가를 진행했다. 사용자 20명들은 인테리어 비전공자들이며 20대 초중반 사람들이다. 20명한테 실제로 시스템 써보게 하고 7점 리커트 척도 10개 문항에 답하게 했다.
드래그앤드롭(6.60)이 제일 높았고 Occlusion 자동완성(6.45)이 표준편차 0.60으로 가장 낮은 편차를 보였다. 가려진 가구를 3D로 자동 완성해주는 기능에 대해서 평가자 간 이견 없이 일관되게 좋은 평가를 받았다는 거다.
주관식 응답으로는 "상용화를 기원합니다", "잘 만든 것 같아요" 같은 얘기도 나왔고, 처리 속도랑 세그멘테이션 오인식이 개선점으로 지적됐다. 솔직히 처리 속도는 나도 알고 있는 문제긴 하다...

논문 제출 후기

KCGS(한국컴퓨터그래픽스학회) 2026에 제출했다. 교수님이랑 계속 피드백 주고받으면서 v40까지 수정했다.
제일 힘들었던 건 실험이었다. 처리 시간 측정도 실제로 다 돌려보면서 재야 했고. 제대로 결과 값이 안 나올 때도 있었다.
최종 논문 주요 기여

LaMa + SD ControlNet(Canny) 2단계 빈방 재구성
SAM3D 실내 적용 탐색 + 한계 분석
카테고리별 다중 시드 선택 기준
UV 텍스처 베이킹 vs 버텍스 컬러 비교
사용자 평가 20명 (7점 만점 6.33점)

️ 향후 계획

처리 시간 단축 — 가구 1개당 35초가 한계다. 모델 경량화나 파이프라인 최적화가 필요하다.
SAM3D 방 재구성 — 이번에 한계를 확인했으니까 실내 특화 3D 복원 모델 방향으로 연구할 여지가 있다. MoGe depth 기반 평면 피팅 방식도 시도해 볼 만하다.
서비스 배포 — 지금은 로컬 GPU 서버에서만 돌아간다. 클라우드로 올리는 게 목표다.

길고 힘들었던 프로젝트였는데 학부생 신분으로 이 정도 시스템 만들고 논문까지 제출하고 나니까 뿌듯하다.
논문 제출하고 나서 이렇게 개발 과정을 글로 정리하는 시간이 생각보다 좋다. 개발할 때는 마감기한이 다가와서 시간이 없고 문제 해결에만 급급해서 왜 이런 선택을 했는지, 뭘 시도했는지 돌아볼 여유가 없었는데 글로 쓰다 보니 그때 했던 고민들이 다시 정리되는 느낌이다. nvdiffrast 같은 것도 논문 끝나고 나서야 여유롭게 알아볼 수 있게 됐고. 앞으로도 이런 시간을 꾸준히 가져야겠다.

Meta SAM3D 인테리어 시스템 개발 기록 (5) — SAM3D로 3D 방 만들기 도전!?

angrimilog — Sun, 7 Jun 2026 23:13:47 +0900

이번 글에서 다룬 것

가구 복원은 어느 정도 잡혔으니까 이제 방을 3D로 만들 차례였다. 근데 이게 진짜 오래 걸렸고 결국 포기했다. 그 과정을 솔직하게 기록한다.

왜 SAM3D로 방을 만들려 했냐

SAM3D를 방 전체에 적용해보면 어떨까 생각했다. 가구를 3D로 만드는 모델이니까 방도 하나의 객체로 보고 넣으면 실제 방 구조를 반영한 3D가 나오지 않을까 하는 기대였다.

그리고 아무도 시도한 사람이 없었다. SAM3D는 단일 객체용으로 설계된 거라 실내 씬에 적용한 사례 자체가 없었다. 하지만 시도해서 어떤 결과를 내는 지 궁금했고, 논문 기여가 될 수도 있겠다 싶었다.

SAM3D로 만들어본 방

뭘 시도했냐

1단계: 그냥 넣어봤다

빈방 이미지를 SAM3D에 통째로 넣었다. 마스크는 방 내부 전체 영역으로 잡았다.

결과는 예상대로 울퉁불퉁했다. 벽이 평평하지 않고, 바닥이 생기지 않고, 형태가 완전 뒤틀렸다.

근데 희망적인 건 벽 3개의 윤곽은 어느 정도 나왔다는 거였다. 완전 실패는 아니었다.

2단계: 후처리로 뭔가 해보려 했다

결과가 울퉁불퉁하면 후처리로 평평하게 만들면 되지 않을까 생각했다.

trimesh 후처리 적용:

# degenerate face 제거
face_mask = mesh_tri.area_faces > 1e-8
mesh_tri.update_faces(face_mask)

# 구멍 메우기
trimesh.repair.fill_holes(mesh_tri)

# Laplacian smoothing
trimesh.smoothing.filter_laplacian(mesh_tri, iterations=1, lamb=0.2)

_flatten_room_mesh 적용: 벽/바닥 vertex를 각 평면 방향으로 snap하는 함수를 만들었다. 바닥 근처 vertex는 y_min 쪽으로, 뒷벽 근처는 z_min 쪽으로 당기는 방식이다.

def _flatten_room_mesh(vertices_np, snap_strength=0.9, snap_zone=0.28):
    # 각 vertex를 가장 가까운 면(바닥/뒷벽/좌벽/우벽) 방향으로 snap
    d_floor = (v[:, 1] - y_min) / dy
    d_back  = (v[:, 2] - z_min) / dz
    d_left  = (v[:, 0] - x_min) / dx
    d_right = (x_max - v[:, 0]) / dx
    # snap_zone 안에 있는 vertex만 해당 면 쪽으로 당김
    ...

이렇게 하니까 확실히 벽이 더 평평해졌다. 근데 여전히 문제가 많았다.

3단계: 천장/앞벽 제거, 바닥 강제 추가

SAM3D 결과에서 천장이 생성되면 안으로 들어갔을 때 막혀 보이고, 앞벽이 생기면 내부가 안 보인다. 그래서 face center 기준으로 천장과 앞벽을 잘라냈다.
바닥은 아예 안 만들어지는 경우가 많았다. 그래서 바닥 커버리지를 체크해서 부족하면 강제로 평면을 추가했다.

# 바닥 커버리지 체크
floor_verts = vertices_np[y_arr <= (y_min + 0.15 * dy)]
coverage = (fx * fz) / (bx * bz + 1e-6)

if coverage < 0.4:  # 40% 미만이면 바닥 없는 거로 판단
    # 바닥 평면 강제 추가
    floor_verts = np.array([
        [x_min, y_min, z_min], [x_max, y_min, z_min],
        [x_max, y_min, z_max], [x_min, y_min, z_max],
    ])

4단계: 색상 입히기

SAM3D vertex color를 그대로 쓰면 창문, 문 색깔이 벽에 번져서 이상하게 나왔다. 그래서 빈방 이미지에서 직접 벽색/바닥색을 추출해서 단색으로 입혔다.

입력한 방 실험 사진

↓

SAM3D로 만든 방

근데 결국 안 됐다

후처리를 아무리 해도 근본적인 문제가 해결이 안 됐다.
SAM3D 학습 데이터: 볼록한 단일 객체 (소파, 의자 등)
우리 입력: 오목한 실내 공간 (방 전체)

SAM3D의 shape prior가 볼록한 물체로 학습돼 있다. 방은 반대로 안쪽이 열린 오목한 공간이다. 그러니까 SAM3D 입장에서 방을 볼록한 덩어리로 만들려고 하는 거고, 그게 울퉁불퉁하고 뒤틀린 결과로 나오는 거다.

후처리로 평면 snap을 아무리 해도 근본적으로 잘못 생성된 메쉬를 완전히 고칠 수는 없었다. 후처리를 해도 3D 메쉬가 랜덤으로 나와 결과가 잘 나올때도 있고 정말 이상하게 나올때도 있었다.

trimesh 후처리 ✅ (어느 정도 개선)
flatten snap ✅ (벽 평평하게)
천장/앞벽 제거 ⚠️ (너무 많이 자르면 벽도 같이 잘림)
바닥 강제 추가 ✅ (없을 때만)
색상 단색 적용 ✅

이렇게 시도를 해봤다. 그래도 결과물이 인테리어 시뮬레이션으로 쓰기엔 너무 불안정했다.

Three.js 절차적 방으로 전환

결국 SAM3D 방을 포기하고 Three.js 박스 방으로 돌아왔다. 근데 기존 박스 방에서 개선한 것들이 있다.

텍스처 적용 — 단순 단색이 아니라 빈방 이미지에서 벽/바닥 텍스처를 추출해서 그대로 입혔다. 바닥에는 나무 판자 텍스처도 오버레이했다.
색상 추출 방식 개선 — 이미지 상단 40~60% 영역을 벽색으로, 하단 15% 중앙 80% 영역을 바닥색으로 추출했다.
천장 흰색 고정 — 대부분 방 천장이 흰색이라 그냥 고정했다.

결과적으로 SAM3D 방보다 훨씬 안정적이고 보기에도 자연스러웠다.

근데 이게 논문에서는 기여가 되지 않을까?

SAM3D로 방을 만들려고 삽질한 게 아깝지 않은 이유가 있다.
"단일 객체용 모델을 실내 씬에 적용하면 어떤 문제가 생기는지"를 실험으로 규명했다는 게 학술적으로 의미가 있다. 아무도 이걸 시도한 사람이 없었으니까.
논문에는 이렇게 썼다.
"SAM3D를 실내 공간 전체에 적용하는 탐색적 실험을 수행하였다. 객체용 shape prior가 오목한 실내 공간에 적용될 때 발생하는 메쉬 품질 저하 문제를 분석하고 완화시킬 수 있는 방법을 제안하였다. 이는 향후 실내 특화 3D 복원 모델 연구의 방향을 제시한다."

실패도 논문이 된다. 오히려 "시도해봤더니 이런 한계가 있더라"는 게 더 정직하고 신뢰감 있는 연구다.

다음 글에서는 UV 텍스처 베이킹 vs 버텍스 컬러 비교 실험, 그리고 사용자 평가 20명 + 논문 제출 후기를 정리할 예정이다.

Meta SAM3D 인테리어 시스템 개발 기록 (4) — SAM3D 가구 복원 최적화

angrimilog — Sun, 7 Jun 2026 15:19:37 +0900

이번 글에서 다룬 것

지난 글에서 SAM3D로 가구를 3D로 변환하고 Three.js 방에 배치하는 기능까지 구현했다. 근데 막상 여러 가구로 테스트해보니까 문제가 한두 가지가 아니었다.

화분은 테이블로 복원되고, 조명은 납작한 판때기가 되고, 같은 소파인데 실행할 때마다 형태가 달라지고... SAM3D를 실내 사진에 그냥 들이밀면 안 된다는 걸 몸으로 배웠다.

조명과 화분을 SAM3D로 제작했을 때 문제 상황

이번 글에서는 이 문제들을 어떻게 해결했는지 정리한다.

문제 1: 얇은 가구에서 depth 추정 실패

뭐가 문제였냐

화분, 조명, 시계 같은 얇고 작은 가구를 SAM3D에 넣으면 직육면체 덩어리가 나왔다. 아무리 봐도 화분이 아닌...

원인을 파고들어보니 SAM3D 내부에서 MoGe-v2가 depth를 추정할 때 마스크 영역 안에 유효한 depth값이 하나도 없으면 scale calibration이 실패하는 거였다. 얇은 물체는 마스크가 작아서 depth값이 전부 NaN으로 나오는 케이스가 많았다.

해결 방법: Progressive Dilation Patch

마스크를 점점 키워가면서 유효한 depth값을 탐색하는 방식을 구현했다.

# 커널 크기를 5 → 11 → 21 → 41 순으로 팽창
for kernel_size in [5, 11, 21, 41]:
    dilated = cv2.dilate(mask, np.ones((kernel_size, kernel_size)))
    valid_depth = depth[dilated > 0]
    if len(valid_depth[~np.isnan(valid_depth)]) > 0:
        break  # 유효값 찾으면 탈출

처음엔 5×5 커널로 살짝만 팽창시키고, 그래도 유효값이 없으면 11, 21, 41 순서로 점점 크게 키워가는 방식이다. 이렇게 하면 얇은 물체에서도 주변 depth값을 안정적으로 확보할 수 있다.

이거 적용하고 나서 화분, 시계, 조명 같은 얇은 가구들도 제대로 복원되기 시작했다.

문제 2: 패딩 비율에 따른 형상 오염 — 우리가 처음 발견한 거

뭐가 문제였냐

SAM3D는 단일 클린 객체 이미지를 전제로 설계된 모델이다. 근데 우리는 실내 사진에서 가구를 크롭해서 넣어야 한다. 이때 가구 주변을 얼마나 포함시키냐가 생각보다 엄청 중요했다.

패딩을 안 주면(0%) MoGe가 공간 구조 정보 없이 depth를 추정하게 돼서 scale calibration이 불안정해진다.

근데 패딩을 너무 많이 주면(50%) 주변 가구나 구조물의 형태가 SAM3D의 shape prior에 혼입돼서 형상이 왜곡된다. 실제로 화분 복원할 때 50% 패딩 주니까 화분 옆에 있던 테이블 형태가 prior에 섞여서 화분이 테이블로 복원되는 황당한 일이 벌어졌다.

패딩 0% → depth 추정 불안정 → scale calibration 실패
패딩 15% → 균형점 ✅
패딩 50% → 주변 가구 shape prior 오염 → 형상 왜곡

0%, 15%, 50% 세 가지를 비교 실험해서 15%가 균형점임을 확인했다.

이 트레이드오프는 SAM3D 원 논문에도 없는 내용이고 검색해봐도 아무도 분석한 게 없었다. 실내 멀티 오브젝트 환경에 단일 객체 모델을 적용하면서 생기는 도메인 갭 문제인데 우리가 실험하면서 처음 발견한 거다.

근데 나중에 Mesh Postprocessing을 활성화하면서 패딩 없이 회색 배경(RGB 128)만으로도 안정적인 복원이 가능하다는 걸 확인했고, 최종 시스템은 그냥 회색 배경 방식을 채택했다.

문제 3: 랜덤 시드 의존성 — 같은 소파인데 매번 달라

뭐가 문제였냐

SAM3D 내부에 Diffusion 모델이 있어서 동일한 입력이어도 시드에 따라 결과가 완전히 달라진다. 어떤 시드에서는 시계가 입체적으로 잘 나오고, 어떤 시드에서는 납작한 판때기가 나온다.

실제로 같은 시계 이미지로 10번 돌려봤더니 입체성 지표 표준편차가 0.162나 됐다. 서비스에 쓰기엔 너무 불안정했다.

해결 방법: 카테고리별 다중 시드 선택

Stage 1(초기 3D 형상 생성 단계)을 5번 반복 실행하고, 카테고리별로 다른 기준으로 최적 시드를 고르는 방식을 만들었다.

# 일반 가구 (소파, 의자, 테이블 등)
# → 세 축(x, y, z) 중 최소 범위를 최대화
# 납작한 결과 방지
ranges = voxel.max(axis=0) - voxel.min(axis=0)
score = float(ranges.min())

# 얇은 가구 (화분, 조명, 시계 등)
# → 복셀 개수를 최대화
# 구조적 완전성 우선
score = float(len(voxel))

일반 가구는 세 축 중 가장 짧은 축이 최대한 길어야 입체적인 거니까 최솟값을 최대화하는 기준을 썼다. 얇은 가구는 형태 자체가 납작한 게 맞으니까 복셀 수가 많을수록 더 완전하게 복원된 거라고 봤다.

시계로 단일 시드 vs 5회 다중 시드를 각각 10회 실험한 결과, 표준편차가 0.162에서 0.032로 줄었다.

형상 일관성이 확 올라간 거다.

물론 Stage 1을 5번 돌리니까 처리시간이 10초에서 41초로 늘어나는 트레이드오프가 있다. 근데 형상 품질 안정성이 훨씬 중요하다고 판단해서 그냥 감수했다.

이 세가지 방법을 합쳐서 돌려보면 어떤 가구를 넣어도 잘 나온다.

세가지 방법을 사용해서 가구를 3D 모델링한 결과들

최종 입력 파이프라인

이 세 가지를 합치면 최종 가구 입력 전처리 파이프라인이 이렇게 된다.

가구 이미지 (RGBA)
    ↓
마스크 bbox 크롭 (512~1024px)
    ↓
카테고리별 Morphological CLOSE
(일반: 25×25 / 얇은 가구: 5×5)
    ↓
회색 배경(RGB 128) + 마스크 정규화 (*255)
    ↓
Stage 1 × 5회 → 카테고리별 기준으로 최적 시드 선택
    ↓
Stage 2 → 3D 메쉬 + 버텍스 컬러

다음 글에서는 SAM3D로 빈방을 3D로 만들려고 시도했던 것들, 그리고 왜 결국 Three.js 박스 방으로 전환했는지 정리할 예정이다.

Meta SAM3D 인테리어 시스템 개발 기록 (3)

angrimilog — Wed, 6 May 2026 21:29:34 +0900

이번 글에서 구현한 것

지난 글에서 2D 빈 방 사진으로 3D 방을 구현하는 것 까지 했다. 그리고 SAM3D로 가구를 3D 메시로 변환하고 Three.js 방에 드래그해서 배치하는 기능까지 구현했었다. 좀 늦게 글 쓴 이유가 학회 논문 포스터 발표 준비 때문에 할 게 너무 많고 정신이 없었다........ㅎㅎ....

먼저 방 구현 퀄리티를 높여보았다.
빈방 사진 한 장으로 3D 방이 만들어지는 원리를 다시 구체적으로 설명해보겠다.

사진을 올리면 어떻게 3D 방이 뚝딱 생기는 걸까? AI가 방 구조를 이해하는 게 아니라, 생각보다 단순한 원리로 동작한다.

① 가구를 지워서 빈방 만들기
먼저 업로드한 방 사진에서 SAM2가 가구를 인식하고 마스크를 만든다. 그 마스크 영역을 LaMa(딥러닝 인페인팅 모델)가 배경으로 자연스럽게 채워서 가구가 없는 빈방 사진을 생성한다. 이 빈방 사진이 이후 모든 과정의 기준이 된다.

② 벽 색상과 바닥 색상 추출
빈방 사진이 생기면 픽셀값을 분석해서 벽과 바닥의 색상을 뽑아낸다. 방식은 간단하다.
- 이미지 상단 영역 → 벽으로 간주
- 이미지 하단 영역 → 바닥으로 간주

해당 영역 픽셀들의 RGB 평균값을 계산하면 그게 벽 색상, 바닥 색상이 된다. 복잡한 세그멘테이션 없이 영역을 단순하게 나눠서 평균을 내는 방식인데, 일반적인 방 사진에서는 꽤 그럴듯하게 색상이 추출된다.

③ 추출한 색상으로 Three.js 방 렌더링
뽑아낸 색상값을 그대로 Three.js에 넘겨서 3D 방을 만든다. 구조는 단순하게 PlaneGeometry 6개를 조합한 박스 형태다.
참고로 PlaneGeometry는 Three.js에서 평평한 사각형 판을 만드는 기본 도형이다.

- 바닥: 추출된 바닥 색상 + 나무 판자 텍스처 오버레이
- 벽(뒤, 좌, 우): 추출된 벽 색상으로 단색 렌더링
- 천장: 흰색 고정

방 크기는 사용자가 입력한 가로/세로/높이 수치를 그대로 써서 PlaneGeometry의 width, height에 넣는다.

④ 결과
실제 방 사진의 색감이 3D 공간에 그대로 반영되기 때문에 단순히 회색 박스를 만드는 것보다 훨씬 현실감 있는 시뮬레이션 공간이 된다. AI가 방 구조를 이해한 게 아니라, 색상 정보를 추출해서 3D 박스에 입힌 것이지만 인테리어 배치 시뮬레이션 용도로는 충분히 그럴듯한 결과물이 나온다.

근데 완성하고 막상 보니 미흡한 점이 한두 가지가 아니었다. 3D 뷰어가 전체 화면을 못 차지하고 작은 박스에 갇혀 있었고, 배치한 가구가 바닥 위로 둥둥 떠다니고, 벽을 그냥 통과해버리고, 가구들끼리 겹치고, 가구를 선택해도 아무것도 할 수 없는 구조였다. 인테리어 시뮬레이션이라고 하기엔 너무 허술했다.

그래서 이번에는 배치 단계 전반을 뜯어고쳤다. UI를 이케아 플래너나 RoomSketcher처럼 3D 뷰어가 화면을 꽉 채우는 구조로 바꾸고, 가구 물리 배치도 제대로 잡았다.

내가 생각한 UI는 이런 식이다.

방 인테리어 화면을 크게하고 왼쪽에 내가 배치해볼 가구들을 놓는것

방 사진 업로드
    ↓
SAM2 + LaMa로 가구 제거 → 빈방 생성
    ↓
빈방 사진에서 벽/바닥 색상 자동 추출
    ↓
추출한 색상으로 3D 방 자동 렌더링 (Three.js)
    ↓
3D 변환된 가구를 드래그해서 방에 배치
     ↓
가구 클릭 → 회전 / 복사 / 삭제

이번에 새로 추가하거나 개선한 기능은 크게 다섯 가지다.

1. 3D 배치 UI를 전면 개편
기존에는 3D 뷰어가 작은 영역 안에 갇혀 있고 양 옆에 패널들이 나란히 붙어 있는 구조였는데, 뷰어가 화면 전체를 차지하고 가구 목록은 왼쪽에 반투명 오버레이 패널로 띄우는 방식으로 바꿨다. 컨트롤 버튼들은 우측 하단에 플로팅으로 배치했다.

2. 가구가 바닥 위에 붕 뜨는 문제
기존에는 가구 y 위치를 그냥 고정값으로 박아놨는데, Three.js에서 메시를 -PI/2 회전시키면 로컬 y축이 z축으로 바뀌는 걸 고려하지 않은 거였다. 메시 바운딩박스에서 실제 높이를 꺼내 스케일 보정까지 해서 정확하게 바닥에 붙도록 수정했다.

침대 가구 아래가 떠있는 상황.... 귀신 침대야 뭐야

바닥에 잘 배치된 상황

3. 벽 통과 방지와 가구끼리 겹침 방지
드래그 중에 방 크기 기반으로 XZ 좌표를 클램프해서 벽 밖으로 못 나가게 하고, 다른 가구와의 거리를 계산해서 일정 거리 이내로 겹치면 밀어내는 방식으로 구현했다.

침대 가구들이 겹쳐져 있는 상황

4. 가구 클릭시 컨텍스트 메뉴 기능 추가
네 번째로 가구 클릭 시 컨텍스트 메뉴를 추가했다. 배치된 가구를 클릭하면 회전 / 복사 / 삭제 버튼이 나타나는 방식이다. 드래그와 클릭을 구분하기 위해 mousedown과 mouseup 사이의 이동 거리를 측정해서 5px 이하면 클릭으로 판단하도록 했다.

5. 마우스 휠 줌을 추가
다섯 번째로 마우스 휠 줌을 추가했다. 기존엔 고정된 카메라 거리로만 볼 수 있었는데, 휠 이벤트를 캡처해서 카메라의 구면 좌표 반지름을 조절하는 방식으로 줌 인/아웃이 가능해졌다. 이때 { passive: false }를 꼭 넣어야 preventDefault()가 먹혀서 페이지 스크롤을 막을 수 있다.

Troubleshooting

1. height: 100%가 먹히지 않는 문제
3D 뷰어를 전체화면으로 만들려고 height: 100%를 줬는데 전혀 반응이 없었다. 원인은 부모 컴포넌트 체인 어딘가에 height가 명시되지 않아서였다. CSS에서 height: 100%는 부모가 높이를 가지고 있어야 전달되는데, App.jsx의 main 컨테이너부터 Interior3DStep까지 이어지는 전체 체인에 height를 잡아줘야 했다. 결국 최상위 div에 height: 100vh를 주고, Three.js 캔버스가 붙는 div까지 height: 100%로 연결해서 해결했다.

추가로 Three.js renderer 초기화 시 높이를 el.clientHeight로 받아야 하는데, 이게 0으로 찍힐 경우 window.innerHeight로 폴백하도록 처리했다.

2. 가로 스크롤이 생기는 문제
3D 뷰어를 100vw로 확장하면서 스크롤바 너비(약 15px)만큼 화면이 넘쳐서 가로 스크롤이 생겼다. App.css에 overflow-x: hidden을 추가해서 해결했다.

3. SAM3D 포인트클라우드 품질 개선
생성된 3D 메시가 너무 낡고 왜곡된 형태로 나오는 문제가 있었다. 원인은 두 가지였다. 하나는 포인트 샘플링 stride를 2로 설정해서 픽셀을 건너뛰며 찍다 보니 포인트 수가 4분의 1로 줄어든 것이었고, 다른 하나는 카메라 초점거리 fx, fy를 500으로 고정해놔서 이미지 크기와 상관없이 왜곡이 생기는 거였다. stride를 1로 바꾸고 fx = fy = max(h, w) * 1.2로 이미지 크기 기반으로 계산하도록 수정했다.

️ 향후 계획

1. 처리 시간 단축
SAM3D로 하나의 가구를 3D 메시로 변환하는 데 현재 20~30분이 걸린다. 논문에서 제시한 구조 그대로 돌리다 보니 최적화가 전혀 안 된 상태다. 모델 경량화나 추론 파이프라인 개선을 통해 대기 시간을 줄일 예정이다.

2. 3D 모델링 정확도 향상
현재 SAM3D로 생성된 3D 메시가 원본 가구 형태와 많이 다르게 복원되는 문제가 있다. 포인트 클라우드 밀도를 높이고 fx/fy 초점거리 계산을 개선해서 가구 형태가 더 정확하게 복원되도록 할 예정이다.

낡은 신데렐라가 쓸 거 같은 침대가...... 만들어지고옷장도 왜 납작 떡이

3. 사용자 가구 사진 직접 등록 기능
현재는 업로드한 방 사진에서 인식된 가구만 3D로 변환할 수 있어서 배치할 수 있는 아이템이 너무 한정적이다. 사용자가 원하는 가구를 직접 사진 찍어서 올리면 바로 3D 아이템으로 만들어주는 기능을 추가할 예정이다. ~~빡셀듯하다..~~

4. 서비스 배포
지금은 WSL 로컬 환경에서만 돌아가는 상태다. 클라우드 GPU 서버에 올려서 실제로 사용 가능한 웹 서비스로 배포하는 것을 목표로 하고 있다.

Meta SAM3D 인테리어 시스템 개발 기록 (2)

angrimilog — Sun, 26 Apr 2026 15:53:20 +0900

이번 글에서 구현한 것

지난 글에서 예고했던 "단일 사진으로 3D 방 자동 생성" 기능을 구현했다.
기존에는 가로 5m, 세로 4m 이런 식으로 사용자가 방 크기를 직접 입력하면 그냥 단색 박스 방이 만들어지는 수준이었다. 근데 생각해보면 사진을 이미 올렸는데 굳이 숫자를 또 입력받는 게 불편하기도 하고, 색상도 실제 방이랑 전혀 달라서 인테리어 시뮬레이션으로 쓰기엔 아쉬움이 있었다.
그래서 이번에는 방 사진에서 가구를 제거해 빈방을 만들고, 그 빈방 사진에서 벽 색상과 바닥 색상을 자동으로 뽑아서 3D 방에 그대로 적용하는 방식으로 개선했다. 덕분에 실제 방이랑 훨씬 비슷한 느낌의 3D 공간이 만들어졌다.

방 사진 업로드
    ↓
SAM2 + LaMa로 가구 제거 → 빈방 생성
    ↓
빈방 사진에서 벽/바닥 색상 자동 추출
    ↓
추출한 색상으로 3D 방 자동 렌더링 (Three.js)
    ↓
3D 변환된 가구를 드래그해서 방에 배치

이번에 새로 추가한 기능은 크게 세 가지다.

첫 번째로 기존 2D 웹앱에서 쓰던 LaMa 인페인팅을 3D 웹앱에도 붙여서 가구를 클릭하면 자동으로 지워진 빈방 사진을 만들어준다.

두 번째로 그 빈방 사진의 픽셀값을 분석해서 벽 영역과 바닥 영역의 평균 색상을 뽑아낸다. 복잡한 AI 없이 이미지 영역을 나눠서 평균을 내는 방식인데, 생각보다 꽤 그럴듯하게 색상이 추출됐다.

Troubleshooting

1. sam3d 환경에 LaMa 설치 문제

3D 웹앱 서버에 LaMa를 붙이려고 했는데 서버 실행하자마자 바로 에러가 떴다. albumentations, webdataset, kornia 같은 모듈들이 없다는 거였다. sam3d 환경은 Meta SAM3D 돌리는 데 필요한 것들만 설치해둔 상태라 2D 웹앱에서 쓰던 LaMa 의존성들이 하나도 없었던 거다. 순서대로 하나씩 설치하면서 해결했다.
거기에 SD(Stable Diffusion) 로드할 때는 또 다른 문제가 생겼다.

torch.load 보안 취약점 (CVE-2025-32434)
이 기능을 사용하려면 torch 2.6 이상이 필요합니다.

기존에 설치된 torch가 2.5.1이라 SD가 아예 로드가 안 됐다. cu121 버전의 torch 2.6이 없어서 cu124 버전으로 업그레이드해서 해결했다.

2. w is not defined ReferenceError

3D 방에 텍스처를 입히려고 loadTexture 함수를 추가했는데 방이 까맣게 뜨면서 콘솔에 이런 에러가 나왔다.

ReferenceError: w is not defined at RoomViewer

원인을 찾아보니 텍스처 로더 코드를 useEffect 밖에 선언해버린 거였다. w, h, d 같은 방 크기 변수들은 useEffect 안에서 선언되는데, 텍스처 코드는 그 바깥에 있으니 당연히 변수를 못 찾는 거였다. 텍스처 관련 코드 전체를 useEffect 안으로 이동시켜서 해결했다.

️ 향후 계획

1. 바닥/벽 재질 개선 현재는 색상만 추출해서 단색으로 칠하는 방식이라 실제 방이랑 비교하면 많이 단조롭다. 빈방 사진에서 바닥과 벽의 재질 자체를 인식해서 나무 무늬, 타일, 벽지 패턴 등을 실제처럼 표현하는 방향으로 개선할 예정이다.
2. SAM2 + LaMa 처리 속도 개선 가구 인식부터 빈방 생성까지 지금은 시간이 꽤 걸린다. 모델 경량화나 추론 최적화를 통해 사용자가 체감하는 대기 시간을 줄이는 작업을 진행할 예정이다.

Meta SAM3D 인테리어 시스템 개발 기록 (1)

angrimilog — Wed, 22 Apr 2026 18:47:14 +0900

프로젝트 개요

실제 생활 공간은 이미 다양한 가구로 구성되어 있는 경우가 대부분이다. 그런데 IKEA Place, 오늘의집 등 기존 인테리어 앱들은 모두 빈 방에 새 가구를 배치하는 방향으로만 동작한다. 이미 보유한 가구를 활용해 레이아웃을 바꿔보는 기능은 지원하지 않는다. 그리고 기존의 인테리어 프로그램들은 빈 도면에서 시작하여 카탈로그 내 수많은 모델 중 자신의 가구와 가장 유사한 것을 일일이 찾아 배치해야 하는 번거로움으로 인하여 전문가가 아닌 일반 사용자가 사용하기에는 큰 어려움이 있다.

2D 가구 제거 웹앱에 이어, 이번에는 Meta SAM3D를 활용해 방 사진에서 가구를 추출하고 3D 메쉬로 변환하는 인테리어 시뮬레이션 시스템을 구축했다. 기존 2D 웹앱의 한계를 넘어, 실제 인테리어 디자이너가 사용하는 툴처럼 3D 공간 안에 가구를 자유롭게 배치할 수 있는 시스템 구현 목표다.

기술 스택

구분	사용 기술
3D 모델 생성	Meta SAM3D (facebookresearch/sam-3d-objects)
가구 인식	SAM2 (Segment Anything Model 2)
백엔드	FastAPI (Python, sam3d 전용 conda 환경, 포트 8001)
프론트엔드	React.js + Three.js
3D 렌더링	Three.js (CDN r128)

⚙️ 시스템 파이프라인

방 사진 업로드
    ↓
SAM2로 가구 클릭 인식 + 마스크 생성
    ↓
가구 누끼 추출 (Extract Service)
    ↓
Meta SAM3D로 가구 → 3D 메쉬 변환
    ↓
Three.js 3D 방에 가구 배치

Meta SAM3D란?

Meta SAM3D는 Facebook Research가 2025년 공개한 모델로, 단일 이미지 하나만으로 완성된 3D 메쉬를 직접 생성한다. 트랜스포머 기반 아키텍처로 DINO v2 임베딩을 거쳐 Sparse Structure를 생성하고, 이를 디코딩해 최종 메쉬를 출력한다.

Three.js란?

Three.js는 웹 브라우저에서 3D 그래픽을 구현할 수 있는 JavaScript 라이브러리다. WebGL을 직접 다루면 코드가 엄청 복잡해지는데, Three.js가 이걸 추상화해줘서 훨씬 간단하게 쓸 수 있다. 이 프로젝트에서는 SAM3D가 만들어준 3D 메쉬 데이터를 화면에 그려주는 용도로 사용했다. 사용자가 입력한 방 크기로 와이어프레임 방을 만들고, 가구 메쉬를 그 안에 배치한다. 마우스로 가구를 클릭해 바닥 위에서 자유롭게 드래그할 수 있고, 우클릭으로 카메라를 돌려가며 다양한 각도에서 볼 수 있다.

CDN 방식으로 사용해서 별도 빌드 설정 없이 window.THREE로 접근한다:

<script src="https://cdnjs.cloudflare.com/ajax/libs/three.js/r128/three.min.js"></script>

CDN란?

CDN(Content Delivery Network)은 라이브러리를 직접 설치하지 않고 인터넷에서 바로 불러오는 방식이다.
예를들어 npm install three 대신 <script src="https://..."> 한 줄로 Three.js를 사용하는 것!!

환경 구성

왜 별도 conda 환경을 만들었나?
기존 furniture 환경은 PyTorch 2.7.1+cu118로 구성되어 있었다. Meta SAM3D의 핵심 의존성인 pytorch3d가 CUDA 12.1 기반으로 빌드되어야 해서 CUDA 버전 충돌이 발생했다.

RuntimeError: The detected CUDA version (13.2) mismatches 
the version that was used to compile PyTorch (11.8).

기존 환경을 건드리면 SAM2, LaMa 등 다른 모델들이 망가질 수 있어서 sam3d 전용 conda 환경을 새로 생성했다.

conda create -n sam3d python=3.11
conda activate sam3d
pip install torch==2.5.1+cu121 torchvision --extra-index-url https://download.pytorch.org/whl/cu121

주요 의존성 설치 과정

pytorch3d 빌드 시 g++ 컴파일러가 없어서 추가 설치가 필요했다.

conda install -c conda-forge gxx_linux-64 -y
pip install "git+https://github.com/facebookresearch/pytorch3d.git@stable" --no-build-isolation

이 외에도 spconv-cu121, kaolin, gsplat, utils3d, MoGe 등 다수의 패키지를 순차적으로 설치했다.

Troubleshooting

1. utils3d.numpy.depth_edge ImportError

SAM3D 임포트 테스트를 하는데 갑자기 이런 에러가 떴다.

from utils3d.numpy import depth_edge  # ImportError!

처음엔 utils3d가 제대로 설치가 안 된 줄 알고 재설치를 반복했는데 계속 똑같은 에러였다. 알고 보니 utils3d 라이브러리가 버전업 되면서 함수명이 depth_edge에서 depth_map_edge로 바뀌어 있었다. SAM3D 코드는 구버전 기준으로 작성되어 있어서 생긴 충돌이었다. 패키지를 다운그레이드하는 방법도 있었지만, SAM3D 소스코드를 직접 한 줄 패치하는 게 더 깔끔했다.

sed -i 's/from utils3d.numpy import depth_edge/from utils3d.numpy import depth_map_edge as depth_edge/' \
  ~/sam-3d-objects/sam3d_objects/pipeline/layout_post_optimization_utils.py

2. mask_points.isfinite().max() RuntimeError

드디어 임포트까지 성공하고 3D 변환 버튼을 눌렀더니 이번엔 500 에러가 떴다.

RuntimeError: max(): Expected reduction dim to be specified 
for input.numel() == 0.

에러 메시지만 봐서는 뭔 소린지 몰라서 한참 들여다봤다. SAM3D는 내부적으로 가구 이미지의 알파 채널(투명/불투명 정보)을 마스크로 사용해서 "여기가 가구 영역이에요"라고 인식한다. 그 영역에서 3D 좌표값들을 뽑아서 정규화하는 과정이 있는데, 뽑힌 좌표값이 하나도 없는 빈 상태일 때 .max()(최댓값 구하기)를 호출하니까 에러가 난 것이었다. 빈 상자에서 제일 큰 거 꺼내라는 격이었다.

# 문제 코드
if mask_points.isfinite().max() == 0:  # numel()==0이면 에러!

해결 방법은 간단했다. 최댓값을 구하기 전에 먼저 "비어있냐?"를 체크하도록 조건을 바꿔주면 됐다.

# 수정 코드
if mask_points.numel() == 0 or (mask_points.numel() > 0 and not mask_points.isfinite().any()):

3. MeshExtractResult AttributeError

40~50분을 기다려서 드디어 3D 생성이 완료됐는데 이번엔 또 다른 에러가 떴다.

AttributeError: 'MeshExtractResult' object has no attribute 'verts_packed'

당연히 pytorch3d의 Meshes 객체겠지 싶어서 verts_packed()를 호출했는데 바로 에러였다. 알고 보니 Meta SAM3D는 자체 MeshExtractResult 클래스를 사용하고 있었고, 이 클래스는 verts_packed() 같은 메서드 없이 .vertices와 .faces 속성을 직접 가지고 있었다.

# inspect로 내부 구조 확인
print(inspect.getsource(MeshExtractResult.__init__))
# → self.vertices = vertices
# → self.faces = faces.long()
# → self.vertex_attrs = vertex_attrs  ← 이게 나중에 색상 문제 해결의 열쇠가 됨

# 변경 전
vertices = mesh.verts_packed().cpu().numpy().tolist()
faces = mesh.faces_packed().cpu().numpy().tolist()

# 변경 후
vertices = mesh.vertices.cpu().numpy().tolist()
faces = mesh.faces.cpu().numpy().tolist()

4. 가구 3D 메쉬가 흰색으로만 렌더링되는 문제

드디어 3D 메쉬가 화면에 나타났는데... 소파가 완전히 하얗게 렌더링됐다. use_vertex_color=True 옵션까지 넣었는데 왜 색이 없지?

백엔드 코드를 보니 문제가 바로 보였다. 색상 데이터를 아예 추출하지 않고 그냥 회색으로 고정해버리고 있었다.

# 문제 코드 - 항상 회색으로 고정
colors = [[0.8, 0.8, 0.8]] * len(vertices)

위에서 inspect로 내부 구조를 확인할 때 봤던 vertex_attrs가 생각났다. 확인해보니 바로 거기에 버텍스별 색상 정보가 들어있었다.

# 수정 코드
if mesh.vertex_attrs is not None:
    colors = mesh.vertex_attrs[:, :3].cpu().numpy().tolist()
else:
    colors = [[0.8, 0.8, 0.8]] * len(vertices)

이 한 줄 수정으로 소파의 베이지색, 나무 다리의 갈색까지 실제 색상이 그대로 렌더링됐다. 뭔가 오래 걸렸는데 결과물 보니까 뿌듯했다

⚡ 성능 이슈

Meta SAM3D는 RTX 4070 SUPER (12GB VRAM) 환경에서 가구 1개당 약 1시간이 소요된다. 사용자가 실시간 인테리어 툴로 활용하기엔 너무 느리다는 한계가 있다.

️ 향후 계획

1. 속도 최적화

inference_steps를 25에서 10으로 줄이거나 float16 변환 등을 통해 처리 시간 단축을 검토할 예정이다.

2. 단일 사진으로 3D 방 자동 생성

현재는 사용자가 방 크기를 직접 입력하는 방식이다. 추후 업로드한 방 사진 한 장에서 Depth Estimation을 활용해 3D 방 구조를 자동으로 추출하는 기능을 개발할 예정이다.

SAM2 · LaMa · SD ControlNet으로 구현한 AI 인테리어 역방향 편집 시스템

angrimilog — Sun, 19 Apr 2026 16:19:53 +0900

프로젝트 개요

본 프로젝트는 이 어려움을 해결하기 위해 사진 한 장만으로 가구를 제거하고 재배치할 수 있는 2D 역방향 공간 편집 시스템을 개발하였다. 이사, 청소, 리모델링 전에 공간 변화를 미리 시뮬레이션할 수 있다.

기술 스택

역할	기술
객체 분할	SAM2 (Meta AI)
1차 배경 복원	LaMa
2차 배경 복원	Stable Diffusion ControlNet Inpainting
백엔드	FastAPI
프론트엔드	Reat

⚙️ 시스템 파이프라인

2D 시스템 파이프라인

주요 기능

① 가구 객체 분할 및 아이템 저장

제거할 가구 위를 마우스로 클릭하면 SAM2가 자동으로 해당 객체의 마스크를 생성한다. 여러 포인트를 클릭해 개별 마스크를 생성한 후 합산하여 최종 마스크를 구성한다. 선택된 가구는 배경이 투명한 RGBA PNG로 저장되어 재배치 단계에서 활용된다.

② 빈 방 생성 (2단계 인페인팅)

LaMa가 가구 마스크 영역을 1차로 복원하여 배경의 기하학적 구조를 잡고, 이후 SD ControlNet이 Canny 엣지를 조건으로 바닥과 벽면 텍스처를 자연스럽게 완성한다. 두 모델을 순차적으로 결합한 2단계 파이프라인으로 시각적으로 자연스러운 빈 방 이미지를 생성한다.

③ 인터랙티브 가구 재배치

왼쪽에 가구 아이템들이 리스트로 저장되어있고 생성된 빈 방 위에 저장된 가구 아이템을 드래그앤드롭으로 원하는 위치에 배치할 수 있다. 크기 조절, 위치 이동, 좌우 반전, 삭제 기능을 지원하며 다양한 레이아웃을 실시간으로 비교할 수 있다. 최종 결과는 이미지 파일로 저장된다.

④ 결과

Troubleshooting

1. 객체 인식 방법 탐색

처음에는 가구의 좌표를 코드에 직접 하드코딩하는 방식으로 시작했다. 당연히 이미지마다 좌표가 달라서 실용성이 없었고, 다른 방법을 찾아야 했다.

좌표 객체 인식 확인

그 다음으로 SAM2의 Point 방식을 시도했다. 가구 위에 점을 찍으면 해당 객체를 인식하는 방식인데, 점 하나로는 원하는 객체를 정확하게 잡지 못하는 경우가 많았다.

Box 방식도 써봤다. 가구 주변에 박스를 그려서 영역을 지정하는 방법인데, 박스 안에 여러 객체가 함께 잡히는 문제가 있었다.

전체 객체 자동 시각화도 시도해보았다.

Grounded SAM2를 활용해서 "침대", "소파" 같은 텍스트를 입력하면 해당 객체를 찾는 방식도 실험해봤다.

from groundingdino.util.inference import load_image, predict

import torch

# 이미지 로드

image_source, image_tensor = load_image("/content/drive/MyDrive/room1.jpg")

# 텍스트로 침대 탐지

TEXT_PROMPT = "bed"

BOX_THRESHOLD = 0.35

TEXT_THRESHOLD = 0.25

boxes, logits, phrases = predict(

model=model,

image=image_tensor,

caption=TEXT_PROMPT,

box_threshold=BOX_THRESHOLD,

text_threshold=TEXT_THRESHOLD

)

최종적으로는 사용자가 제거할 가구 위를 직접 다중 클릭하는 방식을 채택했다. 여러 포인트를 찍을수록 마스크 정확도가 높아지고, 사용자가 원하는 객체를 직접 지정할 수 있어서 가장 직관적이고 정확했다.

2. 배경 복원 품질 문제

초기에는 IOPainting만 단독으로 사용했는데, 가구를 지운 자리가 얼룩지거나 부자연스럽게 남는 문제가 있었다. LaMa로 구조적 복원을 먼저 수행하고 SD ControlNet으로 텍스처를 후처리하는 2단계 파이프라인으로 변경하면서 품질이 크게 개선되었다. 특히 원근감이 있는 나무 바닥 패턴이 가장 복원하기 어려운 케이스였다.

GitHub

https://github.com/simu1231/Empty_My_Room

angrimi의 개발 기록지

Meta SAM3D 인테리어 시스템 개발 기록 (6) — UV 텍스처 베이킹 vs 버텍스 컬러, 사용자 평가, 논문 제출

이번 글에서 다룬 것

UV 텍스처 베이킹 vs 버텍스 컬러

뭔 차이일까?

사용자 평가 — 20명, 7점 만점에 6.33점

논문 제출 후기

️ 향후 계획

Meta SAM3D 인테리어 시스템 개발 기록 (5) — SAM3D로 3D 방 만들기 도전!?

이번 글에서 다룬 것

뭘 시도했냐

1단계: 그냥 넣어봤다

2단계: 후처리로 뭔가 해보려 했다

3단계: 천장/앞벽 제거, 바닥 강제 추가

4단계: 색상 입히기

↓

근데 결국 안 됐다

Three.js 절차적 방으로 전환

근데 이게 논문에서는 기여가 되지 않을까?

Meta SAM3D 인테리어 시스템 개발 기록 (4) — SAM3D 가구 복원 최적화

이번 글에서 다룬 것

문제 1: 얇은 가구에서 depth 추정 실패

뭐가 문제였냐

해결 방법: Progressive Dilation Patch

문제 2: 패딩 비율에 따른 형상 오염 — 우리가 처음 발견한 거

뭐가 문제였냐

문제 3: 랜덤 시드 의존성 — 같은 소파인데 매번 달라

뭐가 문제였냐

해결 방법: 카테고리별 다중 시드 선택

최종 입력 파이프라인

Meta SAM3D 인테리어 시스템 개발 기록 (3)

이번 글에서 구현한 것

Troubleshooting

️ 향후 계획

Meta SAM3D 인테리어 시스템 개발 기록 (2)

이번 글에서 구현한 것

Troubleshooting

1. sam3d 환경에 LaMa 설치 문제

2. w is not defined ReferenceError

️ 향후 계획

Meta SAM3D 인테리어 시스템 개발 기록 (1)

프로젝트 개요

기술 스택

⚙️ 시스템 파이프라인

Meta SAM3D란?

Three.js란?

CDN란?

환경 구성

왜 별도 conda 환경을 만들었나? 기존 furniture 환경은 PyTorch 2.7.1+cu118로 구성되어 있었다. Meta SAM3D의 핵심 의존성인 pytorch3d가 CUDA 12.1 기반으로 빌드되어야 해서 CUDA 버전 충돌이 발생했다.

주요 의존성 설치 과정

Troubleshooting

1. utils3d.numpy.depth_edge ImportError

2. mask_points.isfinite().max() RuntimeError

3. MeshExtractResult AttributeError

4. 가구 3D 메쉬가 흰색으로만 렌더링되는 문제

⚡ 성능 이슈

️ 향후 계획

SAM2 · LaMa · SD ControlNet으로 구현한 AI 인테리어 역방향 편집 시스템

프로젝트 개요

기술 스택

⚙️ 시스템 파이프라인

주요 기능

Troubleshooting

GitHub

왜 별도 conda 환경을 만들었나?
기존 furniture 환경은 PyTorch 2.7.1+cu118로 구성되어 있었다. Meta SAM3D의 핵심 의존성인 pytorch3d가 CUDA 12.1 기반으로 빌드되어야 해서 CUDA 버전 충돌이 발생했다.