Det kan være komplekst at afgøre, hvornår byggematerialer skal betragtes som affald. Ifølge definitionen i affaldsbekendtgørelsen defineres affald som ”ethvert stof eller enhver genstand, som indehaveren skiller sig af med eller agter eller er forpligtet til at skille sig af med.”
Definitionen betyder, at noget er affald, hvis 1) indehaveren aktivt skiller sig af med det, 2) det er indehaverens hensigt at skille sig af med det som affald, eller 3) hvis indehaveren er forpligtet til det.
Man kan være forpligtet til at skille sig af med materialer eller stoffer, hvis de håndteres eller opbevares på en måde, hvor de er årsag til eller udgør en risiko for forurening af luft, vand eller jord, eller hvis de er årsag til uhygiejniske forhold, jf. miljøbeskyttelseslovens § 43.
Endvidere gælder det, at hvis et byggemateriale anvendes igen til samme formål (dvs. direkte genbrug), så skal det ikke betragtes som affald, og det falder derfor ikke ind under affaldsreglerne. For fx asbest gælder det, at direkte genbrug er forbudt, hvorfor byggematerialer med asbest vil blive til affald, hvis de tages ud af anvendelse. For PCB gælder det fx, at byggematerialer med PCB over 50 mg/kg skal destrueres, hvis de tages ud af anvendelse.
Det er kommunen, der har kompetencen til at afgøre, hvornår byggematerialer skal betragtes som affald. Afgørelsen vil normalt træffes på et sag til sag grundlag ud fra de konkrete omstændigheder. I øvrigt kan et byggemateriales anvendelsesmuligheder bruges som rettesnor for, hvornår det er at anse som affald. Hvis et byggemateriale pga. sammensætning, indhold af stoffer, el.lign. har begrænsede anvendelsesmuligheder, er der en formodning for, at der er tale om affald. Det vil som regel bl.a. omfatte PCB-holdigt og tungmetalholdigt materiale, asbestholdigt materiale, ikke-genanvendeligt PVC og andet farligt affald m.m.
Endelig kan man orientere sig i de kommunale affaldsregulativer, som angiver, hvad der er omfattet af de enkelte ordninger. Hvis der er tale om et byggemateriale, som er omfattet af en kommunal ordning, kan det være en indikation på, at der er tale om affald.