Contrastive Language-Audio Pretraining (CLAP) learns a joint text-audio embedding space for zero-shot audio understanding, but its text encoder is English-only. Indic-CLAP extends CLAP to nine Indic languages — cumulatively spoken by over a billion people — by distilling a multilingual student text encoder while keeping CLAP's audio encoder frozen. This page demonstrates audio understanding across four clips, comparing four trained student objectives (text-teacher MSE, audio-teacher MSE, pure InfoNCE, and our proposed hybrid) against the original English CLAP, and showing top-1 caption retrieval in all nine Indic languages using the joint hybrid encoder. Tag pool: 55 labels · caption retrieval pool: 2000 captions.
Source: youtu.be/KXkkKm4AwBg · showing 00:00–00:10
| Model | Predicted labels |
|---|---|
| English CLAP | rain falling (0.377) fire crackling (0.335) thunderstorm (0.230) |
| TT-MSE | बारिश की आवाज़ (0.431) बिजली और तूफ़ान (0.224) आग की चटकन (0.212) |
| AT-MSE | बारिश की आवाज़ (0.692) बिजली और तूफ़ान (0.628) हवा चलना (0.420) |
| InfoNCE (λ=1) | बारिश की आवाज़ (0.431) बिजली और तूफ़ान (0.374) चुप्पी (0.306) |
| Hybrid (λ=0.10) | बारिश की आवाज़ (0.429) बिजली और तूफ़ान (0.301) आग की चटकन (0.256) |
| Model | Retrieved caption |
|---|---|
| English CLAP | Rain is falling continuously (0.468) |
| TT-MSE | भारी बारिश जमीन पर गिर रही है (0.469) |
| AT-MSE | बारिश तेज़ी से गिर रही है जैसे हवा के झोंके आ रहे हैं और दूर में गरज सुनाई दे रही है (0.712) |
| InfoNCE (λ=1) | बारिश और तूफान में गरज। (0.460) |
| Hybrid (λ=0.10) | बारिश लगातार गिर रही है (0.482) |
| Language | Top-1 retrieved caption |
|---|---|
| Hindi (hi) | बारिश लगातार गिर रही है (0.482) |
| Bengali (bn) | নিরবচ্ছিন্ন বৃষ্টি পৃষ্ঠে পড়ছে (0.495) |
| Tamil (ta) | தொடர்ந்து மழை மேற்பரப்பில் விழுகிறது (0.497) |
| Telugu (te) | మోస్తున్న వర్షం (0.515) |
| Marathi (mr) | पाऊस सतत पडत आहे (0.494) |
| Gujarati (gu) | સતત વરસાદ સપાટી પર પડી રહ્યો છે (0.500) |
| Kannada (kn) | ಮಳೆ ಬೀರುವ ಶ್ರವಣ ಕೇಳುತ್ತಿದೆ (0.500) |
| Malayalam (ml) | മഴ തുടർച്ചയായി വീഴുന്നു (0.489) |
| Punjabi (pa) | ਲਗਾਤਾਰ ਬਰਸਾਤ ਸਤਹ 'ਤੇ ਪੈਂਦੀ (0.489) |
Source: youtube.com/shorts/ZNEGwNFXaeg · showing 00:00–00:10
| Model | Predicted labels |
|---|---|
| English CLAP | thunderstorm (0.370) rain falling (0.144) frog croaking (0.107) |
| TT-MSE | बिजली और तूफ़ान (0.483) चुप्पी (0.293) पृष्ठभूमि शोर (0.291) |
| AT-MSE | बिजली और तूफ़ान (0.715) बारिश की आवाज़ (0.550) विस्फोट (0.447) |
| InfoNCE (λ=1) | बिजली और तूफ़ान (0.454) हवा चलना (0.298) पानी की बूंदें (0.244) |
| Hybrid (λ=0.10) | बिजली और तूफ़ान (0.507) हवा चलना (0.254) आतिशबाज़ी (0.252) |
| Model | Retrieved caption |
|---|---|
| English CLAP | A loud thunder cracking (0.495) |
| TT-MSE | एक बहुत तेज़ गरज हुई (0.505) |
| AT-MSE | बारिश और तूफान में गरज। (0.716) |
| InfoNCE (λ=1) | बारिश और तूफान में गरज। (0.616) |
| Hybrid (λ=0.10) | गड़गड़ाहट की आवाज़ें होती हैं जबकि बारिश होती है (0.501) |
| Language | Top-1 retrieved caption |
|---|---|
| Hindi (hi) | गड़गड़ाहट की आवाज़ें होती हैं जबकि बारिश होती है (0.501) |
| Bengali (bn) | দূরে গর্জনের সঙ্গে বৃষ্টি পড়ছে (0.497) |
| Tamil (ta) | மழை மற்றும் மின்னல் (0.499) |
| Telugu (te) | చాలా పెద్ద మెరుపు జరిగింది (0.501) |
| Marathi (mr) | दूरवर वीज गरजते आणि पाऊस पडतो (0.500) |
| Gujarati (gu) | દૂર ગડગડાટ સાથે વરસાદ પડે છે (0.503) |
| Kannada (kn) | ದೂರದಲ್ಲಿ ಮಿಂಚು ಮತ್ತು ಮಳೆ ಬೀಳುತ್ತಿದೆ (0.510) |
| Malayalam (ml) | മഴ വീഴുമ്പോൾ മിന്നലിന്റെ ശബ്ദങ്ങൾ (0.500) |
| Punjabi (pa) | ਦੂਰ ਵਿੱਚ ਬੱਦਲਾਂ ਦੀ ਗੂੰਜ ਹੈ ਜਦੋਂ ਕਿ ਬਰਸਾਤ ਹੋ ਰਹੀ ਹੈ (0.488) |
Source: youtube.com/shorts/K-3qSmt8Qgg · showing 00:00–00:10
| Model | Predicted labels |
|---|---|
| English CLAP | car horn (0.233) engine running (0.149) siren (0.129) |
| TT-MSE | कार का हॉर्न (0.432) यातायात का शोर (0.429) साइरन (0.187) |
| AT-MSE | कार का हॉर्न (0.535) साइरन (0.390) यातायात का शोर (0.370) |
| InfoNCE (λ=1) | यातायात का शोर (0.419) कार का हॉर्न (0.294) साइरन (0.247) |
| Hybrid (λ=0.10) | कार का हॉर्न (0.409) यातायात का शोर (0.376) साइरन (0.192) |
| Model | Retrieved caption |
|---|---|
| English CLAP | A car horn blows amid road noise (0.488) |
| TT-MSE | गाड़ी का हॉर्न बजता है, सड़क की आवाज़ के बीच (0.532) |
| AT-MSE | ट्रैफिक की गुनगुनाहट और फिर एक तेज कार का हॉर्न (0.618) |
| InfoNCE (λ=1) | ट्रैफिक की गुनगुनाहट और फिर एक तेज कार का हॉर्न (0.563) |
| Hybrid (λ=0.10) | गाड़ी का हॉर्न बजता है, सड़क की आवाज़ के बीच (0.574) |
| Language | Top-1 retrieved caption |
|---|---|
| Hindi (hi) | गाड़ी का हॉर्न बजता है, सड़क की आवाज़ के बीच (0.574) |
| Bengali (bn) | ট্রাফিক কাছাকাছি রয়েছে, এবং একটি গাড়ির হর্ন গডফাদারের থিম বাজাচ্ছে (0.583) |
| Tamil (ta) | ஒரு கார் ஹார்ன் சாலை சத்தத்தின் மத்தியில் அடிக்கிறது (0.531) |
| Telugu (te) | ఒక వాహనం రహదారిపై కదులుతూ, శబ్దంగా హార్న్ హాంకింగ్ (0.508) |
| Marathi (mr) | कारचा हॉर्न वाजतो आणि रस्त्यावरील आवाज आहे (0.583) |
| Gujarati (gu) | રસ્તાની અવાજ અને એક હોર્ન બિપ કરે છે (0.565) |
| Kannada (kn) | ರಸ್ತೆಯ ಶಬ್ದ ಮತ್ತು ಹಾರ್ನ್ ಬೀಪ್ (0.525) |
| Malayalam (ml) | സഞ്ചാരമുണ്ടായിരിക്കുന്നു, ഒരു കാറിന്റെ ഹോൺ ദ ഗാഡ്ഫാദറിന്റെ തീം വായിക്കുന്നു (0.532) |
| Punjabi (pa) | ਟ੍ਰੈਫਿਕ ਨੇੜੇ ਹੈ, ਅਤੇ ਇੱਕ ਕਾਰ ਦੀ ਹੌਰਨ ਗਾਡਫਾਦਰ ਦਾ ਥੀਮ ਬਜਾ ਰਹੀ ਹੈ (0.560) |
Source: youtube.com/shorts/AhYiMNLsgbk · showing 00:00–00:10
| Model | Predicted labels |
|---|---|
| English CLAP | engine running (0.146) frog croaking (0.096) vacuum cleaner (0.096) |
| TT-MSE | कुत्ते का भौंकना (0.273) ट्रेन गुज़रना (0.272) हवाई जहाज़ (0.269) |
| AT-MSE | यातायात का शोर (0.427) ट्रेन गुज़रना (0.422) कुत्ते का भौंकना (0.405) |
| InfoNCE (λ=1) | कुत्ते का भौंकना (0.354) समुद्र की लहरें (0.328) हवा चलना (0.307) |
| Hybrid (λ=0.10) | यातायात का शोर (0.299) कुत्ते का भौंकना (0.258) ट्रेन गुज़रना (0.245) |
| Model | Retrieved caption |
|---|---|
| English CLAP | A dog barks along with outdoor noises (0.376) |
| TT-MSE | एक कुत्ता भौंकता है साथ में बाहरी आवाज़ें। (0.356) |
| AT-MSE | एक वाहन तेजी से चल रहा है और गुजर रहा है, जैसे हवा के झोंके चल रहे हैं और दूर से पत्ते सरसराते हैं (0.490) |
| InfoNCE (λ=1) | लहरें और हवा एक किनारे को खींच रही हैं (0.422) |
| Hybrid (λ=0.10) | हवा चल रही है जिसमें कुछ सरसराहट और इंजनों की गुनगुनाहट है (0.339) |
| Language | Top-1 retrieved caption |
|---|---|
| Hindi (hi) | हवा चल रही है जिसमें कुछ सरसराहट और इंजनों की गुनगुनाहट है (0.339) |
| Bengali (bn) | বাতাস বইছে কিছু শিস দেওয়া এবং ইঞ্জিনের গুনগুন (0.379) |
| Tamil (ta) | காற்று வீசுகிறது, தொலைவில் போக்குவரத்து கடந்து செல்கிறது மற்றும் சில கும்மல் ஒலிகள் (0.312) |
| Telugu (te) | గాలిలో కొంత క్రంచింగ్ మరియు ఇంజిన్ల హమ్మింగ్ తో గాలి వీచుతోంది (0.320) |
| Marathi (mr) | हवेचा झोत आणि काही कागदाच्या आवाजासह इंजिनांचा गूंज (0.336) |
| Gujarati (gu) | એક કૂતરો ભોંકે છે સાથે બાહ્ય અવાજો (0.350) |
| Kannada (kn) | ಗಾಳಿಯಲ್ಲಿ ಎಲೆಗಳು ಕೀಳ್ಮಟ್ಟಿಸುತ್ತವೆ, ನಾಯಿಗಳು ಭುಜಿಸುತ್ತವೆ ಮತ್ತು ಹಕ್ಕಿಗಳು ಚಿರಪಿಸುತ್ತವೆ (0.390) |
| Malayalam (ml) | ഒരു നായ ബarking ചെയ്യുന്നു, പുറത്ത് ശബ്ദങ്ങളോടൊപ്പം (0.322) |
| Punjabi (pa) | ਹਵਾ ਚੱਲਦੀ ਹੈ ਜਿਸ ਨਾਲ ਕੁਝ ਸਰਸਰਾਹਟ ਅਤੇ ਇੰਜਣਾਂ ਦੀ ਗੂੰਜ ਹੈ (0.354) |