Power BI — Large Dataset Handling Techniques (Import, DirectQuery, Dual, Partitioning, Incremental Refresh) (Tamil)

 

இந்த வீடியோல நம்ம Power BI-ல Large Dataset Handling எப்படி செய்ய வேண்டும் என்று விவாதிப்போம்.
Power BI reports slow ஆகிறதா, memory சிக்கல்கள் இருக்கிறதா, refresh time மிக நீண்டு போவதா — இவற்றுக்கு காரணமான design choices-ஐ நாம புரிந்து கொண்டு சரியான storage mode, partitioning மற்றும் incremental refresh போன்ற techniques-ஐ practical examples உடன் போடறோம்.

---

🔍 இந்த வீடியோவில் நீங்கள் கற்றுக்கொள்ளவிருக்கீர்கள்

• Import Mode vs DirectQuery vs Dual Mode — difference மற்றும் when to use each
• எந்த storage mode எப்ப பயன்படுத்தணும்னு decision-making tips
• Partitioning என்றால் என்ன; அது dataset performance-ஐ எப்படி boost பண்ணும்
• Incremental Refresh setup எப்படி செய்ய வேண்டும் (basic steps & best practices)
• Common mistakes & limitations when handling big datasets

---

Storage Modes — எது எதுக்காக?

1. Import Mode

• Data model-ல data நம்ம local memory (VertiPaq)க்கு load ஆகும்.
• Visuals super-fast, queries mostly in-memory.
• சிறந்தது small-to-medium datasets அல்லது aggregated data-க்கு.
• Cons: Big datasets உதவச்செய்யாது — memory requirement அதிகம்; refresh நேரம் நீண்டு போகும்.

2. Direct Query

• Data எப்போதும் source-இலிருந்து query ஆகும்; data local-ல சேமிக்கப்படாது.
• பெரிய datasets மற்றும் real-time requirements இருந்தா உபயோகபடுத்தலாம்.
• Cons: Visuals slower ஆகலாம்; source system performance மட்டுமே நம்பிக்கையாக இருக்க வேண்டும்; DAX limitations இருக்கலாம்.

3. Dual Mode (Composite Model)

• சில tables Import, சில tables Direct Query என்று mixed ஆக வைத்திருக்கலாம்.
• Aggregation tables Import ஆக வைத்து detailed tables Direct Query வச்சு best of both worlds achieve பண்ணலாம்.
• Use case: summary tables வேகமாக வேண்டும், detailed drill-through வேண்டும்னா.

---

Partitioning — dataset-ஐ சின்ன சின்ன பகுதியாக பிரிக்குவது

• Partitioning என்பது ஒரு பெரிய table-ஐ பல partitions-ஆப் பிரிக்குறது (e.g., year/month level).
• இது refresh time குறைக்க உதவும் — ஒரு partition மட்டும் refresh பண்ணி மற்றவை untouched இருக்கலாம்.
• Power BI Premium/PPU environment-ல் partitioning support இருக்கு; Import mode datasets-க்கும் فائدா.
• Partitioning-ஐ 잘 design பண்ணியாலே refresh parallelism, incremental refresh வசதிகள் நல்லா work ஆகும்.

---

Incremental Refresh — எப்படி மற்றும் ஏன்?

• Incremental Refresh மூலம் எல்லா data-ஐ ஒவ்வொழுதும் reload பண்ணாமல், new or changed partitions மட்டும் refresh பண்ணலாம்.

• Typical setup steps:

  Date column உருவாக்கு (e.g., OrderDate)
• Power Query level-ல range parameters (RangeStart, RangeEnd) add பண்ணு
• Power BI Desktop-ல table-க்கு Incremental Refresh policy apply பண்ணு (e.g., store 5 years, refresh last 1 month)
• Benefits: Refresh time குறையும், gateway/network load குறையும், cost savings (especially big models).

• ---

Common mistakes & limitations

• Automatic decision without measuring: முதலில் measurement இல்லாமா mode select பண்ணுவது. (Measure refresh times, query times, source capability first.)
• All Import always: மிக பெரிய datasets-ஐ எல்லாம் import பண்ணுவது memory issues-க்கு cause ஆகும்.
• Blind DirectQuery: source DB fast இல்லானா visuals தனி load ஆகும்.
• Not using aggregations: large detailed tables-ஐ மட்டும் தனியாக வைத்திருக்கும்போதும் aggregations இல்லாமா performance பாதிக்கப்படும்.
• Incorrect Incremental setup: RangeStart/RangeEnd parameters சரியாக அமைக்காமல் incremental fail ஆகலாம்.

---

Practical recommendations (Quick checklist)

• Start with measuring dataset size, refresh time, query patterns.
• If data fits memory comfortably and real-time not required → Import mode.
• If dataset huge and source is optimized for queries → DirectQuery or Composite model.
• Use aggregations & summary tables for frequent analytics.
• Enable Incremental Refresh for large historical data (store long, refresh recent).
• Partition where supported (Premium/PPU) for massive tables.
• Monitor & test after changes — measure visual load times and refresh durations.

---

Business demo (what I showed in the video)

Video-ல நான் ஒரு retail/project dataset எடுத்துக் கொண்டு:

• Import vs DirectQuery மாதிரி models build பண்ணி compare பண்ணினேன்.
• Aggregation table add பண்ணி composite model-ல performance improvement demonstrate பண்ணினேன்.
• Incremental Refresh setup basic demo மற்றும் partitioning concept explain பண்ணினேன்.

---

Large datasets handle பண்ணக்கூடிய சரியான approach-களை தேர்வு பண்ணினா Power BI reports நீங்கவே கவலைபடாமா துரிதமாக வேலை பண்ணும்.

Storage mode decision, partitioning, incremental refresh, aggregations — இவнера ஒரே நேரத்தில் சரியாக கட்டமைத்தால் performance, refresh time, and maintenance எல்லாம் improve ஆகும்.

வீடியோ முழு length-ல பாக்குங்க; practical demo-ல இருந்து உங்களுக்கு எது எப்படி செய்யணும் என்று தெளிவாக தெரியும். வீடியோ பிடிச்சிருந்தா channel-க்கு subscribe பண்ணுங்க — இன்னும் optimization episodes வருகிறோம்!

---