מבוא למערכי נתונים
בדף הזה מופיע סקירה כללית של מערכי נתונים ב-BigQuery.
מערכי נתונים
מערך נתונים נמצא בתוך פרויקט ספציפי. מערכי נתונים הם קונטיינרים ברמה העליונה שמשמשים לארגון ולשליטה על הגישה לטבלאות ולתצוגות (Views). טבלה או תצוגה צריכות להשתייך למערך נתונים, לכן אתם צריכים ליצור לפחות מערך נתונים אחד לפני העלאת הנתונים ל-BigQuery.
כשמשתמשים ב-GoogleSQL, צריך להשתמש בפורמט projectname.datasetname כדי לציין שם של קבוצת נתונים באופן מלא. כשמשתמשים בכלי שורת הפקודה של BigQuery, צריך להשתמש בפורמט projectname:datasetname כדי לציין שם של קבוצת נתונים באופן מלא.
מיקום
כשיוצרים מערך נתונים, מציינים מיקום לאחסון הנתונים ב-BigQuery. רשימת המיקומים של מערכי נתונים ב-BigQuery זמינה במאמר בנושא מיקומים ב-BigQuery. הנתונים שלכם נשמרים ב-BigQuery במיקום שנבחר, בהתאם לתנאים הספציפיים לשירות.
לדוגמה, אם בוחרים ב-EU או באזור שמבוסס באיחוד האירופי למיקום של מערך הנתונים, נתוני הלקוחות העיקריים של BigQuery מאוחסנים באיחוד האירופי.
אי אפשר לשנות את המיקום אחרי שיוצרים את מערך הנתונים, אבל אפשר להעתיק מערכי נתונים למיקומים אחרים, או להעביר ידנית את מערך הנתונים למיקום אחר (ליצור אותו מחדש).
אם לא מציינים מיקום באופן מפורש, המיקום נקבע באחת מהדרכים הבאות:
- המיקום של מערכי הנתונים שאליהם מתייחסת הבקשה. לדוגמה, אם שאילתה מפנה לטבלה או לתצוגה במערך נתונים שמאוחסן באזור
asia-northeast1, משימת השאילתה תפעל באזורasia-northeast1. - האזור שצוין לחיבור שאליו מתייחסים בבקשה.
- המיקום של טבלת היעד.
אם המיקום לא מצוין במפורש, ולא ניתן לקבוע אותו מהמשאבים בבקשה, המערכת משתמשת במיקום שמוגדר כברירת מחדל. אם לא מוגדר מיקום ברירת מחדל, העבודה מופעלת בUS מספר אזורים.
שמירת נתונים
במערכי נתונים נעשה שימוש בחזרה בזמן בשילוב עם תקופת ההגנה מפני כשלים כדי לשמור נתונים שנמחקו וששונו לזמן קצר, למקרה שתצטרכו לשחזר אותם. מידע נוסף זמין במאמר בנושא שמירת נתונים עם תכונות של Time Travel ו-Fail-safe.
מודלים לחיוב על אחסון
החיוב על אחסון נתונים ב-BigQuery יכול להתבצע לפי בייטים לוגיים או פיזיים (דחוסים), או לפי שילוב של שניהם. מודל החיוב על האחסון שבוחרים קובע את תמחור האחסון. מודל החיוב של נפח האחסון שתבחרו לא משפיע על הביצועים של BigQuery. לא משנה באיזה מודל חיוב תבחרו, הנתונים שלכם מאוחסנים כבייטים פיזיים.
מודל החיוב על אחסון מוגדר ברמת מערך הנתונים. אם לא מציינים מודל חיוב לאחסון כשיוצרים מערך נתונים, ברירת המחדל היא חיוב על אחסון לוגי. עם זאת, אפשר לשנות את מודל החיוב של האחסון של מערך נתונים אחרי שיוצרים אותו. אם משנים את מודל החיוב של האחסון של מערך נתונים, צריך לחכות 14 ימים לפני שאפשר לשנות שוב את מודל החיוב של האחסון.
כשמשנים את מודל החיוב של מערך נתונים, חולפות 24 שעות עד שהשינוי נכנס לתוקף. אם משנים את מודל החיוב של מערך נתונים, טבלאות או מחיצות של טבלאות באחסון לטווח ארוך לא מאופסות לאחסון פעיל. שינוי מודל החיוב של מערך נתונים לא משפיע על ביצועי השאילתות ועל זמן האחזור של השאילתות.
במערכי נתונים נעשה שימוש במסע בזמן ובאחסון בטוח לשמירת נתונים. כשמשתמשים בחיוב על נפח אחסון פיזי, יש חיוב נפרד על תכונות כמו Time travel (חזרה בזמן) ואחסון בטוח, לפי תעריפי האחסון הפעיל. אבל כשמשתמשים בחיוב על נפח אחסון לוגי, התכונות האלה כלולות בתעריף הבסיסי. אתם יכולים לשנות את חלון הזמן של Time Travel שבו אתם משתמשים במערך נתונים כדי לאזן בין עלויות האחסון הפיזי לבין שמירת הנתונים. אי אפשר לשנות את חלון ההגנה מפני כשל. מידע נוסף על שמירת נתונים במערכי נתונים זמין במאמר שמירת נתונים באמצעות Time Travel ו-Fail-safe. למידע נוסף על תחזית עלויות האחסון, אפשר לעיין במאמר בנושא תחזית החיובים על אחסון.
אי אפשר לרשום מערך נתונים לחיוב על אחסון פיזי אם לארגון יש התחייבויות קיימות לשימוש במשבצות זמן בתעריף קבוע מדור קודם שנמצאות באותו אזור כמו מערך הנתונים. התנאים האלה לא חלים על התחייבויות לרכישה של מהדורות BigQuery.מערכי נתונים חיצוניים
בנוסף למערכי נתונים ב-BigQuery, אפשר ליצור מערכי נתונים חיצוניים, שהם קישורים למקורות נתונים חיצוניים:
מערכי נתונים חיצוניים נקראים גם מערכי נתונים מאוחדים, ושני המונחים משמשים לסירוגין.
אחרי שיוצרים מערכי נתונים חיצוניים, הם מכילים טבלאות ממקור נתונים חיצוני שמפנים אליו. הנתונים מהטבלאות האלה לא מועתקים ל-BigQuery, אלא מתבצעת שאילתה בכל פעם שמשתמשים בהם. מידע נוסף זמין במאמר בנושא שאילתות מאוחדות ב-Spanner.
מגבלות
מערכי נתונים ב-BigQuery כפופים למגבלות הבאות:
- אפשר להגדיר את המיקום של מערך הנתונים רק בזמן היצירה. אחרי שיוצרים את מערך הנתונים, אי אפשר לשנות את המיקום שלו.
- כל הטבלאות שאליהן מתבצעת הפניה בשאילתה צריכות להיות מאוחסנות במערכי נתונים באותו מיקום.
מערכי נתונים חיצוניים לא תומכים בתפוגה של טבלאות, בעותקים משוכפלים, בשינוי נתונים לאורך זמן, בהשוואה (collation) של ברירת מחדל, במצב עיגול של ברירת מחדל או באפשרות להפעיל או להשבית שמות טבלאות שלא תלויים באותיות רישיות.
כשמעתיקים טבלה, מערכי הנתונים שמכילים את טבלת המקור ואת טבלת היעד צריכים להיות באותו מיקום.
שמות מערכי הנתונים צריכים להיות ייחודיים לכל פרויקט.
אם משנים את מודל החיוב על האחסון של מערך נתונים, צריך לחכות 14 ימים לפני שאפשר לשנות שוב את מודל החיוב על האחסון.
אי אפשר לרשום מערך נתונים לחיוב על אחסון פיזי אם יש לכם התחייבויות קיימות לשימוש במשבצות זמן בתשלום קבוע מדור קודם שנמצאות באותו אזור כמו מערך הנתונים.
מכסות
מידע נוסף על מכסות ומגבלות של מערכי נתונים זמין במאמר מכסות ומגבלות.
תמחור
לא נגבה תשלום על יצירה, עדכון או מחיקה של מערך נתונים.
מידע נוסף על התמחור של BigQuery זמין במאמר תמחור.
אבטחה
מידע על שליטה בגישה למערכי נתונים ב-BigQuery זמין במאמר בנושא שליטה בגישה למערכי נתונים. מידע על הצפנת נתונים זמין במאמר הצפנה במנוחה.
המאמרים הבאים
- מידע נוסף על יצירת מערכי נתונים זמין במאמר יצירת מערכי נתונים.
- מידע נוסף על הקצאת אמצעי בקרה לגישה למערכי נתונים זמין במאמר בנושא שליטה בגישה למערכי נתונים.